推荐一个基于SpringBoot开发的全平台数据(数据库管理工具)功能比较完善，建议下载使用: github.com/EdurtIO/datacap 目前已经支持30多种数据源.
国内首个应用ChatGPT到数据管理系统中项目。
在DataCap v1.7.0中我们增加了多种重磅功能。核心抢先看：
- 集成Apache Seatunnel构建数据集成功能
- 集成ChatGPT帮助用户更好理解SQL
- 集成自定义SQL语法，支持多种非SQL数据源
接下来我们一步一步的来体验以上新核心功能：
集成Apache Seatunnel构建数据集成功能
我们通过一个示例来演示datacap系统整合Apache Seatunnel。
首先在datacap中拥有配置的数据源，比如我们有两个数据源：
- ClickHouse （ID：1）
- ClickHouse （ID：2）
我们要实现ClickHouse数据摄取到另一个ClickHouse中，在datacap系统中使用一下JSON配置
{
"from": {
"id": 1,
"configures": {
"database": "default"
}
},
"to": {
"id": 2,
"configures": {
"database": "default"
}
},
"content": "select database from system.tables",
"executor": "Seatunnel"
}
此时datacap会根据我们提供数据源的ID进行后台封装组合成Seatunnel中可以解析的配置文件：
{
"env" : { },
"source" : {
"Clickhouse" : {
"database" : "default",
"password" : "",
"host" : "127.0.0.1:8123",
"sql" : "select database from system.tables",
"username" : "default"
}
},
"sink" : {
"ClickHouse" : {
"database" : "default",
"password" : "",
"host" : "127.0.0.1:8124",
"fields" : ["database"],
"table" : "test",
"username" : "default"
}
}
}
构建以上JSON配置后，datacap会拉起一个本地shell进程，进行任务执行，可以是本地模式，或者是集群模式。
这是一个简单的示例，比较复杂的示例需要用户各种自定义配置，这里我们只做一个简单示例的演示，复杂示例用户可以自行下载dev分支代码或者下载发版后的
1.7.0版本使用
集成ChatGPT帮助用户更好理解SQL
对于集成ChatGPT模块我们提供两种使用方式：
- 对话模式
- SQL场景模式
对话模式
在对话模式中，我们不限制用户输入内容，用户可以自行与AI进行各种交互。
SQL场景模式
对于该模式，我们限制用户在查询界面使用，用户可以进行SQL输入后使用ChatGPT进行以下场景分析：
- 优化SQL
- 分析SQL
目前我们只提供两种模式，后续会增加更多相关SQL场景 (解放双手，减少SQL编写过程😁😁)
集成自定义SQL语法，支持多种非SQL数据源
datacap系统预设部分SQL语法（目前不是很全面，后续我们会增加更多语法），目前已经支持Zookeeper和Kafka对接，我们使用Kafka来作为一个查询示例：
SHOW TOPICS
通过以上SQL可以看出改语句是列出所有Kafka消息主题，那么它转换为后台代码
client.listTopics()
.listings()
.get()
.forEach(v -> array.add(v.name()));
我们通过SQL语法树解析，然后转换为底层API调用引擎以便获取更多详细数据。
以上就是v1.7.0版本(开发收尾中😂)的一些核心功能点，当然也有其他的功能，如果您想抢先体验，可以克隆源码到本地编译尝试使用。
如果您对我们的项目感兴趣，欢迎贡献源码或fork源码
感谢大家支持。
评论区