侧边栏壁纸
博主头像
Devlive 开源社区博主等级

行动起来,活在当下

  • 累计撰写 117 篇文章
  • 累计创建 32 个标签
  • 累计收到 0 条评论

目 录CONTENT

文章目录

[重磅来袭] 功能强大的开源数据中台系统 DataCap 1.7.0 发布预告

我是管理员哦
2024-01-23 / 0 评论 / 0 点赞 / 8 阅读 / 3285 字 / 正在检测是否收录...
温馨提示:
本文最后更新于 2024-01-23,若内容或图片失效,请留言反馈。部分素材来自网络,若不小心影响到您的利益,请联系我们删除。

推荐一个基于SpringBoot开发的全平台数据(数据库管理工具)功能比较完善,建议下载使用: github.com/EdurtIO/datacap 目前已经支持30多种数据源.
国内首个应用ChatGPT到数据管理系统中项目。

在DataCap v1.7.0中我们增加了多种重磅功能。核心抢先看:

  • 集成Apache Seatunnel构建数据集成功能
  • 集成ChatGPT帮助用户更好理解SQL
  • 集成自定义SQL语法,支持多种非SQL数据源

接下来我们一步一步的来体验以上新核心功能:

集成Apache Seatunnel构建数据集成功能

我们通过一个示例来演示datacap系统整合Apache Seatunnel。

首先在datacap中拥有配置的数据源,比如我们有两个数据源:

  • ClickHouse (ID:1)
  • ClickHouse (ID:2)

我们要实现ClickHouse数据摄取到另一个ClickHouse中,在datacap系统中使用一下JSON配置

{
    "from": {
        "id": 1,
        "configures": {
            "database": "default"
        }
    },
    "to":  {
        "id": 2,
        "configures": {
            "database": "default"
        }
    },
    "content": "select database from system.tables",
    "executor": "Seatunnel"
}

此时datacap会根据我们提供数据源的ID进行后台封装组合成Seatunnel中可以解析的配置文件:

{
  "env" : { },
  "source" : {
    "Clickhouse" : {
      "database" : "default",
      "password" : "",
      "host" : "127.0.0.1:8123",
      "sql" : "select database from system.tables",
      "username" : "default"
    }
  },
  "sink" : {
    "ClickHouse" : {
      "database" : "default",
      "password" : "",
      "host" : "127.0.0.1:8124",
      "fields" : ["database"],
      "table" : "test",
      "username" : "default"
    }
  }
}

构建以上JSON配置后,datacap会拉起一个本地shell进程,进行任务执行,可以是本地模式,或者是集群模式。

这是一个简单的示例,比较复杂的示例需要用户各种自定义配置,这里我们只做一个简单示例的演示,复杂示例用户可以自行下载dev分支代码或者下载发版后的1.7.0版本使用

集成ChatGPT帮助用户更好理解SQL

对于集成ChatGPT模块我们提供两种使用方式:

  • 对话模式
  • SQL场景模式
对话模式

在对话模式中,我们不限制用户输入内容,用户可以自行与AI进行各种交互。

D8C46203-769A-402D-8BD0-079C14A1C7A7.png

SQL场景模式

对于该模式,我们限制用户在查询界面使用,用户可以进行SQL输入后使用ChatGPT进行以下场景分析:

  • 优化SQL

AA47AADB-C9AB-4B6E-BB10-AB9C499B7F95.png

  • 分析SQL

A7BD327A-C905-4D2D-BC6F-47A3FD3A86CF.png

目前我们只提供两种模式,后续会增加更多相关SQL场景 (解放双手,减少SQL编写过程😁😁)

集成自定义SQL语法,支持多种非SQL数据源

datacap系统预设部分SQL语法(目前不是很全面,后续我们会增加更多语法),目前已经支持Zookeeper和Kafka对接,我们使用Kafka来作为一个查询示例:

SHOW TOPICS

通过以上SQL可以看出改语句是列出所有Kafka消息主题,那么它转换为后台代码

client.listTopics()
    .listings()
    .get()
    .forEach(v -> array.add(v.name()));

我们通过SQL语法树解析,然后转换为底层API调用引擎以便获取更多详细数据。

以上就是v1.7.0版本(开发收尾中😂)的一些核心功能点,当然也有其他的功能,如果您想抢先体验,可以克隆源码到本地编译尝试使用。

如果您对我们的项目感兴趣,欢迎贡献源码或fork源码

感谢大家支持。

0
  1. 支付宝打赏

    qrcode alipay
  2. 微信打赏

    qrcode weixin

评论区