data-pipeline

Apache Airflow - 通过编程方式编写、调度和监控工作流的平台

通过分布式SQL为所有数据库提供分片、可扩展性和安全性，赋能数据智能。

轻松将文档转换为结构化数据。Unstructured是开源的ETL解决方案，可将复杂文档转换为适合语言模型的整洁结构化格式。访问我们的网站了解企业级平台产品，支持生产级工作流、分区、增强、分块和嵌入。

Apache DolphinScheduler是现代数据编排平台，通过低代码方式敏捷构建高性能工作流

客户数据基础设施领域的领导者

借助基于最新大语言模型的算子与流水线轻松实现数据准备。

Flink CDC 是一款流式数据集成工具

ingestr 是一个命令行工具，可通过单条命令无缝地在任意数据库之间复制数据。

适用于代理所需的所有模型的开源推理服务器和生产集群。

🔥🔥🔥 开源反向 ETL - Hightouch 和人口普查的替代方案。

运行在Apache Spark上的弹性数据管道框架

多种数据库的变更数据捕获功能。请在https://issues.redhat.com/browse/DBZ提交问题。

自托管工作流编排器，适用于主要工作不是编排的团队。脚本、SSH 命令、容器等上的声明性 YAML；将工作流程与业务逻辑分开。一个二进制文件，没有数据库，在有限的硬件资源上运行。 Airflow / Cron / Job Scheduler 的替代品。