Learn ML engineering for free in 4 months! Register here 👇🏼

Apache Airflow - 通过编程方式编写、调度和监控工作流的平台

学习如何开发、部署并迭代生产级机器学习应用。

始终掌握数据的预期表现。

数据工程全方位学习资源汇总仓库

面向AI的数据转换框架。具备卓越性能，支持增量处理。如果喜欢请点亮星星！

Apache Kafka 镜像仓库

Prefect是用于构建弹性数据管道的Python工作流编排框架

Apache Spark——面向大规模数据处理的统一分析引擎

dbt 使数据分析师和工程师能够使用与软件工程师构建应用程序相同的实践来转换数据。

dbt让数据分析师和工程师能采用软件工程师构建应用的相同方式处理数据

Redpanda：面向开发者的流数据平台，兼容Kafka API，性能提升10倍，无需ZooKeeper，无需JVM

即使是精干团队也能快速实现AI驱动的全栈可观测性

构建AI/大语言模型应用的开源开发者平台，提供端到端追踪、可观测性与评估功能的一体化集成平台

Apache Superset 是数据可视化与数据探索平台

用于采集、处理、聚合及写入指标、日志与任意数据的代理程序

让Docker和Kubernetes管理变得简单

Harness 开源平台是一个端到端的开发者平台，包含源代码控制管理、持续集成与持续交付流水线、托管开发环境以及制品仓库。

Sealos 是一款基于 Kubernetes 构建的 AI 原生云操作系统，统一了从云端 IDE 开发到生产部署与管理的整个应用生命周期，非常适合构建和扩展现代 AI 应用、托管数据库（MySQL、PostgreSQL、Redis、MongoDB）以及复杂的微服务架构。

Kubernetes工作流引擎