由于 trendforge.devlive.top 访问受限，请切换到 trendforge.devlive.org 域名
datahub-project/datahub
项目介绍
数据与 AI 技术栈的元数据平台
智能解读
DataHub 是一个面向现代数据技术栈的开源元数据平台，核心功能是作为企业级的数据目录、数据发现与治理工具。它能够自动采集、整合并可视化来自不同数据源（如数据库、数据仓库、流处理系统）的元数据，构建统一的实时元数据图谱。通过直观的 Web 界面，用户可快速搜索、理解数据资产的来源、血缘关系和变更历史，从而提升数据协作效率、确保数据合规性。项目由 LinkedIn 发起并开源，提供 Docker 快速部署、Kubernetes 支持及丰富的集成连接器，适用于需要集中管理复杂数据环境、实现数据可观测性与治理的团队。
使用场景
DataHub 最适合需要统一管理多源数据资产、实现数据快速发现、血缘追踪和合规治理的中大型数据团队。
数据资产快速发现
数据团队在数百张表和数千个字段中查找特定数据时，往往依赖文档或口口相传，效率低下且容易遗漏。
DataHub 自动采集数据库、数据仓库等元数据，提供全局搜索和过滤，用户可快速定位数据表、字段及描述。
分析师想找包含‘用户活跃度’字段的表，在 DataHub 搜索栏输入关键词，立即看到相关表和字段定义，无需询问他人。
数据血缘追踪与影响分析
修改上游表结构时，无法预知会影响哪些下游报表或ETL任务，导致生产事故频发。
DataHub 构建实时血缘图谱，展示数据从源头到消费端的完整链路，支持点击查看上下游依赖。
数据工程师要删除一个旧字段，先在 DataHub 查看该字段的血缘图，发现它被3个关键报表引用，从而提前通知相关团队调整。
数据治理与合规审计
企业需要满足GDPR等法规，但缺乏对敏感数据分布和访问历史的统一视图，审计困难。
DataHub 支持标记敏感字段、记录数据变更历史，并提供治理仪表盘，便于合规团队审查。
安全管理员在 DataHub 中将包含PII的字段标记为‘敏感’，随后审计时可通过搜索‘敏感’标签快速定位所有受控数据，并查看其访问日志。
跨平台数据目录统一管理
公司同时使用MySQL、Snowflake、Kafka等多个数据系统，元数据分散，难以统一管理。
DataHub 提供丰富的连接器，自动从不同数据源采集元数据并整合到统一图谱中，Web界面集中浏览。
数据平台团队部署 DataHub 后，一次配置即可采集所有数据源（如MySQL表、Kafka Topic、dbt模型），所有数据资产在一个地方可见。
项目健康度
距上次更新 9 天
平台 Star TOP 100% · Forks 0
暂无近期增长数据
408 位贡献者 · 0 条平台评论
文档资料完整
2 项改进建议
- 人气：项目在平台内知名度较低，持续更新有助于提升曝光
- 增长：近期 Star 增长缓慢，项目热度有待提升
项目信息
赞赏支持
如果本站对你有帮助，欢迎打赏支持
微信
支付宝
Widget 徽章
相关项目推荐
public-apis/public-apis
免费API资源汇总列表
EbookFoundation/free-programming-books
📚 免费提供的编程书籍
vinta/awesome-python
回答“我想用 Python 做 X，我应该使用哪个工具？”的最终列表。
practical-tutorials/project-based-learning
基于项目的教程精选列表
NousResearch/hermes-agent
与你共同成长的智能体
TheAlgorithms/Python
所有算法均使用Python实现
加载评论中...