侧边栏壁纸
博主头像
Devlive 开源社区博主等级

行动起来,活在当下

  • 累计撰写 123 篇文章
  • 累计创建 32 个标签
  • 累计收到 0 条评论

目 录CONTENT

文章目录

恭喜 Devlive DataCap 新晋一位 Committer

我是管理员哦
2023-11-29 / 0 评论 / 1 点赞 / 66 阅读 / 1868 字 / 正在检测是否收录...
温馨提示:
本文最后更新于 2023-11-29,若内容或图片失效,请留言反馈。部分素材来自网络,若不小心影响到您的利益,请联系我们删除。

非常感谢所有对 DataCap 项目的支持和贡献,我们迎来了新的一位来自互联网行业的大数据资深运维工程师,感谢他对 DataCap 的支持已经代码的贡献。

关于 DataCap


DataCap 是数据转换、集成和可视化的集成软件。支持多种数据源,文件类型,大数据相关数据库,关系型数据库,NoSQL 数据库等。通过软件可以实现管理多种数据源,对该源下的数据进行各种操作转换,制作数据图表,监控数据源等各种功能。

DataCap 喜迎一位 Committer 成员


名字 职业 GitHub ID
陈文明 大数据资深运维工程师 chenwenming-zj

个人描述


有多年大数据组件维护经验,对 Hadoop 集群有丰富的经验,同时对 Apache Kafka 以及各个大数据组件有一定的经验。

  1. 优化过亿 Blocks 的 NameNode,优化解决集群小文件问题,减少 NameNode RPC 压力
  2. 迁移并运维过 PB 级别的 Hadoop 集群
  3. 维护管理万级别 Topic 的 Kafka 集群,自动化脚本实现分区均衡迁移,Reassignment 限速等

对 DataCap 的认识


在做公司 Clickhouse 迁移时,从 GitHub 中搜索,发现 datacap 项目,结合公司内部业务,经过一段时间运行后发现缺失,服务功能缺失 JVM 动态加载功能,因为我对 Shell 比较熟悉且做过 JVM 优化工作,特意在源码中支持了服务启动读取 JVM 配置功能。

代码提交之路


  1. 在 datacap 上提交了相关代码 (commit 57473faf4f45616a96962b7f84b9b5b81ecfbc42(HEAD->dev_get_jvm, origin/dev_get_jvm)

得到的收获


  1. 作为大数据运维,很少参与工程项目,非常荣幸能在 datacap 上贡献自己微薄的代码
  2. 这次参与也体会到团队协助的力量,希望 datacap 做的越来越好

对新人的建议


  1. 上线前整理 checklist
  2. 一定要写好注释,方便以后维护,要写好注释,可以写某个方法是做什么的,主要步骤是什么
  3. 测试!一定要多测试,先上测试环境,再上线
  4. 新参与项目时,可以多参考官方文档

如何参与 DataCap


  • 参考官网 开发者文档
  • 通过 Issues 列表参与 GitHub & Gitee
  • 加入我们的微信群&钉钉群(在代码仓库中可以看到二维码)
  • 微信公众号后台留言(搜索微信公公众号 devlive-sf 关注,标记 DataCap 项目给我们留言即可)

1
  1. 支付宝打赏

    qrcode alipay
  2. 微信打赏

    qrcode weixin

评论区