非常感谢所有对 DataCap 项目的支持和贡献,我们迎来了新的一位来自互联网行业的大数据资深运维工程师,感谢他对 DataCap 的支持已经代码的贡献。
关于 DataCap
DataCap 是数据转换、集成和可视化的集成软件。支持多种数据源,文件类型,大数据相关数据库,关系型数据库,NoSQL 数据库等。通过软件可以实现管理多种数据源,对该源下的数据进行各种操作转换,制作数据图表,监控数据源等各种功能。
DataCap 喜迎一位 Committer 成员
名字 | 职业 | GitHub ID |
---|---|---|
陈文明 | 大数据资深运维工程师 | chenwenming-zj |
个人描述
有多年大数据组件维护经验,对 Hadoop 集群有丰富的经验,同时对 Apache Kafka 以及各个大数据组件有一定的经验。
- 优化过亿 Blocks 的 NameNode,优化解决集群小文件问题,减少 NameNode RPC 压力
- 迁移并运维过 PB 级别的 Hadoop 集群
- 维护管理万级别 Topic 的 Kafka 集群,自动化脚本实现分区均衡迁移,Reassignment 限速等
对 DataCap 的认识
在做公司 Clickhouse 迁移时,从 GitHub 中搜索,发现 datacap 项目,结合公司内部业务,经过一段时间运行后发现缺失,服务功能缺失 JVM 动态加载功能,因为我对 Shell 比较熟悉且做过 JVM 优化工作,特意在源码中支持了服务启动读取 JVM 配置功能。
代码提交之路
- 在 datacap 上提交了相关代码 (commit 57473faf4f45616a96962b7f84b9b5b81ecfbc42(HEAD->dev_get_jvm, origin/dev_get_jvm)
得到的收获
- 作为大数据运维,很少参与工程项目,非常荣幸能在 datacap 上贡献自己微薄的代码
- 这次参与也体会到团队协助的力量,希望 datacap 做的越来越好
对新人的建议
- 上线前整理 checklist
- 一定要写好注释,方便以后维护,要写好注释,可以写某个方法是做什么的,主要步骤是什么
- 测试!一定要多测试,先上测试环境,再上线
- 新参与项目时,可以多参考官方文档
评论区