资深数据研发工程师
发布时间:2021-10-14
所属部门:研发部
工作地点:上海
学历:本科及以上学历,计算机相关专业
工作年限:3年以上
招聘人数:1
1、负责实时、离线计算平台的架构设计&开发;
2、负责数据API开放平台的开发;
3、负责CDH核心集群的运维工作,保证其高可用和稳定性,负责集群容量规划、扩容,持续优化;
4、开源解决方案调研和安装维护,例如superset、kylin,解决团队数据可视化和权限控制等痛点。
岗位要求
1、本科及以上学历,计算机相关专业,3年以上互联网行业大数据相关开发经验;
2、熟悉Storm或Spark Streaming或Flink等流计算引擎,有实际项目经验者优先;
3、熟悉ES/kylin/CK,在开源社群活跃并有积极贡献者优先;
4、具备扎实的计算机理论基础, 对数据结构及算法有较强的功底,强悍的编码能力;
5、熟练掌握java语言,熟悉python、scala更佳;具备优秀的系统Debug/Profiling/多线程等能力和经验;
6、熟悉分布式系统、集群管理、SOA架构等相关技术,熟悉hadoop on yarn集群部署和工作原理,熟练掌握MR开发,有大型集群开发运维经验更佳。