大数据工程师

大数据工程师
‌岗位职责：
1. 参与大数据服务项目的相关架构规划。参与海量数据的批量处理及实时处理的程序开发。
2. 协助需求经理进行调研分析，明确客户需求、确保对业务目标和技术要求的精准理解。 将复杂的的业务流程转化为数据流程，实现数据模型设计、数据流转设计等设计，进而制订技术建设方案。
3. 开发程序脚本，负责ETL开发、数据稽核、ETL任务配置等开发工作。
4. 编制设计、开发、血缘关系、稽核测试、运维等相关文档。
任职要求：
1、本科及以上学历，计算机相关专业。
2、1年以上Hive、MapReduce、Spark、spark-streaming、Flink大数据开发工作经验，熟悉Hadoop、HBase、kafka等组件。精通shell、python至少一门语言,具备海量数据开发经验。
3、能够快速基于业务需求，撰写相关的SQL或HQL，并保障SQL或HQL具备较高的规范性、可读性、效率；有优化脚本性能的经验。完成数据加工、数据提取任务。
4、能够定位生产平台大数据任务异常故障原因定位、性能调优，保障实时数据处理数据一致性、稳定性。
5、具备强烈的责任心和良好的职业道德操守；具备良好的学习能力.团队合作精神.分析判断能力.沟通协调能力，能适应工作压力。