大数据开发工程师

工作职责：
1.负责大数据相关项目的数据流设计与开发、业务需求分析和数据挖掘建模等，构建业务数据分析体系，协助业务确定各项业务数据指标。
2.运用Hadoop、Spark等工具完成海量数据清洗、分析与深度挖掘，揭示业务规律与趋势。
3. 参与公司大数据平台数据仓库建设，任务调度，监控预警，持续完善大数据平台，保证稳定性与安全性。
4. 参与公司数据中台规划，制定并完善开发规范、标准和流程。
5. 深入业务，理解业务运作逻辑，按照业务部门需求或者数据分析需要，开发各类主题报表，并进行可视化展示。
6.应用先进的统计建模、数据挖掘、机器学习等方法建立数据模型进行场景预测、分析。
7.持续探索前沿数据分析工具与技术，优化数据平台功能与分析方法，提升团队技术效能。
8.建立跨部门协作机制，精准传递数据洞察结果与策略建议，赋能业务增长与创新。
任职要求：
1.本科及以上学历，7年以上有大型数据仓库/大数据/BI/数据分析的整体实施经验，实际参与过大型数据分析类项目的需求、开发、维护等各项工作。
2.精通 Java/Scala/Python 等编程语言，熟悉 Linux 操作系统。
3.熟练掌握SQL编程和优化经验，熟悉关系型数据库如Oracle, Mysql等。
4.熟悉至少一种实时计算引擎SparkStreaming, Flink, Storm。
5.深入理解HDFS、YARN、MapReduce、Hive、Spark、HBase、Trino 等组件的原理和应用。
6.了解基本的数据加工、计算、分析、数据管理方法与流程。
7.熟悉ETL、报表、调度等多种产品机制，对BI报表开发，可视化展现有充分的理解，有BI分析工具使用经验者优先。
8.有财务领域大数据平台咨询经验，熟悉财务风险管理、信用评估等模型，熟悉财务数据分析工具优先。
9.如有航运业相关背景或财务相关项目背景优先。