大数据开发工程师

工作职责
（1）拥有优秀的数据开发和数据处理能力，负责公司大数据平台核心业务模块和引擎的开发与维护，基于Hadoop、Spark、Flink等主流大数据框架，构建高效、稳定的数据处理链路，支撑业务数据化运营需求。
（2）针对数据支撑业务，提供数据分析、数据接口、基础模型、汇总模型、ETL流程等设计和研发。
（3）参与项目需求对接与分析，负责数据接入、数据清洗、数据加工等。
（4）有较强的系统问题分析经验和能力，能够解决复杂的系统问题。
招聘要求
（1）计算机、软件工程、自动化等相关专业硕士及以上学历；
（2）3年以上大数据开发相关工作经验，有完整大数据项目从设计到上线的落地经验；
（3）需要有大数据平台研发和设计经验，包括ETL管道部分研发（必须）。
（4）有主流湖仓开发经验，参与过大型湖仓库建设项目，具备数据仓库模型设计、ETL开发、多维数据模型设计、流批一体化计算架构等技能，能够进行数据模型优化和性能调优（必须）；
（5）支持算法工程师的数据需求，参与数据产品、特征工程和数据模型开发（利用机器学习算法实现对数据的分析和数据场景应用模型的研发）
（6）精通Python编程语言，具备扎实的编码基础和良好的编码规范，能独立完成复杂业务模块的开发；
（7）精通Flink、Spark、Kafka、Hive、Hbase、Doris、Clickhouse、HDFS、Zookeeper、MR等大数据组件，具有搭建、调优、运维和开发经验；
（8）熟练掌握数据库相关知识，包括关系型数据库(如MySQL、PostgreSQL)和非关系型数据库 (如MongoDB、ElasticSearch、Redis)的使用，熟悉SQL和NoSQL解决方案及使用场景，能进行数据库设计、优化和管理；
（9）熟悉ETL开发流程，具备复杂数据处理场景的问题排查与优化能力，能有效解决数据倾斜、任务失败、性能瓶颈等常见问题；
（10）熟悉Unix/Linux基本操作，能够在Unix/Linux 环境下进行开发、部署和问题排查，熟悉常用的命令和脚本编写，具备使用Docker、 K8s进行容器化部署的经验；
（11）有实时计算、流处理相关项目开发经验，或熟悉Flink CDC、Debezium等数据同步工具者优先；
（12）沟通交流能力强，良好的团队合作精神，工作主动性强。具备开展合作交流与应用推广能力。