数据开发工程师

1.6-2.5万

乌鲁木齐沙依巴克区
5-10年
硕士
全职
招1人

职位描述

大数据开发JavaPythonScala

负责通过设计和实施数据仓库架构，开发 ETL（Extract Transform Load）流程，构建数据模型，保障数据高效采集、清洗、转换与存储，为数据分析、数据应用提供稳定的数据基础，助力企业实现数据驱动的业务发展。
岗位职责：
1、负责参与数据仓库架构设计与建模，根据业务需求和数据特点规划分层架构（如ODS、DWD、DWS等），设计数据模型（如星型、雪花模型），并制定数据处理与业务个性化规范，保障结构合理性、扩展性和规范性。
2、负责数据的采集、清洗和预处理工作，从多种数据源（如数据库、日志、API等）进行抽取、去重、错误修正与标准化处理，确保数据质量与可用性。
3、负责ETL流程的设计、开发与维护，制定数据抽取策略和转换逻辑，实现数据的高效提取、清洗、转换与加载，保障数据的准确性、完整性与一致性。
4、构建和维护高效可靠的数据管道，实现数据从源端到目标系统的稳定传输，优化数据处理流程，保障实时性与可扩展性，并实施自动化监控与故障处理。
5、负责数据仓库的日常管理、性能监控与优化，包括索引优化、分区调整、查询性能调优等，提升数据处理与访问效率。
6、设计和开发数据服务接口（如RESTful API、WebService等），支持业务部门与分析团队的数据需求，确保接口稳定、安全与易用，并持续监控与优化接口性能。
7、参与企业数据平台（如Hadoop、Spark、Flink等）的部署、维护与优化，监控资源使用与运行状态，处理故障与性能瓶颈，推动技术升级以提升平台能力。
8、制定数据安全与合规策略，实施数据加密、脱敏与权限控制，确保数据在采集、存储、传输和处理过程中的安全性与合规性，定期开展合规检查与整改。
9、协同业务、数据分析等部门，理解数据需求，提供技术支持，推动数据项目实施，编写技术文档（如数据字典、接口文档、开发规范等），并组织技术分享与知识传递。
任职要求：
1、研究生学历，数据科学、计算机科学与技术、软件工程、信息管理等相关专业。5年及以上大数据开发经验，具备独立负责复杂数据项目的能力，有大型数据仓库或大数据平台建设成功案例者优先。
2、熟练掌握至少一门编程语言（如Java、Python、Scala），具备良好的编程规范与大型项目建设经验。
3、精通SQL，能编写复杂查询，熟练操作MySQL、PostgreSQL、Oracle等关系数据库，具备海量数据ETL处理能力，熟悉NoSQL及GIS数据处理者优先。
4、精通Hadoop、Spark、Flink、Kafka、Hive等大数据组件，熟悉其架构与运行机制，具备ETL开发及平台运维能力。
5、熟悉数据仓库理论，掌握维度建模方法，具有元数据管理、数据质量、主数据管理等相关经验，熟悉Hive、Snowflake、Redshift等工具。
6、熟悉Linux系统及常用Shell命令，能运用Shell进行文本处理与系统操作。
7、了解数据安全与合规要求，熟悉数据加密、脱敏及访问控制机制，具备数据清洗、指标开发、机器学习建模分析能力者优先。
8、逻辑清晰，对数据敏感，学习与沟通协作能力强。持有大数据相关认证者优先，如华为HCIA/HCIP-Big Data、Cloudera CCA/CDP、AWS Certified Data Analytics、Google Professional Data Engineer、CDMP（数据管理专业人士认证）等国内外相关认证。