数据开发工程师

1、设计并搭建公司数据仓库、数据湖、实时数据处理系统等架构。依据业务与数据特点，选合适存储方案与技术，确保数据高效存储、管理与访问，并持续优化架构，应对数据量增长与业务变化，保障系统稳定、可扩展。
2、制定数据采集策略，从数据库、文件系统等多源收集数据。用 ETL 工具清洗、转换、集成数据，构建自动化处理流水线，定时更新数据，为分析、挖掘和应用提供高质量数据。
3、依业务与分析目标，设计数据仓库（如星型、雪花模型）及机器学习、数据挖掘的特征模型。用 SQL、Java等实现数据查询、统计分析及算法逻辑，支持数据探索、报表生成、模型训练。
4、建立数据质量监控体系，设指标与评估标准。通过工具实时监测，及时处理数据缺失、重复等问题。与数据产生部门及业务团队合作，优化采集流程与业务规范，提升数据质量。
5、制定并执行数据访问权限策略，遵循法规标准，保障数据合法使用与合规存储。对敏感数据加密、脱敏，防范泄露风险。
三、任职要求：
1、计算机、软件工程、数学、统计学、数据科学等相关专业，本科及以上学历。
2、熟练掌握一种 ETL 工具（如 Informatica、Talend、Kettle），能独立完成数据抽取、转换、加载。精通 SQL，具备复杂查询编写与数据库性能优化能力，熟悉主流关系型数据库（如 Oracle、MySQL、SQL Server）。掌握 Java 等数据处理语言，可进行数据清洗、分析与算法实现。
3、了解数据仓库、数据湖架构原理，熟悉数据建模方法，能设计合理数据模型。掌握分布式存储技术（如 Hadoop、Spark、Hive、HBase），可搭建维护分布式数据存储与处理环境，具备数据架构设计与优化能力。
4、熟悉数据质量监控管理方法，能诊断解决数据质量问题。了解数据安全与合规知识，掌握数据加密、脱敏、访问控制技术，保障数据安全合规。
5、具备 Linux 操作能力，可在 Linux 环境下进行数据处理与系统运维。熟悉常用数据分析与可视化工具。
6、学习与创新能力强，能快速掌握新技术、工具。具备良好问题解决与逻辑思维能力，可独立解决复杂数据处理问题。有优秀团队协作与沟通能力，能与不同部门高效协作。
7、有 3年以上数据开发经验，有完整数据仓库或大数据项目经验优先，有大规模、实时数据处理经验更佳。