大数据工程师

一、职位描述
1、数据架构设计与优化‌主导大数据平台的整体架构设计，包括数据存储、计算资源分配及性能优化方案，确保系统可扩展性和高效性；评估并引入新技术，提升数据处理效率；
2、核心数据管道开发‌开发高吞吐量的数据采集与处理管道，支持多源异构数据整合，并设计容错机制保障数据完整性；使用公司大数据平台构建自动化调度系统，实现任务依赖管理、优先级控制及异常恢复流程；
3、业务赋能与模型落地‌：与数据模型师协作，将数据仓库模型转化为可执行的开发方案，优化查询性能以支持分析需求；为数据分析师提供高效的数据接口，加速业务洞察落地；
4、编写架构设计文档、接口规范及性能优化报告，推动技术方案标准化；
5、探索前沿技术，推动数据平台能力升级。
二、任职要求
1、35岁以下,本科及以上学历，计算机/软件工程等相关专业，3年以上大数据工作经验；
2、编程语言‌：精通Java/Scala/Python/Sql，具备分布式系统开发经验；
3.大数据生态‌：熟练使用Hadoop/Spark/Flink等框架，熟悉Hive、Doris查询优化，了解Kafka、Redis等消息与缓存中间件；
4.开发工具‌：掌握Git、Maven/Gradle，有Docker/Kubernetes经验者优先；
5.经验要求‌3年以上大数据开发经验，主导过复杂数据管道项目，熟悉全流程开发；有交通、医疗、工业或物联网行业背景者优先。