更新于 1月10日

大数据开发工程师

1.4-1.8万·13薪
  • 聊城东昌府区
  • 5-10年
  • 本科
  • 全职
  • 招1人

职位描述

数据架构数据仓库ETLSqlHadoopFlinkSpark
岗位招聘要求
本科及以上学历,软件工程、数据科学、计算科学、信息管理等相关专业;6年以上软件开发经验,3年及以上大数据项目实战开发经验,需具备大型数据平台从0到1搭建的完整项目经验。
熟练掌握基于Hadoop/Spark/Flink等生态的企业级大数据平台架构设计与开发,能独立负责数据全链路(采集、存储、处理、分析)的方案设计与落地实施。
精通企业级离线与实时数据仓库的设计规范、分层建模(如星型/雪花模型)及研发全流程,能主导数据仓库的搭建、优化与迭代工作。
熟练使用SQL(含HiveQL/Spark SQL等大数据场景SQL)及主流NoSQL数据库(如HBase、MongoDB);具备扎实的数据建模能力;掌握容器化部署(Docker/Kubernetes)或BI可视化工具(Tableau、Quick BI等)的使用。

岗位工作内容

1.主导或核心参与企业级大数据平台、数据仓库及数据湖的架构设计与开发工作,负责Hadoop、Spark、Flink等核心组件的选型、部署配置与技术落地。
2. 设计并搭建高可用的数据采集链路,基于Kafka、Flume等组件实现多源异构数据(日志、业务数据库、第三方接口等)的高效采集;开发、维护核心ETL任务,完成数据清洗、转换、加载全流程;构建稳定的实时/离线数据处理流水线,支撑业务报表生成、AI建模训练等核心业务场景,保障数据链路的稳定与高效。
3. 主导数据仓库分层架构(ODS/DWD/DWS/ADS)及数据模型的设计与优化;推动企业数据治理体系建设,覆盖元数据管理、数据血缘追踪、数据质量监控与告警等核心模块,确保数据的准确性、一致性、完整性与可追溯性。
4.持续监控大数据平台性能及数据处理任务运行状态,针对SQL查询、Spark/Flink作业进行性能调优。

工作地点

聊城东昌府区创业大厦

职位发布者

金福新/人事经理

刚刚活跃
立即沟通
公司Logo山东煜鑫工程安装有限公司
公司主页