更新于 2月3日

大数据开发工程师

1.8-3万
  • 常州武进区
  • 5-10年
  • 本科
  • 全职
  • 招1人

职位描述

数据建模数据仓库数据库开发SparkHadoopKafka
岗位职责:
1.设计并实施大数据处理和分析策略,确保数据质量和精准度。
2.与团队合作,优化数据处理流程,提高数据效率。
3.参与大数据项目的规划和执行,协助解决技术难题。
4.与架构师对齐长期目标,作为技术中坚,负责设计分布式数据仓库(如Hive/Iceberg)和数据湖架构,规划数据流向(采集→存储→计算→服务)
5.主导数据清洗、转换、加载流程,使用Spark/ Flink构建高效作业,优化资源分配
6.监控数据处理活动,确保遵守相关法律法规和标准。
任职要求:
1.具备扎实的大数据处理和分析能力,熟悉数据处理工具和语言。
2.具有良好的问题解决能力,能够独立处理和解决技术问题。
3.技术栈
①精通Java编程语言
②大数据工具链:Spark/Hadoop/Kafka/Hive,熟悉数据湖(Delta/Iceberg)
4.开发能力
①设计ETL流程(如Kafka→Spark→Hive)
②SQL优化(复杂查询调优,Hive/Presto)
③Spark作业优化(数据倾斜处理、资源分配)
5.数据经验
①大规模数据处理:参与TB-PB级项目(如日志清洗、用户行为分析)
②数据质量保障:设计校验规则、处理脏数据
③主导过千万级DAU用户数据处理

工作地点

武进区常州科教城创研港-1号楼

职位发布者

王女士/招聘专员

三日内活跃
立即沟通
公司Logo苏文电能科技股份有限公司
苏文电能,成立于 2007年 4月,注册资本 10523.87万元,是集设计咨询(E)、设备服务(P)、安装建设(C)以及智能运维(O)为一体的国家级高新技术企业,为用户提供一站式(EPCO)供用电服务,让用电更安全,更省心!苏文电能具备电力工程建设全过程技术咨询资质;新能源发电、送电工程、变电工程、建筑智能化设计资质;电力工程总承包资质;承装(修、试)电力设施许可证和安全生产许可证;通过了中电联 ISO9001质量管理体系认证、ISO14001环境管理体系认证及 OHSAS18001职业健康安全管理体系认证,是国家级“守合同重信用”企业;智能化变电站监管数据中心系统名列国家工信部电力需求侧管理系统名录,江苏省企业技术中心,江苏省工程技术研究中心。苏文电能拥有 10多年的实战积累,服务了上千个工业企业、商业综合体、高保障用电(数据中心,公共设施、地铁)、电网建设、居配等项目的咨询、设计、设备、施工、管理和运维。电能,成立于 2007年 4月,注册资本 10523.87万元,是集设计咨询(E)、设备服务(P)、安装建设(C)以及智能运维(O)为一体的国家级高新技术企业,为用户提供一站式(EPCO)供用电服务,让用电更安全,更省心!苏文电能具备电力工程建设全过程技术咨询资质;新能源发电、送电工程、变电工程、建筑智能化设计资质;电力工程总承包资质;承装(修、试)电力设施许可证和安全生产许可证;通过了中电联 ISO9001质量管理体系认证、ISO14001环境管理体系认证及 OHSAS18001职业健康安全管理体系认证,是国家级“守合同重信用”企业;智能化变电站监管数据中心系统名列国家工信部电力需求侧管理系统名录,江苏省企业技术中心,江苏省工程技术研究中心。苏文电能拥有 10多年的实战积累,服务了上千个工业企业、商业综合体、高保障用电(数据中心,公共设施、地铁)、电网建设、居配等项目的咨询、设计、设备、施工、管理和运维。
公司主页