更新于 4月2日
职位描述
Hadoop
岗位要求
1）汇报对象：大数据技术架构师/开发2）核心标签：Java、大数据开发、Hadoop、Spark、Flink、数据仓库
3）本科及以上学历，计算机相关专业，3年以上大数据开发经验，精通Java开发（核心要求），熟练掌握Java基础、集合、多线程、IO、反射等核心知识点，具备扎实的Java编码功底。
4）精通大数据核心组件：熟练使用Hadoop（HDFS、MapReduce、YARN）、Spark（Spark Core、Spark SQL）、Flink，能独立完成离线/实时任务开发与调优；熟悉Kafka、HBase、ClickHouse、Doris等组件优先。
5）熟练掌握ETL开发流程与技巧，精通SQL优化，能独立完成数据仓库分层建模与开发，有海量数据处理经验者优先。
6）熟悉Linux系统操作，能熟练编写Shell脚本；了解Maven、Git等开发工具，掌握SpringBoot、MyBatis等JavaWeb框架者优先。
7）具备良好的问题分析与解决能力，能独立排查开发、运维过程中的技术故障；有较强的责任心与抗压能力，具备良好的沟通协调能力和团队协作精神。
8）熟悉数据治理、数据质量监控相关流程，有金融、电商、互联网行业大数据开发经验者优先。
岗位职责
1. 基于Java技术栈，负责大数据平台核心模块开发、迭代与维护，参与离线计算、实时计算任务的编码、测试与上线，保障服务高可用、高稳定。
2. 负责数据仓库分层开发（ODS/DWD/DWS/ADS），基于Java+SQL完成数据抽取、清洗、转换、加载（ETL）任务开发，优化ETL作业性能，解决数据处理过程中的异常问题。
3. 熟练运用Hadoop、Spark、Flink、Kafka等大数据组件，结合Java语言进行二次开发、任务调度与优化，解决数据倾斜、任务延迟等常见问题。
4. 配合架构师完成大数据平台技术方案落地，参与技术选型讨论、代码评审，遵循团队编码规范，沉淀开发文档与技术组件。
5. 对接业务部门，深入理解业务需求，将业务需求转化为大数据开发方案，开发数据接口、数据报表，支撑业务数据驱动决策。
6. 负责线上大数据任务的日常监控、运维排查，快速响应并解决线上故障，保障数据处理的及时性与准确性。
7. 关注Java技术栈与大数据领域前沿技术，主动学习并落地优化，提升开发效率与系统性能。
1. 基于Java技术栈，负责大数据平台核心模块开发、迭代与维护，参与离线计算、实时计算任务的编码、测试与上线，保障服务高可用、高稳定。
2. 负责数据仓库分层开发（ODS/DWD/DWS/ADS），基于Java+SQL完成数据抽取、清洗、转换、加载（ETL）任务开发，优化ETL作业性能，解决数据处理过程中的异常问题。
3. 熟练运用Hadoop、Spark、Flink、Kafka等大数据组件，结合Java语言进行二次开发、任务调度与优化，解决数据倾斜、任务延迟等常见问题。
4. 配合架构师完成大数据平台技术方案落地，参与技术选型讨论、代码评审，遵循团队编码规范，沉淀开发文档与技术组件。
5. 对接业务部门，深入理解业务需求，将业务需求转化为大数据开发方案，开发数据接口、数据报表，支撑业务数据驱动决策。
6. 负责线上大数据任务的日常监控、运维排查，快速响应并解决线上故障，保障数据处理的及时性与准确性。
7. 关注Java技术栈与大数据领域前沿技术，主动学习并落地优化，提升开发效率与系统性能。
工作地点
北京东城区亮点七条
公司信息
上海信息人才服务有限公司
不需要融资 · 100-299人 · 人力资源
已审核
公司介绍
上海信息人才服务有限公司成立于2002年09月28日,注册地位于上海市静安区华盛路76-82号5层05室。为A股上市国企上海外服集团全资子公司，企业性质为国企。是一家专注于IT领域专业从事IT人力服务行业的国有企业。
工商信息
企业名称 上海信息人才服务有限公司
企业类型 有限责任公司
法人代表 赵嘉
经营状态 存续
成立时间 2002-09-28
注册资本 1200万元
认证资质
营业执照信息 人力资源服务许可证
