更新于 今天

数据开发工程师

1.3-1.6万
  • 武汉江汉区
  • 3-5年
  • 本科
  • 全职
  • 招1人

职位描述

实时数据离线数据Sparkhive
任职要求:
1.本科及以上学历,计算机、软件工程、数学或相关专业;
2.3 年以上 Python 开发经验,熟练掌握 Python 生态(如 Pandas、SQLAlchemy、FastAPI/Flask 等);
3.熟悉 Hadoop 生态系统,具备 Hive、Spark(Spark SQL / DataFrame / Structured Streaming)实战经验;
4.熟悉 SQL,具备复杂查询编写与性能优化能力;
5.了解 Linux 环境,能熟练使用 Shell 脚本进行日常运维;
6.具备良好的工程素养,熟悉 Git、CI/CD、代码规范等开发流程。
加分项:
1.设计并开发高效、稳定、可扩展的大数据处理 pipeline,支持 TB 级数据处理; 2.有 doris(或 Doris、ClickHouse 等 MPP 引擎)使用和调优经验;
岗位职责:具备扎实的 Python 开发能力,并熟悉主流大数据技术栈(如 Hive、Spark、doris 等)。负责数据采集、处理、服务化等全链路开发工作,支撑业务决策、智能分析及数据产品落地。
工作职责:
1.使用 Python 构建数据 ETL/ELT 流程,对接各类数据源(数据库、日志、API 等);
2.基于 Hive、Spark(PySpark/Scala)进行离线/实时数据计算与优化;
3.使用 doris 构建高性能 OLAP 查询服务,支持实时分析与 BI 场景;
4.参与数据仓库建模、指标体系建设及数据质量保障;
5.与风险策略模型和数据开发人员紧密协作,协助数据分析和开发工作;
6.持续优化系统性能、资源利用率与运维效率。

工作地点

武汉江汉区卓尔国际中心1F

职位发布者

胡女士/人事经理

昨日活跃
立即沟通
公司Logo深圳市睿服科技有限公司
深圳市睿服科技有限公司(简称:“睿服科技”)成立于2017年,是一家为客户提供软件技术服务(产品、IT服务、项目外包)、信息咨询服务、行业解决方案等服务的高新技术企业,是金证集团控股子公司。其前身是金证集团为核心金融机构提供定制化服务的大客户服务事业部。睿服科技依托金证集团深厚的积累和底蕴,拥有快速而稳定的业务响应机制、雄厚的专业技术团队、先进的资源管理平台、成熟的过程实施与质量管控体系,先后获得多项国际国内资质认证。在“聚焦信息技术领域,提供有竞争力的服务,持续为客户创造最大价值”的使命驱动下,深挖客户需求,不断开拓市场,业务高速增长。目前公司业务已覆盖全国,在北京、上海、深圳、成都、南京、广州、青岛、武汉等城市建立了交付中心;与中国结算、股转公司、港交所、华泰证券、中信建投、中泰证券、安信证券、平安银行、上海银行、招商信诺、平安寿险、南方基金、易方达等众多金融机构,以及中国平安、腾讯、美的集团、青岛海尔、招商局等世界500强企业建立了长期合作伙伴关系。睿服科技已成为IT服务行业的一匹黑马,是值得客户信赖的合作伙伴。展望未来,睿服科技将始终秉承“长期经营、稳健经营、诚信经营、追求卓越”的经营理念,恪守“客户第一、奋斗为本、专业高效、合作共赢”的核心价值观,全面打造公司的核心竞争力,致力于成为行业领先、客户信赖的信息技术服务企业
公司主页