该职位已失效,看看其他机会吧

大数据开发中级

1.4-1.5万
  • 北京通州区
  • 3-5年
  • 本科
  • 全职
  • 招1人

职位描述

ShellPythonFlinkSpark
岗位职责:
1.负责数据仓库架构设计与分层开发,基于业务需求搭建 ODS、DWD、DWS、ADS 分层模型,制定并落地数据仓库命名规范、开发规范。
2.基于 Apache Doris、ClickHouse 等大数据引擎,编写高效的 SQL 脚本,完成数据抽取、清洗、转换、加载(ETL) 任务,保障数据同步的准确性和时效性。
3.负责DataX、Sqoop等数据同步工具的任务配置、调度与监控,解决数据同步过程中的断点续传、数据一致性等问题。
4.参与大数据平台性能优化,包括 SQL 语句优化、分区裁剪、谓词下推、索引设计等,提升数据查询和处理效率。
5.配合业务部门进行数据需求调研与分析,提供数据支撑方案,输出符合业务需求的报表、指标体系或数据接口。
6.负责数据任务的监控与运维,建立数据质量校验规则,及时排查和解决数据延迟、数据错误等问题,保障数据链路稳定运行。
任职要求:
硬性要求:
1.本科及以上学历,计算机、软件工程、统计学等相关专业,3 年及以上大数据开发相关工作经验。
2.精通 Hadoop 生态体系,熟练掌握 HDFS、YARN、MapReduce、Hive、Spark 等核心组件的原理与应用。
3.熟练使用 Apache Doris、ClickHouse 至少一种 MPP 数据库,具备丰富的表结构设计、SQL 优化经验,理解 CBO 优化器原理。
4.熟练使用 DataX 等数据同步工具,能够独立配置复杂的数据同步任务,解决异构数据源同步问题。
5.掌握 Shell/Python 脚本开发,能够编写自动化调度脚本、数据校验脚本。
6.具备SmartBI、FINEBI等至少一个主流BI产品的建设经验优先
7.了解主流调度工具的使用,能够搭建完整的 ETL 调度流程。

软性要求:
1.具备较强的逻辑思维能力,能够快速拆解复杂业务需求并转化为技术方案。
2.具备良好的问题排查能力,能够定位并解决大数据平台运行过程中的性能瓶颈和数据异常问题。
3.具备团队协作精神,能够与业务分析师、数据分析师高效沟通,推动项目落地。
4.具备较强的学习能力,能够快速跟进新技术并应用于实际工作。
查看全部

工作地点

北京通州区阳光金融城1

职位发布者

袁女士/招聘专员

昨日活跃
立即沟通
公司Logo北京联合永道软件股份有限公司
北京联合永道软件股份有限公司(简称:联合永道,股票代码430664)是一家基于数字技术面向金融、能源、教育、IT与互联网及其他领域提供全生态建设方案与服务的领先企业。公司成立于2007年4月10日,业务主要涉及金融、能源、电信、教育、IT&互联网、交通、医疗等行业,运用人工智能、云计算、大数据、区块链、移动互联和在线支付等技术,为国内外客户提供专业的软件技术服务和解决方案。联合永道经过多年在技术领域的持续投入与发展,目前已拥有9项软件产品等级证书,百余项知识产权和专利。在2021年通过了北京市专精特新企业认证,且在2022年通过了北京市专精特新小巨人企业认证。联合永道拥有员工1000多人,90%以上为本科及以上学历的技术人员。公司总部位于北京,在上海、广州、武汉、杭州、深圳等地设有分支机构。联合永道自成立以来致力于为客户提供了量身定制的IT技术服务。先后为交通银行、广州银行、湖南农信社、光大证券、浙商证券、中国人寿、中国人保、阳光保险、国华人寿、中国移动、中石油、中海油、中石化、中航信、昆仑数智、卓望科技、华三通信、大华股份、神州数码、启明星辰、百度、阿里、字节跳动、搜狐、网易等近千家优秀企业提供了全面的顾问咨询、软件开发、质量测试以及技术人员外包服务。同时公司注重公司自有产品开发,面向智慧教育领域形成完整的校园管理信息化产品以及解决方案,为国内数百家中高职院校提供相应的软件产品与技术服务。典型客户有:合肥职业技术学院、上海电子信息职业技术学院、天津渤海化工职业技术学院、河南机电职业学院、江苏海事职业技术学院等。联合永道经过十多年的迅猛发展,取得了骄人的业绩,这不仅源于公司高质高效的产品研发、科学规范的项目管理和全面稳定的人才团队,更得益于贯穿公司始终、独具特色的“联合永道,说到做到”的企业文化。这种文化建立了公司对客户、对合作伙伴、对社会的诚信原则,为公司在市场竞争当中树立了良好的信用口碑,保障了公司的可持续成长。公司先后通过高新技术企业认证、双软认证、ISO9001:2008质量管理体系认证、ISO27001安全信息认证、ISO14001环境管理认证、ISO45001职业健康安全认证、CMMI3级认证、计算机系统集成三级认证、AAA信用等级证书,荣获近百项软件行业大奖,并与国内外近百家知名企业建立了紧密的技术协作与合作关系。立足中国,放眼全球,未来联合永道将积极探索领先的IT服务技术,贯彻客户至上,以人为本、坚持以技术推动进步,科技改变生活的价值观,致力成为国际领先的IT综合服务商,用创新的数字技术与客户一起改变世界。
公司主页