更新于 1月15日

数据开发工程师中高级(银行项目)

1.9-2.5万
  • 深圳福田区
  • 车公庙
  • 5-10年
  • 本科
  • 全职
  • 招1人

职位描述

数据仓库数据库开发
基本要求
负责基于Hadoop、Spark、Flink等技术的金融级数据平台的规划、建设和持续迭代。
主导数据仓库、数据湖/湖仓一体等数据体系的设计与实施,包括ODS、DWD、DWS、ADS等数据分层建模,并熟悉Iceberg、Hudi等表格式。
负责数据采集、集成、清洗、加工的全链路开发,确保数据的准确性、完整性和时效性。
实时与离线计算
精通Spark Streaming/Structured Streaming、Flink等实时计算框架,构建低延迟、高可用的实时数据处理管道。
优化Hive on Tez/Spark、Impala等离线数据处理作业,保障大规模数据计算任务的效率和稳定性。
熟练运用Kafka、Flume等组件,解决数据接入与集成问题。
性能优化与治理
持续对Hive/Spark作业进行性能调优,具备解决数据倾斜、GC(垃圾回收)问题、SQL优化等复杂技术难题的能力。
业务赋能与协作
深入理解金融业务(如风控、交易、资产、营销等),能将业务需求转化为清晰的技术方案和数据模型。
与业务部门、数据分析师紧密协作,提供高质量的数据支持和服务。
必备条件
- 学历与经验:统招本科及以上学历,计算机相关专业,7年及以上大数据开发经验,至少3年银行业(背景。
- 技术栈:精通 Hadoop(HDFS/YARN)、Hive(尤其熟悉Hive on Tez)、Spark、Kafka、Flink。熟练使用 Impala, Hue 等Cloudera数据平台组件。
- 数据架构:深刻理解数据仓库建模理论(如维度建模),具备大型数仓或指标体系建设经验。有数据湖/湖仓一体项目经验者更佳。
- 编程能力:熟练掌握 Python 和 Shell 脚本编程,能够进行自动化脚本开发和任务调度。
优先考虑
- 具备 Hive/Spark作业性能调优 实战经验,能独立解决数据倾斜等疑难杂症。
- 拥有 Spark Streaming/Structured Streaming 或 Flink 实时计算项目经验。
- 熟悉 HBase,impala, Sqoop 等Hadoop生态其他组件,了解 Kerberos、Ranger 等安全认证与权限管理机制。

工作地点

NEO企业大厦深圳市福田区车公庙NEO大厦A座26楼

职位发布者

刘云凤/招聘专员

立即沟通
公司Logo紫金支点
深圳市紫金支点技术股份有限公司(以下简称紫金技术)成立于1992年,注册资本11200万元,长期致力于中国金融电子化建设,是目前国内金融行业资深的系统集成商和整体解决方案提供商,同时也是国内金融自助设备最主要的供应商和服务商之一。公司总部设在深圳市软件产业基地,拥有北京紫金、上海紫金、南京紫津融畅三个全资子公司,截至2020年在广州、武汉、沈阳、郑州等全国各个城市设立了逾三百个办事处,确保为当地及周边客户提供高效、专业、全面的技术支持与维护服务。紫金技术是“国家级高新技术企业”、“国家规划布局内重点软件企业”、“国家软件百强企业”,2002年通过了ISO9000质量体系认证,2010年通过了ISO20000服务体系认证,2014年获得ITSS信息技术服务运行维护标准符合性证书,2015年通过ISO/IEC 27001:2013信息安全管理体系认证,且被授予“2015中国自主可靠企业核心软件品牌”称号,2017年通过了CMMI5级评估和认证,荣获2017中国软件和信息技术服务综合竞争力百强企业称号。同时也是国际标准化委员会CEN/XFS的核心成员,在XFS标准应用领域具有领先优势,为标准的制定和在中国地区的应用发挥着积极而重要的作用。成立至今,紫金人始终坚持“品质为先,服务为本”的品牌理念,顺应中国金融行业变革趋势,以匠人之心努力为客户创造价值:软件开发方面,紫金技术持续创新、自主研发,充分利用XFS标准组织核心成员的优势,为广大金融客户提供了百余种软件产品,并凭借其先进性、实用性及可靠性在业界享有良好声誉。在自助设备成为各家银行激烈竞争中必不可少的战略性手段和工具的今天,紫金ATMC跨平台软件和自助设备运行管理软件等已经成为银行自助渠道建设从成本中心向利润中心转型的有力工具,目前已在中国建设银行、中国光大银行、中国工商银行(亚洲)、交通银行等近60家银行实施,稳定运行在30万台设备上,覆盖设备厂商品牌超过30个,覆盖机器型号近200个,覆盖客户业务超过200项。产品的先进性、创新性、稳定性等得到各用户的一致好评。系统集成方面,紫金技术具有“国家信息系统集成及服务一级资质”,同时拥有国际和国内各先进IT企业的最高代理资质,是IBM解决方案提供商、CISCO金牌合作伙伴、F5 Networks中国地区金牌代理、ORACLE金牌合作伙伴、JUNIPER精英合作伙伴、H3C银牌代理及四星级服务商、华为银牌经销商、迈普战略合作伙伴、锐捷战略合作伙伴及Brocade、Polycom、启明星辰、卫士通等厂商的认证服务商。技术服务方面,业务线条涵盖现金与非现金业务,依托ISO20000服务管理体系和ITSS信息技术服务运维资质,通过“IT服务标准化”来完善自身的信息化服务平台。完备的服务管理渠道及流程、经验丰富、意识良好的服务团队、遍及全国的服务网点、现代化的在线服务管理系统,多层次的软件支持,专业的培训体系,都成为紫金技术打造“优质品牌服务”战略发展的有力支撑。自2000年率先将日立存取款一体机引进国内市场以来,共承担该品牌自助设备在国内约一半以上份额的服务工作,维护总量逾6.3万台,超过五十家银行客户。除此之外,还具备维护NCR、德利多富、东信、广电、御银、迪堡、怡化、恒银等多品牌设备及清机外包、运维外包的服务能力和经验。未来,紫金技术将继续为中国金融电子化事业默默耕耘,怀感恩之心,以现代化手段承接并整合传统业务,助力创新智能转型,为金融领域客户的发展与壮大贡献力量。
公司主页