更新于 3月20日

数据开发

1.3-1.5万
  • 天津和平区
  • 五大道
  • 3-5年
  • 本科
  • 全职
  • 招1人

职位描述

数据架构FlinkHadoopSpark
岗位职责:
1、持续建设数据科学仓、接口服务仓、监管报送仓。
2、满足各领域的数据服务需求,充分满足信息查询、数据获取等场景。
3、优化数据服务功能点,增强API服务调用访问管理,日志增加源头访问IP,追溯调用系统,全方位展示数据服务使用情况。
4、推进实时数据方案建设,完成实时数据架构在大数据平台落地。
5、基于设计改造方案,完成对数据清洗、分析、加工等工作,并保证数据一致性与稳定性。
6、丰富大数据平台模型,完成数据清洗、分析等工作,为经营分析仓、数据科学仓、接口服务仓、监管报送仓提供基础模型支撑,结合已有模型,整合并开发基础数据模型(DWD等)。
7、丰富大数据平台模型,完成数据加工等工作,为经营分析仓、数据科学仓、接口服务仓、监管报送仓提供基础模型支撑,结合已有模型,整合并开发基础数据模型(DWA等)。
8、承接保单登记个险部分等数据报送工作,完成监管模型的底层设计,保证报送数据的一致性。
9、保证报送系统运行平稳、每月按时完成报送任务。
10、定期完成全部数据质量检核,输出数据质量检核结果。
11、及时处理质量问题,根据解决方案,完成报送系统涉及的调整。
12、保证数据中台运行平稳,对跑批过程中出现的异常情况及时处理,并合理分配资源调度,优化生产任务。
13、配合业务部门及其他相关应用系统,排查数据加工、数据服务的逻辑问题,对发现的问题及时处理。
14、维护测试环境运行,配合相关应用系统及测试需要,完成测试环境数据更新、数据服务联调等相关数据服务迁移改造工作。
任职要求:
1、负责恒安实时计算平台与数据处理流程的设计、开发与维护,包括实时数据采集、清洗、转换、计算与写入。
2、具备3年以上实时数据开发经验,熟悉Linux系统,熟悉使用Flink CDC、Kafka等技术栈,熟悉Starrocks产品。
3、负责实时任务的运维、监控、告警与故障处理,保障 7×24 小时高可用运行。
4、了解CDP产品的相关组件,包括不限于HDFS、Hive、Solr、Spark、Iceberg等技术组件,熟练使用Hive/SQL进行离线数据开发。

工作地点

天津和平区津汇广场2座-南门1

认证资质

营业执照信息

职位发布者

张女士/人力

三日内活跃
立即沟通
公司Logo北京青钱信息技术有限公司
基本情况北京青钱信息技术有限公司成立于2010年4月,位于北京市海淀区中关村核心区西区,是一家专业从事软件产品研发、IT人才外包、软件项目外包、软件定制开发及软件整体解决方案的高新技术企业。公司专注于人员外包服务,公司建立了成熟的外包服务团队、完善的外包服务流程和派驻现场的一大批优秀工程师队伍。服务行业涵盖互联网、电子商务、互联网金融、传统软件、能源、通信、金融等,为各行业提供优质的外包服务,并与客户建立了长期稳定的合作。青钱公司拥有一批专业的IT人才,包括:架构师、项目经理、java、需求分析师、.net、php、ios、Gis、C/c++、Android、UI设计、Web前端、测试等工程师,可以迅速的响应客户需求,具备软件人才外包交付的能力。企业文化:青钱公司核心价值观:明德、新民、至善。旨在:诚信经营、创新思路、承担社会责任。自成立以来始终秉承诚信第一、客户至上的经营宗旨,在公司经营过程中一致得到广大用户和合作单位的支持和认可。青钱以现代化的管理理念和专业的技术,为广大用户提供优质软件产品和人才服务,在行业内形成了良好的口碑!发展目标:青钱以起点高、效率高、服务好为目标,力争成为国内IT业里一流的软件产品供应和人才服务提供商,为客户提供一站式高品质的产品和服务。网址:www.qingqian.net电话:010-82483533
公司主页