数据开发

岗位职责：
1、持续建设数据科学仓、接口服务仓、监管报送仓。
2、满足各领域的数据服务需求，充分满足信息查询、数据获取等场景。
3、优化数据服务功能点，增强API服务调用访问管理，日志增加源头访问IP，追溯调用系统，全方位展示数据服务使用情况。
4、推进实时数据方案建设，完成实时数据架构在大数据平台落地。
5、基于设计改造方案，完成对数据清洗、分析、加工等工作，并保证数据一致性与稳定性。
6、丰富大数据平台模型，完成数据清洗、分析等工作，为经营分析仓、数据科学仓、接口服务仓、监管报送仓提供基础模型支撑，结合已有模型，整合并开发基础数据模型（DWD等）。
7、丰富大数据平台模型，完成数据加工等工作，为经营分析仓、数据科学仓、接口服务仓、监管报送仓提供基础模型支撑，结合已有模型，整合并开发基础数据模型（DWA等）。
8、承接保单登记个险部分等数据报送工作，完成监管模型的底层设计，保证报送数据的一致性。
9、保证报送系统运行平稳、每月按时完成报送任务。
10、定期完成全部数据质量检核,输出数据质量检核结果。
11、及时处理质量问题,根据解决方案,完成报送系统涉及的调整。
12、保证数据中台运行平稳，对跑批过程中出现的异常情况及时处理，并合理分配资源调度，优化生产任务。
13、配合业务部门及其他相关应用系统，排查数据加工、数据服务的逻辑问题，对发现的问题及时处理。
14、维护测试环境运行，配合相关应用系统及测试需要，完成测试环境数据更新、数据服务联调等相关数据服务迁移改造工作。
任职要求：
1、负责恒安实时计算平台与数据处理流程的设计、开发与维护，包括实时数据采集、清洗、转换、计算与写入。
2、具备3年以上实时数据开发经验，熟悉Linux系统，熟悉使用Flink CDC、Kafka等技术栈，熟悉Starrocks产品。
3、负责实时任务的运维、监控、告警与故障处理，保障 7×24 小时高可用运行。
4、了解CDP产品的相关组件，包括不限于HDFS、Hive、Solr、Spark、Iceberg等技术组件，熟练使用Hive/SQL进行离线数据开发。