该职位已失效,看看其他机会吧

数据采集工程师

6000-8000元

职位描述

Flink
岗位职责
设计与实现多源接入方案(DB/日志/API/文件/消息),含实时CDC与批量抽取。
建设与维护采集Agent、Connector与调度任务,保障高可用与容错。
制定字段映射、编码规范与数据校验规则,保障数据质量与可追溯。
建设可观测性(指标、日志、链路、告警),持续优化时延与稳定性。
推进元数据登记、数据血缘与数据目录更新,完成数据标准化入湖。
编写与维护接入SOP/Runbook,参与变更评审与安全合规。
专业技能
熟悉Kafka、Flink CDC、Logstash、Flume、Debezium、Sqoop等接入组件。
掌握数据格式与协议(JSON/Avro/Parquet、JDBC/HTTP/FTP/消息队列)。
熟练使用调度与编排(Airflow/DolphinScheduler),具备Shell/Python脚本能力。
了解数据质量校验、重试补偿、幂等控制和Exactly-Once语义。
理解数据湖/仓基础(HDFS/对象存储、分区分桶、Iceberg/Delta)。
具备Linux、网络、证书与访问控制的基础运维能力
查看全部

工作地点

石家庄裕华区环球智汇中心-C座西塔23层

职位发布者

常先生/行政人事主管

今日活跃
立即沟通
公司Logo河北鹏鹄信息科技有限公司
河北鹏鹄信息科技有限公司(以下简称“公司”)创立于2021年9月30日,公司作为河北省内首家专注于人工智能技术赋能智慧交通领域的创新型科研单位,依托自身专注于AI、大数据治理、物联网技术领域不断深耕,同时基于自有国际化前沿团队先进的研发、应用能力优势及多项技术专利加持,根植于交通运输行业,尤其是针对省内各级高速路、国省干线及农村公路的“建、管、养、运”全流程工作环节,不断予以“信息化”、“智慧化”的深层次、多维度赋能。公司自创建以来,一直坚持“轻量化智慧交通”的产品研发、应用理念,紧紧围绕国家“十四五规划建设纲要”及“交通强国建设纲要”等国家政策文件对智慧交通领域的相关提升要求,坚持问题导向,不断因地制宜,提供定制化服务,利用人工智能赋能传统道路机电设备,模拟人脑的发现、思维过程,极大降低人为误判干扰,提升各级无人值守能力,使其实现大幅智慧化提升;同时利用行业领先的数据融合技术,极大降低智能化硬件设备的投入及管控系统平台的重复建设,大大降低客户智慧化提升的各项投入成本,为河北省内各级道路管养部门及企业提供了各类有针对性的“精细化”、“模块化”智慧交通提升方案,其中“长大桥隧智慧管理平台”、“交通大脑系统”及“数据中枢系统”等产品已在省内各级地市县级道路管养部门进行成功布设搭建,并获得各级客户的高度认可,为省内各级道路的智能化提升工作做出卓越贡献。
公司主页