更新于 3月18日

数据采集工程师

2.6-4万
  • 杭州滨江区
  • 3-5年
  • 本科
  • 全职
  • 招3人

职位描述

数据抽取PythonJavaSQLFlumeSqoop多源异构数据采集数据采集监控数据质量保障
工作职责
1. 负责多源异构数据(结构化/非结构化)的采集方案设计与落地,覆盖API接口、日志、数据库等多种数据源。
2. 搭建数据采集监控体系,实时跟踪采集任务的运行状态,及时排查并解决数据延迟、丢失等异常问题。
3. 优化采集流程与算法,提升数据采集的效率与准确性,保障数据质量符合业务需求。
4. 与业务团队协作,理解数据需求,输出标准化的数据采集规范与文档。
任职要求
1. 本科及以上学历,计算机、软件工程等相关专业,基础扎实。
2. 掌握至少一种数据采集工具(如Flume、Logstash、Sqoop)或编程语言(Python/Java),具备脚本开发能力。
3. 熟悉数据库原理,能熟练操作MySQL、MongoDB等常见数据库,了解SQL优化。
4. 具备数据清洗、转换的实战经验,能独立处理脏数据、缺失值等问题。
5. 有大规模数据采集项目经验者优先,具备分布式系统理解者优先。

工作地点

杭州滨江区中控软件园

入职公司信息

  • 入职公司: 某大型公司
  • 公司地址: 芜湖鸠江区
  • 公司人数: 1000-9999人

认证资质

营业执照信息 人力资源服务许可认证

职位发布者

支女士/招聘专员

当前在线
立即沟通
公司Logo苏州人瑞普惠人力资源服务有限公司
人瑞人才是中国快速增长的人力资源解决方案先驱,也是众多新经济领军企业的战略合作伙伴。旗下业务包括中国最大的灵活用工服务,O2O招聘平台,及其他HR服务如BPO、培训等。人瑞以数字化及新科技革新传统人力资源业务流程,其一体化生态系统服务全国客户,可更快速高效及大规模地解决现时中国用工难题。除了受益于中国持续扩大的人才缺口及广阔的行业增长空间外,人瑞策略性地与新经济领军企业客户结成紧密合作伙伴,在他们发展的早期已共同成长扩张,其中包括字节跳动,腾讯,网易,小红书,去哪儿等新经济公司。公司同时以其优质服务吸引了各行业领头羊。人瑞人才目前在全国开设31家分公司及机构,业务覆盖150个城市,拥有员工600+,以及近30000名在岗外包员工。创始人张建国先生,曾任职华为人力资源副总裁、华夏基石总经理、中华英才网CEO。著有《灵活用工——人才为我所有到为我所用》、《薪酬体系设计》、《绩效管理体系设计》、《职业化进程设计》等。
公司主页