职位描述
数据爬虫反爬虫PythonJavaScrapy多源异构数据采集数据质量保障大规模数据采集项目经验
工作职责:
1. 负责多源异构数据(结构化/半结构化/非结构化)的采集方案设计与落地,覆盖API接口、网页、数据库等多种数据源。
2. 搭建并维护数据采集系统,优化采集效率与稳定性,解决反爬、限流、数据丢失等核心问题。
3. 制定数据质量校验规则,通过自动化监控与异常告警机制保障采集数据的准确性与完整性。
4. 与业务团队协作,理解数据需求并输出标准化的数据交付方案,支撑下游数据应用场景。
1. 负责多源异构数据(结构化/半结构化/非结构化)的采集方案设计与落地,覆盖API接口、网页、数据库等多种数据源。
2. 搭建并维护数据采集系统,优化采集效率与稳定性,解决反爬、限流、数据丢失等核心问题。
3. 制定数据质量校验规则,通过自动化监控与异常告警机制保障采集数据的准确性与完整性。
4. 与业务团队协作,理解数据需求并输出标准化的数据交付方案,支撑下游数据应用场景。
工作地点
上海虹口区开隆大厦

工作地点

公司信息
武汉宏元数码科技有限公司
未融资 · 20-99人 · 软件/IT服务
已审核
工商信息
企业名称 武汉宏元数码科技有限公司
企业类型 有限责任公司(自然人投资或控股)
法人代表 邱宏威
经营状态 存续
成立时间 2024-10-08
注册资本 500万元
认证资质
营业执照信息
相似职位
查看更多数据采集工程师
8000-15000元 沈阳东硕信息技术有限公司
大专
3-5年
Modbus
OPC
PROFINET
SCADA
PLC
数据采集
化工
钢铁/有色金属冶炼及加工
工业自动化/机器人
PLC系统数据采集工程师
8000-16000元 沈阳东硕信息技术有限公司
大专
3-5年
数据采集方案设计
Modbus
PROFINET
OPC UA
PLC调试
MES系统
计算机软件
化工
钢铁/有色金属冶炼及加工
工业自动化/机器人
具身智能数据采集

大专
SQL
人工智能
工业自动化/机器人
电气机械/电力设备
教育科技/教育软件
计算机硬件
云计算
医疗设备/器械/耗材
物联网
学术/科研
技术服务
银行资料采集员(无经验可带薪培训-非电销)
1.2-1.6万 招商银行股份有限公司信用卡中心
大专
银行
带薪培训
就近分配
六险一金
节假日福利
各种团建活动
新人培训
入职培训
新员工带薪
员工带薪培训
一对一带教
带团队
签订劳动合同
每月生日会
定期团建
各种节日
最新招聘
热门城市
热门职位
热门公司
桥西区木梨小摊快餐店
石家庄市三喜采暖炉具厂
植能量生物科技(深圳)有限公司
洛阳悦来悦喜商贸有限公司云峰国际分公司
惠州市尚芯科技有限公司
禹城市贺友门窗有限公司
湖北中桥建筑劳务有限责任公司
海南徽霖商贸有限公司
曲靖市麒麟区锦华广告装饰经营部
邵阳市制伞总厂
铁岭招聘
呼伦贝尔招聘
红河招聘
新星市招聘
六安招聘
桂林招聘
雄安新区招聘
焦作招聘
四平招聘
淮北招聘
益阳招聘
甘孜招聘
乌审旗招聘
双河市招聘
天水招聘
乌兰察布招聘
唐山招聘
香港招聘
娄底招聘
克拉玛依招聘

更新于 今天



