职位描述
数据爬虫反爬虫PythonJavaScrapy多源异构数据采集数据质量保障大规模数据采集项目经验
工作职责:
1. 负责多源异构数据(结构化/半结构化/非结构化)的采集方案设计与落地,覆盖API接口、网页、数据库等多种数据源。
2. 搭建并维护数据采集系统,优化采集效率与稳定性,解决反爬、限流、数据丢失等核心问题。
3. 制定数据质量校验规则,通过自动化监控与异常告警机制保障采集数据的准确性与完整性。
4. 与业务团队协作,理解数据需求并输出标准化的数据交付方案,支撑下游数据应用场景。
1. 负责多源异构数据(结构化/半结构化/非结构化)的采集方案设计与落地,覆盖API接口、网页、数据库等多种数据源。
2. 搭建并维护数据采集系统,优化采集效率与稳定性,解决反爬、限流、数据丢失等核心问题。
3. 制定数据质量校验规则,通过自动化监控与异常告警机制保障采集数据的准确性与完整性。
4. 与业务团队协作,理解数据需求并输出标准化的数据交付方案,支撑下游数据应用场景。
展开该职位详情
工作地点
上海杨浦区叠纸大厦

工作地点

公司信息
武汉宏元数码科技有限公司
未融资 · 20-99人 · 软件/IT服务
已审核
工商信息
企业名称 武汉宏元数码科技有限公司
企业类型 有限责任公司(自然人投资或控股)
法人代表 邱宏威
经营状态 存续
成立时间 2024-10-08
注册资本 500万元
认证资质
营业执照信息
相似职位
查看更多PLC系统数据采集工程师
8000-16000元 沈阳东硕信息技术有限公司
大专
3-5年
数据采集方案设计
Modbus
PROFINET
OPC UA
PLC调试
MES系统
计算机软件
化工
钢铁/有色金属冶炼及加工
工业自动化/机器人
银行资料采集员(无经验可带薪培训-非电销)
1.2-1.6万 招商银行股份有限公司信用卡中心
大专
银行
带薪培训
就近分配
六险一金
节假日福利
各种团建活动
新人培训
入职培训
新员工带薪
员工带薪培训
一对一带教
带团队
签订劳动合同
每月生日会
定期团建
各种节日
数据采集工程师
8000-15000元 沈阳东硕信息技术有限公司
大专
3-5年
Modbus
OPC
PROFINET
SCADA
PLC
数据采集
化工
钢铁/有色金属冶炼及加工
工业自动化/机器人
具身智能数据采集

大专
SQL
人工智能
工业自动化/机器人
电气机械/电力设备
教育科技/教育软件
计算机硬件
云计算
医疗设备/器械/耗材
物联网
学术/科研
技术服务
最新招聘
热门城市
热门职位
热门公司
深圳蒙戈那网络科技有限公司
甘肃金煜鑫建筑有限公司
河南胜昌建筑科技有限公司
北京华铃达科技有限公司
佛山桑能金域科技有限公司
合肥启承新电子科技有限公司
大同市开发区心成电子设备商行
吉林市船营区盾威交通设备销售部
上海瀚伦私募基金管理有限公司
安塞明俊工程有限公司
金昌招聘
伊春招聘
西双版纳招聘
营口招聘
漯河招聘
常州招聘
包头招聘
阿里招聘
沈阳招聘
西咸新区招聘
聊城招聘
盘锦招聘
潜江市招聘
忻州招聘
唐山招聘
五家渠市招聘
昆明招聘
邢台招聘
杭州招聘
临夏招聘




