职位描述
数据爬虫反爬虫PythonJavaScrapy多源异构数据采集数据质量保障大规模数据采集项目经验
工作职责:
1. 负责多源异构数据(结构化/半结构化/非结构化)的采集方案设计与落地,覆盖API接口、网页、数据库等多种数据源。
2. 搭建并维护数据采集系统,优化采集效率与稳定性,解决反爬、限流、数据丢失等核心问题。
3. 制定数据质量校验规则,通过自动化监控与异常告警机制保障采集数据的准确性与完整性。
4. 与业务团队协作,理解数据需求并输出标准化的数据交付方案,支撑下游数据应用场景。
1. 负责多源异构数据(结构化/半结构化/非结构化)的采集方案设计与落地,覆盖API接口、网页、数据库等多种数据源。
2. 搭建并维护数据采集系统,优化采集效率与稳定性,解决反爬、限流、数据丢失等核心问题。
3. 制定数据质量校验规则,通过自动化监控与异常告警机制保障采集数据的准确性与完整性。
4. 与业务团队协作,理解数据需求并输出标准化的数据交付方案,支撑下游数据应用场景。
工作地点
重庆两江新区联盛大厦

认证资质
营业执照信息

更新于 今天




