职位描述
数据爬虫反爬虫PythonJavaGOScrapy多源异构数据采集数据采集监控体系搭建数据采集策略优化
工作职责:
1. 负责多源异构数据(结构化/非结构化)的采集方案设计与落地,覆盖网页、API、数据库等多种数据源。
2. 搭建数据采集监控体系,实时跟踪采集任务状态,解决数据丢失、延迟等问题,保障数据完整性与时效性。
3. 优化采集策略,应对反爬机制,提升数据采集效率与稳定性。
4. 与数据处理团队协作,输出标准化数据格式,支撑下游数据分析需求。
1. 负责多源异构数据(结构化/非结构化)的采集方案设计与落地,覆盖网页、API、数据库等多种数据源。
2. 搭建数据采集监控体系,实时跟踪采集任务状态,解决数据丢失、延迟等问题,保障数据完整性与时效性。
3. 优化采集策略,应对反爬机制,提升数据采集效率与稳定性。
4. 与数据处理团队协作,输出标准化数据格式,支撑下游数据分析需求。
工作地点
汕头龙湖区高新大厦

认证资质
营业执照信息

更新于 今天



