职位描述
数据爬虫反爬虫PythonJavaGOScrapyFlink多源异构数据采集数据采集监控体系搭建数据采集流程优化
工作职责:
1. 负责多源异构数据(如API接口、网页、数据库、日志等)的采集方案设计与落地。
2. 搭建数据采集监控体系,实时跟踪采集任务状态,保障数据完整性与时效性。
3. 优化采集流程与算法,解决高并发、反爬、数据格式不统一等技术难点。
4. 与业务团队协作,明确数据需求,输出标准化的采集数据交付物。
1. 负责多源异构数据(如API接口、网页、数据库、日志等)的采集方案设计与落地。
2. 搭建数据采集监控体系,实时跟踪采集任务状态,保障数据完整性与时效性。
3. 优化采集流程与算法,解决高并发、反爬、数据格式不统一等技术难点。
4. 与业务团队协作,明确数据需求,输出标准化的采集数据交付物。
工作地点
成都青羊区华信大厦

认证资质
营业执照信息

更新于 今天



