职位描述
数据爬虫反爬虫PythonJavaScrapyFlink多源异构数据采集数据采集监控体系搭建采集流程优化
工作职责
1. 负责产业互联网平台多源异构数据的采集方案设计与落地,覆盖API接口、网页爬取、数据库同步等场景。
2. 搭建数据采集监控体系,实时跟踪采集任务状态,及时处理数据缺失、重复、格式异常等问题,保障数据完整性与准确性。
3. 优化采集流程与技术架构,提升数据采集效率与稳定性,降低系统资源消耗。
4. 与业务团队深度协作,理解数据需求,输出符合业务标准的数据采集规范与文档。
1. 负责产业互联网平台多源异构数据的采集方案设计与落地,覆盖API接口、网页爬取、数据库同步等场景。
2. 搭建数据采集监控体系,实时跟踪采集任务状态,及时处理数据缺失、重复、格式异常等问题,保障数据完整性与准确性。
3. 优化采集流程与技术架构,提升数据采集效率与稳定性,降低系统资源消耗。
4. 与业务团队深度协作,理解数据需求,输出符合业务标准的数据采集规范与文档。
展开该职位详情






