职位描述
数据抽取PythonSQLScrapyFlinkKafka多源异构数据采集数据采集监控体系搭建数据采集流程优化
工作职责:
1. 负责多源异构数据(结构化/非结构化)的采集方案设计与落地,覆盖API接口、数据库、日志文件等场景。
2. 搭建数据采集监控体系,实时跟踪任务运行状态,快速定位并解决数据延迟、丢失等异常问题。
3. 优化采集流程与算法,提升数据获取效率与质量,降低资源消耗。
4. 与业务团队协作,明确数据需求,输出标准化的数据采集规范与文档。
1. 负责多源异构数据(结构化/非结构化)的采集方案设计与落地,覆盖API接口、数据库、日志文件等场景。
2. 搭建数据采集监控体系,实时跟踪任务运行状态,快速定位并解决数据延迟、丢失等异常问题。
3. 优化采集流程与算法,提升数据获取效率与质量,降低资源消耗。
4. 与业务团队协作,明确数据需求,输出标准化的数据采集规范与文档。
工作地点
天津河东区万达广场-写字楼

认证资质
营业执照信息

更新于 今天



