数据采集师（爬虫方向 双休+五险一金）

职位详情 1.负责抖音、快手、小红书、视频号、淘宝、京东、拼多多等社媒电商平台数据采集需求分析、方案设计与开发实现，包括公开数据、直播数据、短视频数据、商品数据、评论舆情等采集。 2.负责分布式爬虫架构开发与优化，使用Python/Go等语言开发高可用、高并发、分布式采集服务，保障采集效率与稳定性。 3.针对平台反爬机制(验证码、IP封禁、设备指纹、加密参数、动态渲染等)进行逆向分析与突破，持续维护采集策略。 4.负责数据清洗、解析、去重、结构化处理与质量校验，保障数据完整性、准确性、时效性。 5.对接业务、产品、项目经理，理解数据需求，输出采集方案、接口文档与技术文档。 6.负责采集服务部署、监控、日志排查、故障处理与性能调优，保障7x24小时稳定运行。