数据采集工程师

工作职责
1. 负责多类型数据源（网页、API、数据库等）的采集方案设计与开发实现，保障数据获取的稳定性与时效性。
2. 针对反爬机制制定应对策略，优化采集流程，提升数据抓取效率与成功率。
3. 构建数据质量校验规则，对采集数据进行清洗、去重与标准化处理，确保数据准确性。
4. 维护采集任务的监控体系，及时排查并解决数据采集过程中的异常问题。
任职要求
1. 大专及以上学历，计算机、软件工程等相关专业优先。
2. 熟练掌握至少一种编程语言（Python/Java/Golang），精通Scrapy、Selenium等主流数据采集工具。
3. 熟悉HTTP协议、HTML结构解析及API接口调用，具备应对反爬机制的实战经验。
4. 了解数据库基础知识，能熟练使用SQL进行数据查询与处理。
5. 具备良好的问题分析能力与逻辑思维，能独立完成复杂采集任务的方案设计与落地。