数据采集工程师

岗位职责:
1. 设计、开发与维护网页数据抓取系统,搭建高效稳定采集体系,实现多场景数据精准采集、解析与清洗。
2. 针对反爬机制制定应对策略,优化采集性能,保障数据抓取完整性与时效性。
3. 按需开发 Chrome 浏览器插件辅助抓取,提升效率与适配性。
4. 对接数据存储分析环节,完成结构化处理与交付,配合业务应用落地。
5. 关注采集技术趋势,迭代优化框架,沉淀开发方法论。
任职要求:
(一)硬性条件
1. 本科及以上学历,计算机相关专业优先,英语四级及以上。
2. 有实际采集工具/系统开发经验,有可验证项目案例。
3. 熟练掌握 Python 或 Java,具备扎实后端开发能力。
4. 精通 JavaScript(ES6+),熟悉 HTML5/CSS3、DOM 操作。
(二)核心技术能力
1. 精通网页数据抓取核心技术,掌握动态页面抓取方案。
2. 熟悉采集场景,有验证码、IP 代理池搭建等实操经验。
3. 了解浏览器扩展开发,有 Chrome 插件开发经验者优先。
4. 熟悉 HTTP/HTTPS 协议,熟练使用相关工具及 Git。
(三)综合素质
1. 具备独立分析解决问题能力,能快速定位采集异常。
2. 良好沟通协作能力,能将业务需求转化为技术方案。
3. 对数据抓取技术有持续学习热情,适应技术迭代。