爬虫工程师-定向爬虫方向【急招】

岗位职责
1. 定向爬⾍开发：针对指定垂直⽹站（如电商、社交、招聘、新闻等）进⾏精准数据采集，完成从⻚⾯解析、字段提取到结构化落地的全流程开发。
2. 反爬与⻛控对抗：分析⽬标站点的反爬机制（如动态 token、请求参数加密、滑块/图形验证码、IP 频率封禁等），设计并实现代理轮换、请求模拟、降速绕⾏等解决⽅案。
3. 动态内容处理：针对 SPA 或强 JS 渲染⻚⾯，使⽤ Selenium / Playwright / Puppeteer 等浏览器⾃动化⽅案完成数据抓取，平衡抓取效率与资源开销。
4. 数据存储与清洗： 对抓取的视频进⾏ MD5 去重校验，将视频⽂件安全落地⾄指定的存储介质（如NAS/OSS），并将元数据结构化写⼊ MySQL / MongoDB。
5. 稳定性与效率优化： 优化视频⼤⽂件的并发下载逻辑，提升⽹络带宽利⽤率；建⽴抓取任务⽇志与告警机制，保障脚本的⻓期稳定运⾏。
职位要求
1、本科及以上学历，计算机相关专业，具备扎实的计算机⽹络与前端基础知识（HTML/CSS/JS/DOM结构）。
2、精通 Python，有 2 年以上实际爬⾍开发经验（接受优秀应届⽣或培训经历但项⽬经验丰富者），⾄少独⽴完成过 3 个以上垂直站点的定向抓取项⽬。
3、熟练使⽤ Requests / Scrapy / BeautifulSoup / lxml 等常规爬⾍⼯具，并能熟练运⽤ XPath 与CSS 选择器进⾏复杂⻚⾯解析。
4、深⼊理解 HTTP/HTTPS 协议，能通过抓包⼯具（Chrome DevTools / Fiddler / Charles）分析请求链路、Cookie、Header 及常⻅的参数加密逻辑（如简单 sign、timestamp 等）。
5、具备实际的反爬对抗经验。
6、熟练使⽤多线程/异步（asyncio, aiohttp）等技术提升下载吞吐量；熟练掌握⾄少⼀种数据库（MySQL / MongoDB）进⾏数据索引与去重。
加分项
1. 熟悉 m3u8、DASH 等常⻅流媒体传输协议及⾳视频封装格式的处理（如 FFMPEG 的结合使⽤）。
2. 有过 TB 级别以上⼤⽂件并发下载或清洗项⽬的实操经验。