高级爬虫工程师+千人团队

岗位职责:
1、精通Python:熟练掌握Python编程语言及其核心特性(如面向对象、多线程/多进程/协程)。
2、爬虫框架与库:精通至少一种主流 Python 爬虫框架，如Scrapy),熟悉 Requests, BeautifulSoup,Selenium,Playwright,Pyppeteer 等常用库。
3、分析并应对网站反爬机制(如IP封锁、验证码、User-Agent验证、动态加载)，通过代理池构建、验证码识别、模拟览器行为等技术优化爬虫策略，降低采集风险。
4、数据提取与处理:熟练掌握XPath,CSS Selectors,正则表达式等数据提取技术;具备优秀的数据清洗、抽取和结构化能力。
5、数据库:熟练掌握SQL和NOSQL数据库产品(如MySQL,MongoDB,Redis等)，能够进行高效的数据存储和查询。
6、基础环境:熟悉Linux/Unix操作系统常用命令;熟悉Git等版本控制工具。
任职要求：
1、5年以上工作经验，有大规模分布式爬虫系统设计和开发经验；
2、熟悉Docker, Kubernetes等容器化技术。；
3、有JavaScript逆向工程经验。；
4、熟悉消息队列(如Kafka,RabbitMQ) ；
5、有大数据处理经验(如Hadoop,Spark) 计算机科学、软件工程、信息技术或相关专业优先。