python爬虫工程师

岗位职责
【有①Agent搭建/RAG/大模型微调；②数据挖掘/数据清洗；③向量化知识库构建；任意一项相关经验优先】
1. 负责设计、开发和维护高效、稳定的爬虫系统，满足公司各类数据采集需求，涵盖市场数据、行业动态、竞品信息等；
2. 综合运用Python、Java、Node.js等编程语言进行爬虫程序开发，根据不同网站的结构和反爬策略，选择合适的技术方案，确保代码具备良好的质量、性能和可扩展性；
3. 深入分析网页结构，熟练运用HTML、CSS、JavaScript知识，精准解析和提取目标数据，处理复杂的动态网页内容；
4. 实时监控爬虫运行状态，及时发现并解决性能瓶颈、数据丢失、反爬限制等问题，通过优化代码、调整抓取策略等方式，持续提升爬虫的抓取效率和稳定性；
6. 研究并应对各类反爬机制，如IP封锁、验证码识别、用户行为检测等，运用代理池、验证码识别技术、模拟用户行为等手段，实现有效的反反爬策略，确保爬虫能够稳定运行；
7. 定期维护和更新现有爬虫系统，根据网站结构变化和业务需求调整，及时优化抓取逻辑，保证数据的持续获取和有效性；
8. 编写详细、规范的技术文档，记录爬虫系统的设计架构、开发流程、关键代码逻辑以及维护要点，方便团队成员进行技术交流和后续维护。
任职要求
1、计算机科学、软件工程、数学等相关专业本科及以上学历；
2、3年以上爬虫开发工作经验，具备多个完整爬虫项目的开发和维护经验；
3、有过处理反爬策略的成功案例，如绕过验证码、突破IP封锁等，能够分享有效的反反爬经验和技术手段；
4、熟练掌握Python、Java、Node.js等编程语言，能够构建大规模、高性能的分布式爬虫系统，提升数据采集效率；
5、具备较强的问题分析和解决能力，能够快速定位和解决爬虫开发过程中遇到的各种技术难题，如数据抓取异常、性能优化等，善于通过调试工具和技术手段进行问题排查
加分项：
爬取过外网平台，熟悉爬虫自动化，熟悉多线程，做过IP池，处理过验证码和较为复杂的图文校验，了解过vpn与国外服务器，进行过数据清洗
母公司上海正帆科技股份有限公司简介：
上海正帆科技股份有限公司（股票代码688596），公司网址：https://www.gentechindustries.com/，在做特种气体（氮气、氢气、氧气、氦气、氩气等）这块业务实力在民营企业国内排名第一，世界排名第四，前三都是世界500强，多年来还一直服务于半导体芯片、光伏电池、光纤制造、固体半导体照明和平面显示等高科技行业，为客户提供包括超高纯水、气、化和真空系统在内的关键厂务系统以及相关服务，向客户提供制程关键系统综合解决方案。
23年上市公司销售额超过60亿，净利润超过10亿，集团营收超100亿。
本公司介绍：
徕铂科服(上海)信息科技有限公司，公司网站:www.labservice.tech; 为 A股上市公司上海正帆科技股份有限公司的控股子公司，注册地在上海浦东自贸区，总部设立在上海市徐汇区零陵路599号，是由世界500强化工企业核心科学家及前腾讯高级技术专家联合打造的高科技科学大数据管理软件企业。作为一家高科技信息技术公司，我们为化学化工，医药，材料及生命科学等科研单位提供高质量数据信息管理服务，帮助科研机构信息化工程，软件工程，知识管理，新药开发等实现现代化，数据化。为客户持续发展注入催化剂，一起创造简单，智慧，双赢的局面；以互联网+科研，助力中国科研创新创造。
我们公司绝大多数成员都具有硕士以上学历，还有许多化学，生物学或药理学专业的博士。除上海总部外，我们在北京，西安，天津，南京均设有办事处，公司目前已服务于7万余名研究人员。公司的快速成长的驱动力来自于客户的信赖和满意，我们将持之以恒的致力于为客户提供最为可靠，安全，迅速和高性价比的数据信息管理服务。我们的突破性平台可帮助科学家日复一日地处理，订购和优化资源，帮助实验室安全管理人员实时动态监管化学品的生命周期，我们正在努力成为实验室管理的中国标准。
关于公司稳定性：
我们公司的大股东也是母公司正帆科技的大股东，母公司现在很看好我们公司今后的发展，也会给予我们公司许多支持，现在母公司也在全国有13个生产基地，且将在合肥和河南建设实验室业务生产及研发基地，占地30亩，母公司有强大的利润及现金流作为支撑，在整个行业不景气的情况下，更加显得难得可贵。
公司福利
1、每周5天8小时工作制；
2、公司按国家有关规定为员工购买养老保险、医疗保险、工伤保险、失业保险、生育保险等社会保险和公积金项目。
3、公司针对员工职业发展需要，不定期进行专项培训；
4、公司不定期由各部门轮流组织开展各种活动，增进团队情感，丰富员工业余生活。
5、享有国家规定的法定节假日休假制度；