初级AI爬虫工程师

岗位职责

1. 负责设计和开发高效、稳定的网络爬虫系统，精准抓取各类公开学术网络数据，包括但不限于学术论文, 学术期刊等。
​

2. 持续优化爬虫策略和算法，应对网站反爬机制（如验证码、IP 封锁、UA 检测、动态加载等），提高数据抓取的效率、质量和稳定性，降低抓取成本。
​
3. 数据清洗处理：承担抓取后原始数据的全流程清洗工作，包括但不限于处理缺失值（通过均值填充、中位数填充、前后值填充或基于业务逻辑的自定义填充方式）、剔除重复数据（结合数据唯一标识或多字段组合去重，如订单号 + 用户 ID、商品 ID+SKU 编码等）、修正异常数据（识别并处理超出合理范围的数值、格式错误的文本信息，如日期格式混乱、手机号位数异常等）、标准化数据格式（统一数据单位、编码格式、字段命名规则，确保不同来源数据的格式一致性），同时能运用正则表达式、数据匹配算法等工具，过滤无效字符（如特殊符号、乱码、无意义占位文本），最终保障数据的准确性、完整性和可用性，为后续的数据存储和AI模型训练提供高质量的数据基础。​

4. 搭建和维护数据存储体系，根据数据特点选择合适的存储方案（如关系型数据库 MySQL、PostgreSQL，非关系型数据库 MongoDB、Redis 等），保障数据的安全存储和高效读取。​

5. 监控爬虫系统的运行状态，实时排查和解决爬虫运行过程中出现的各类问题（如程序报错、数据缺失、抓取速度异常等），保障系统 7×24 小时稳定运行。​

6. 与产品、数据分析等相关部门紧密协作，深入理解业务需求，将业务需求转化为技术方案，提供符合需求的数据支持，助力业务决策和产品优化；针对数据清洗环节，需配合数据分析团队明确数据质量标准，根据分析需求调整清洗策略，确保输出数据满足业务分析场景（如用户行为分析、商品销量预测、行业趋势研判等）的要求。​

7. 关注行业前沿技术动态，研究新的爬虫技术、反爬破解方法和数据处理技术（如自动化数据清洗工具、机器学习辅助数据异常检测技术等），并将其应用到实际工作中，不断提升团队的技术水平和工作效率。​


任职要求

1. 具备精准理解产品需求的能力，能够将需求准确转化为技术方案。
2. 拥有出色的沟通能力和卓越的团队协作精神，能够在跨团队环境中高效工作。
3. 能够高效完成任务，对工作细节把控精准，确保工作质量。
4. 具有持续学习的热情和不断改进工作方法的能力，以适应快速发展的技术环境。


公司的基本情况如下：

产品是什么？
数字化软件产品，目前主推的是智能实验室配方管理软件（PLM），提高客户在配方环节的研发效率。


针对哪些行业的产品？
主要针对精细化工行业客户，比如食品添加剂生产商、化妆品制造商、生物疫苗制造等


产品开发程度怎么样？
产品已经成功部署了约10家企业，自由产品还在持续迭代更新，有较高的客户定制化程度。



公司年营收多少？
该项产品的年营销在500-800万/年



公司规模咋样？
目前30人以内，计划2025年扩展到40-50人；



公司管理风格咋样？领导人好吗？
公司文化开放，年轻人居多，无内耗和内卷，推崇踏实做事儿的风格



公司双休吗？
公司所有假期跟着国家法定走，不排除有项目需求要加班的情况


工资怎么定？
综合薪资：10-20K/月。其中70%为无责底薪、剩下30%为需要通过OKR考核获得。主要考核内容为：工作进度的完成程度，没有拖延和工作态度问题，大概率能够拿到。

年底根据经营情况看是否有13薪

入职即购买社保和公积金；
试用期1-3个月，试用期综合薪资8折；

目前工作日下午2:00开始接受面试，面试地点：四川省成都市青羊区二环路西二段附10号-蓝润摩里中心A座2215室

从美百年办公室大门进来乘坐电梯到21楼，转乘电梯到22楼（出电梯右拐）；如果是走负二楼的货梯或者从1楼走货梯，可以直接到22楼。
如果需要面试，请直接告诉我需要面试的时间就好