数据工程师

岗位职责：
1. 负责电商平台（主流电商、垂直电商）数据爬取，包括商品信息、价格、评价、销量等核心数据，保障数据准确率和时效性。
2. 搭建、维护分布式爬虫系统，优化爬取效率，解决高并发、大规模数据采集问题。
3. 应对电商平台反爬机制（验证码、IP封禁、JS加密等），持续迭代反爬策略。
4. 负责爬取数据的清洗、整理、存储，对接后端数据接口。
5. 监控爬虫运行状态，及时排查爬取异常、修复程序漏洞。
6. 有应对复杂反爬虫场景的工程经验（如浏览器自动化、指纹规避、分布式代理池建设等）
7. 熟悉云原生环境与容器化部署（Kubernetes、Docker），掌握自动化监控与报警体系建设。
8. 具备一定 ML/LLM 数据管线经验，对数据标注、清洗、训练集构建等流程有实际参与。
9. 具备后续算力卡大模型部署兴趣并突破，开源大模型部署。
10. 具备AI Coding编程经验，能够熟练运用市面上的大模型编程(codex, claude, GLM),了解如何运用MCP SKILL等

任职要求：
学历：本科及以上，计算机、软件工程等相关专业优先，3 年以上后端或爬虫系统开发经验。
1. 语言：熟练掌握Python/Java，熟悉爬虫核心库（requests、Playwright、Scrapy等）。
2. 有3年电商平台爬虫经验，能独立完成电商数据爬取、解析、存储全流程。
3. 精通分布式爬虫开发（Scrapy-Redis等），能搭建多机协同爬取架构。
4. 熟悉常见反爬机制与应对方案（如验证码、IP 封禁、JS 混淆、动态加载、防爬 Headers 机制等），有实际对抗经验
5. 数据处理：熟悉Pandas、XPath、JsonPath，能完成数据清洗和格式化。
6. 存储技能：熟悉MySQL、MongoDB、Redis等数据存储方式，了解数据去重、缓存策略。
7. 加分项：掌握JS逆向、APP/小程序爬虫、验证码自动识别技术者优先。
8. 素养：责任心强，能独立解决问题，具备良好的沟通能力和抗压能力。
9. AI-Agent方向，了解Langchain体系。