爬虫工程师

职位描述：
1、负责目标行业或网站的数据采集、清洗、存储及深度分析，构建自动化数据监控体系；
2、结合大模型（LLM）行业趋势，对站点数据进行挖掘，输出高质量分析报告；
3、优化爬虫策略，提升数据抓取效率，并解决反爬机制带来的技术挑战；
4、与算法、产品团队协作，基于数据分析结果优化业务策略，提升数据驱动决策能力；
任职要求：
2.技术能力：
编程语言：
熟练使用 Python（必备），掌握 Java（加分项），能编写高效、可维护的代码；
熟悉 爬虫技术（如Scrapy、Requests、Selenium、Playwright等），具备反反爬经验（如IP代理、请求头伪装、验证码破解等）；
熟悉 数据存储与管理（MySQL/MongoDB/Redis等），能优化查询性能。
数据处理与分析：
熟练使用 Pandas、NumPy 进行数据清洗、聚合与分析；
掌握 数据可视化（Matplotlib/Seaborn/Plotly或Tableau/Power BI），能清晰呈现分析结果；
2. 行业认知
对 AI、大数据、互联网行业 有基本认知，能快速理解业务需求；
具备 行业分析能力，能独立输出数据报告，提炼关键业务洞察；
3. 学历与软技能
本科及以上学历，计算机、数据科学、统计学、人工智能等相关专业优先；
逻辑清晰，数据敏感，能从复杂数据中发现规律并提出优化建议；
细致认真，责任心强，能保证数据准确性和报告质量；
良好的沟通能力，能跨团队协作，清晰表达技术方案与分析结论。