数据采集工程师

岗位职责：
1.高难度采集体系建设：负责全国各级政府门户网站、政策信息平台的定向爬取，攻克动态渲染、复杂交互、反爬验证码及高频封禁等技术难题；
2.非结构化数据清洗：构建多格式解析链路（HTML、PDF、Word等），利用OCR及解析算法（如Unstructured,Marker）实现政策原文的高质量结构化提取；
3.AI驱动的智能化治理：结合大语言模型（LLM）构建政策标签化引擎，实现政策类别的自动分类、核心要素（发布机构、有效期、行业关键词）的精准提取与语义打标；
4.数据质量与监控：建立完善的数据质量评估（DQ）和预警体系，确保政策数据的时效性、完整性与准确性，维护稳定的增量采集任务流；
5.知识图谱支撑：参与政策知识图谱的底层架构设计，打通政策与企业、技术领域的关联关系，支撑研究院的AI咨询与决策产品。
岗位要求：
1.计算机相关专业，硕士及以上学历；
2.3年以上爬虫或数据采集经验，精通Python或Java；
3.熟练掌握Selenium,Playwright,Scrapy,Puppeteer中至少一种采集框架；
4.熟悉HTTP/HTTPS协议及各种反爬机制（IP池、浏览器指纹、JS逆向、滑动验证等）；
5.熟悉ETL处理流程，有处理大规模非结构化文本的实战经验；
6.熟悉PromptEngineering，有利用LLM（如DeepSeek,GPT）或传统NLP模型进行文本分类、信息提取（NER）的实际项目案例；
7.熟练使用Docker容器化部署，熟悉Airflow,n8n或DolphinScheduler等任务调度工具；
8.熟悉PostgreSQL(pgvector)或Elasticsearch等搜索与向量数据库；
9.具备极强的逻辑思维，对政府政策信息的组织架构有一定敏感度；
10.具有较好的抗压能力，能针对政府网站的频繁改版快速给出响应方案；
11.有RSSHub社区贡献经验或自建过大规模RSS路由体系者优先；
12.有RAG（检索增强生成）开发经验，了解向量检索与语义分析逻辑；
13.有政策采集治理经验优先；
14.了解Java应用开发架构，能与后端研发团队无缝对接采集接口。