1) 职责描述
参与采集平台的设计和开发，确保数据采集的稳定性、准确性、及时性；
负责开源网站的爬虫程序开发，包括但不限于：新闻、官网、智库等各种类型的网页、音视频数据；
从结构化/非结构化数据中提取关键信息，完成数据清洗、消重、入库及服务化，确保数据质量与时效性；
与业务团队协作，分析需求可行性并提供数据解决方案，支持业务决策。
2) 任职要求
精通Python/Java，熟悉Scrapy、BeautifulSoup等框架，掌握正则表达式、XPath、CSS选择器等数据抽取技术；
熟悉HTTP/HTTPS协议、TCP/IP网络编程，具备JS逆向、APP脱壳或验证码破解经验者优先；
本科及以上学历，计算机相关专业，1年以上爬虫开发经验，有分布式系统或大数据处理（Hadoop/Spark）经验者加分;
熟悉Linux环境及数据库技术（MySQL/MongoDB/Redis），具备海量数据存储与调优能力。
3) 其他要求
逻辑思维强，能独立解决复杂技术问题，具备自驱力与团队协作精神。
对数据敏感，具有良好的逻辑分析能力和问题排查技巧；
具备良好的团队合作精神，能够适应快节奏的工作环境；
良好的跨团队沟通能力（与业务、分析师、运维协作）；