岗位职责:
1、负责使用 Python 开发高效、获取公开或授权的网络数据;
2、优化程序,确保数据获取的稳定性和效率;
3、对采集的数据进行清洗、去重、结构化存储(如MySQL、CSV等);
4、构建自动化数据采集与监控系统,确保数据更新的及时性;
5、配合数据分析师或业务团队,提供高质量的数据支持;
6、维护采集代码,优化数据采集流程;
7、有电商领域数据采集经验者,熟悉内容电商、社交电商平台数据特征者优先。
任职要求:
1、3年以上数据开发经验,计算机相关专业专科及以上 ;
2、精通 Python,熟悉 Requests、Scrapy、Selenium、BeautifulSoup 等;
3、精通 XPath、正则表达式(Regex) 等数据提取技术;
4、熟悉数据库(MySQL、SQL等),能设计合理的数据存储方案;
5、熟悉 HTML/CSS/JavaScript,能解析动态网页(如Ajax、SPA等);
6、了解 HTTP/HTTPS 协议,熟悉 Headers、Cookies、Session 等网络请求机制,保障采集稳定性。