岗位职责:
1.任务管理:组织团队日常开发工作,制定项目计划并跟踪执行进度,协调资源确保按时交付;
2.沟通协作:与产品经理、设计师等角色紧密配合,明确需求细节,推动技术方案与业务目标对齐;
3.代码管理:制定技术规范、开发流程和最佳实践,提升团队开发效率和代码质量;
4.技术攻关:解决开发中的复杂技术问题,应对反爬机制、高并发等场景,确保项目技术目标的达成;
5.方案设计:根据产品/业务需求主导技术选型,设计系统架构与功能模块实现方案,并将业务需求转化为可落地的技术方案;
人才培养:通过技术分享、指导提升团队成员技能(如异步编程、性能调优等);
任职资格:
1.专科及以上学历;
2.具备5年以上Python开发经验,含2年以上Python技术团队管理经验(2~5人团队);
3.精通Python开发及最佳实践,包括:网络反爬、加密破解、验证码识别、IP池搭建、Cookie池搭建等,熟练掌握多线程/协程编程;
4.具备大规模通用爬虫项目经验、大规模数据采集经验、JS逆向开发项目或APP逆向经验;
5.具备一定的自然语言处理理论和基础,熟悉至少一种主流的NLP框架或库;
6.并能灵活运用第三方模型进行数据标注和特征工程,熟悉目前市场上主流AI大模型,并能够充分运用AI大模型进行数据提取且有相关的经验案例;
7.熟练使用Scrapy、requests、xpath、selenium等;
8.对大数据平台建设、管理、应用有一定了解,了解Hadoop/Hive/Spark/Flink/Hbase等大数据架构与技术,熟悉MySQL、Redis等数据库设计及性能优化;
9.具备较强的数据分析能力和洞察能力,对数据比较敏感,有良好的需求理解力和系统分析能力;
10.能独立撰写解决方案和技术文档;具有优秀的书面和口头表达能力,良好的客户服务意识,优秀的团队领导和组织协调能力;
掌握多门开发语言优先,包含不限于Java、Javascript、C#、C、汇编语言等。