数据治理工程师

岗位职责
1. 数据全链路治理
● 负责搭建从数据采集、清洗到存储的全流程自动化系统，确保数据时效性、完整性及合规性。
● 设计反爬虫对抗策略（如IP池管理、请求频率控制、验证码破解等），突破目标网站限制。
2. 非标数据结构化
● 针对文本、图片、视频等非结构化数据，开发定制化解析算法（如正则表达式、OCR识别、深度学习模型）。
● 构建数据标注体系，为AI模型训练提供高质量标注样本（如实体识别、情感分析、语义分类等）。
3. 数据资产运营
● 基于业务需求（如舆情监测、用户画像、竞品分析），挖掘数据价值并生成可视化报告。
● 通过A/B测试验证数据策略效果，驱动爬虫系统与算法模型的迭代优化。
4. 技术工具研发
● 优化分布式爬虫框架（如Scrapy+Kafka+Spark），提升系统吞吐量及稳定性。
● 开发自动化监控与报警系统，实时追踪数据质量及爬虫运行状态。
任职要求
1. 学历与专业
● 本科及以上学历，计算机科学、软件工程、统计学、信息管理与信息系统等专业优先。
2. 技术能力
● 精通Python/Java/Go，熟悉Scrapy框架及多线程/异步编程。
● 熟练使用数据库（MySQL/Redis/MongoDB）及数据清洗工具（Pandas/Numpy）。
● 了解HTTP协议、前端技术（HTML/CSS/JavaScript），具备反爬虫经验。
3. 核心能力
● 具备数据敏感度，能快速定位数据质量问题并提出解决方案。
● 熟悉数据隐私合规要求，确保数据采集符合法律法规。
4. 软素质
● 逻辑思维清晰，能拆解复杂业务需求为可执行的技术方案。
● 抗压能力强，能在数据时效性要求下高效完成工作。
加分项
● 有大规模分布式爬虫系统开发经验（如日爬取量超千万级）。
● 熟悉深度学习在数据增强/去噪中的应用（如BERT、GPT等模型）。
● 具备数据安全风控经验（如数据脱敏、溯源追踪）。
● 有区块链/大数据平台（如Hadoop/Flink）开发经验。