大数据处理工程师（大模型方向）

工作内容：
1. 负责大模型训练所需数据的获取与生产，覆盖文本、音频、视频等多模态数据，包含数据挖掘、批量下载、解析、清洗、去重、结构化与版本管理；
2. 搭建并维护多模态数据处理流水线，支持大规模数据的自动化清洗、质量校验、统计分析与持续迭代；
3. 结合大模型能力与规则/模型手段，参与数据筛选、数据增强、数据挖掘及人工反馈闭环，持续提升数据质量与训练价值；
4. 与算法、标注、平台工程团队协作，保障大模型训练、评测与业务交付的数据供给稳定高效；
5. 推进数据生产链路的工程化建设，优化数据流转与处理效率，构建可复用、可扩展的数据生产体系。
岗位要求：
1. 工程能力扎实，能够快速上手数据类工作，具备良好的代码习惯和复杂问题拆解能力；
2. 熟练使用至少一种编程语言（Python / Go / Shell 等），具备大规模数据处理与自动化脚本经验；
3. 有实际的数据获取、下载、清洗、格式转换、质量校验经验，能独立完成从原始数据到可用训练数据的全流程；
4. 了解大模型训练数据形态（如预训练、SFT、评测数据），或有多模态数据处理经验者优先；
5. 认可数据是大模型核心竞争力，对数据质量、规模和效率敏感，愿意长期深耕数据工程方向。
加分项（Nice to Have）
 有爬虫、批量下载、内容解析或反爬应对经验；
 有音视频处理、文本清洗、内容过滤、去重等经验；
 熟悉 Linux 环境及多进程 / 分布式 / 批处理任务；
 参与过大模型数据生产、清洗或评测体系建设。
硬性条件：
1、本科及以上学历计算机相关专业
2、2年及以上工作经验
3、语言三选一 Python / Go / Shell