数据生产工程师

岗位职责
1、数据处理与清洗：使用 Python 进行数据生产相关的编程任务，包括但不限于数据采集、清洗、转换和分析，确保数据质量和一致性。
2、生产优化模型数据集：参与数据模型的数据集生产、优化，为算法模型提供高质量的数据支持。
3、对 prompt 进行不断的优化迭代，能够通过 prompt 生产高质量的 response ，提供给算法模型进行训练；
4、负责设计、编写和整理用于大模型安全测试的各类问题。根据模型训练的具体需求和目标，精心挑选和构建高质量、多样化的训练数据集，提高模型的预测准确性
5、脚本与工具开发：使用Python编写脚本和工具，提高数据生产效率。
6、流程改进与创新：持续学习和探索新的技术和工具，根据项目需求参与数据生产流程的设计与优化，确保数据的准确性、完整性和及时性。推动数据生产流程的改进和创新。
7、跨部门沟通协作：与协作部门的团队成员密切合作，共同解决数据相关的技术难题和挑战，保障项目的顺利推进。
二、岗位要求
1、本科及以上学历；有计算机科学、信息安全、数据科学或相关领域专业背景,有竞赛经历优先。
2、具备扎实的Python编程能力，能够使用Python等语言调用API接口、使用多线程处理数据、生成测试集；有NLP（自然语言处理）/SD（扩散模型）/CV（计算机视觉）的项目经历优先。
3、对机器学习和深度学习有一定的了解，至少掌握基本概念和常见算法，至少满足以下能力的两项：
4、有过 transformer 架构下的大模型项目训练经历；
5、有过大模型项目调接口经历；
6、训练过其他架构的模型；
7、了解不同模型的架构和计算规则；
8、具备较强的逻辑思维能力，能够对复杂的数据和工作流程进行梳理和分析；对新知识和新技术保持持续的热情和学习动力，有强烈的好奇心。
9、有强烈的责任心和自我驱动力，对数据生产工作认真负责，保证数据的准确性和质量；
10、具备良好的沟通能力，能够清晰地表达自己的想法和观点，与团队成员进行有效的沟通和协作；
三、加分项
1、在 github 和 huggingface 等平台发布过帖子且点赞数较高，或有相关论文产出；
2、有优秀的撰写 prompt 能力和丰富的撰写 prompt经验
3、有大模型相关的行业经验；有内容安全相关经验