岗位要求:
1.统招大专以上学历 汉语言,新闻,汉语教育,心理文科类,有标注经验可放宽专业;
2.有过大模型标注经验(rm经验)优先;
3.有较好的内容判断力,涉猎过不同知识领域,有较强的好奇心和学习能力;
4.有较强的阅读能力,能够高效的处理大量文字信息;
5.有较强的理解能力,能迅速准确的把握内容核心,清晰梳理要点;
6.对内容细节敏感,能发现细微错误;
7.表达清晰,有效地和团队成员交流;
8.耐心细致,能专注处理文字工作,严谨负责,有自驱力,抗压能力和学习能力。
工作内容:
●负责各类大语言模型(LLM)通用能力的一线评测工作,包括但不限于文本生成、逻辑推理、知识问答、多轮对话、代码生成等核心场景的效果验证。
●按照评测标准和流程,对模型输出结果进行客观、准确的打分与标注,记录评测过程中的异常情况和模型不足,形成详细的评测日志。
●参与构建自动评估集,完成题目构建、考点撰写、打分逻辑等任务。
●参与评测数据集的整理、清洗与标注工作,协助优化评测样本的覆盖度和代表性,提升评测数据的质量。
●配合团队完成评测任务的推进,及时反馈评测过程中遇到的问题(如评测标准模糊、样本异常等),协助优化评测方案和流程。