大模型自动化评测专家-大模型数据服务中心

岗位职责：
1、负责大模型自动化评测体系的建设与迭代，涵盖评测流程设计、指标体系制定、工具与平台开发，确保评测结果科学、稳定、可复用；
2、基于Agent与Workflow等先进技术，搭建自动化评测Pipeline，支持文本、多模态及AI应用的效果评估；
3、深入研究新型大模型评测方法与技术，制定科学合理的评测策略，推动评测体系的智能化与标准化，为模型优化提供有价值的反馈；
4、与研发团队紧密协作，将自动化评测体系嵌入模型训练与产品研发流程，形成评测与优化的闭环支持。
任职要求：
1、本科及以上学历，计算机科学、人工智能、计算语言学等相关专业优先；
2、掌握Python等编程语言，具备PE撰写调优、Agent/Workflow搭建实践经验优先；
3、具备1年以上大模型评测或相关经验，熟悉常见评测指标和方法，了解自动化评测工具或平台的开发与应用；
4、对大模型评测与优化充满热情，关注前沿研究动态，具备快速学习与持续探索能力；
5、思路清晰，逻辑性强，具备跨团队协作与沟通能力，能够在复杂项目环境中独立推进工作优先。