AI模型评估（搜索）-DMC

岗位职责：
1、根据业务目标制定评测方案、建设评估数据集，并能够站在用户视角和模型视角构建理想态答案并拆解考察点；
2、对模型回复效果或搜索效果进行定性和定量的评估分析，能够从全链路中进行问题拆解和分析，帮助产品研发侧定位问题并推动优化；
3、清洗、整理文本数据，参与人工评估与自动评估、评估与标注数据的交叉验证，保证单位时间内的产出和质量，并尝试利用平台工具、PE工程不断提高工作效率和效果。
任职要求：
1、本科及以上学历，有相关评测经验和AI产品经验优先；
2、在较多垂直领域有很好的涉猎，能够剖析领域相关问题者优先；
3、有较好的搜索习惯，或大模型产品使用习惯，善于站在用户视角反馈体验问题，善于结合多角度反馈问题，有产品分析经验优先；
4、对数据和文字敏感，文字理解及归纳能力强且擅长数据分析者优先；
5、做事细心，较强的沟通协作能力、执行力、复盘思考以及抗压能力。