AI Agent评测(自动化方向）

要agent评测方向的
岗位职责
1. 评测流程搭建：负责 AI Agent 自动化评测（机评）Pipeline 的搭建与持续优化，覆盖用例分发、自动执行、打分及报告生成全流程。
2. 评测工具开发：编写并维护评测脚本与工具，对接主流大模型 API，支撑日常评测执行与多模型对比。
3. 评测数据集建设：针对 Agent 核心能力维度设计评测场景与用例，构建并维护高质量评测数据集。
4. 机评准确性提升（核心KPI）：设计并迭代机评策略，分析机评日志与打分结果，持续提升机评与人工评测的一致性，核心对人机一致率负责。
岗位基本需求
1. 计算机、人工智能、数据科学或相关专业本科及以上学历，2年及以上相关工作经验。
2.【硬性】有 AI Agent 评测实操经验，且必须做过自动化机评（非纯人工评测）；熟悉大模型基本原理与 Prompt Engineering，有实际提升人机一致率的经历。
3. 了解 Agent 核心工作机制（ReAct、Tool Use、Plan-and-Solve、Memory 等），能理解复杂任务链路的评测难点。
4. 具备较强的逻辑分析能力与数据敏感度，能从大量模型输出中提炼规律、定位问题并结构化输出结论。
特殊说明
1. 有搭建端到端评测系统/平台的经验
2. 精通 Python，具备开发自动化评测脚本与工具的能力，有实际主流大模型 API 调用经验。
3. 熟悉主流评测框架（OpenAI Evals、Ragas、TruLens 等）或知名 Benchmark，有落地使用经验。