AI应用评测系统工程师

美团核心本地商业下业务研发平台，基于公司“零售+科技”的战略导向，通过从底层架构到应用系统、从软件到硬件、从传统算法到GenAI的全方位技术研究，以及开发、运维、安全等全流程能力建设，致力于推动美团核心本地商业下需求侧与供给侧的数字化和智能化升级，助力业务实现高质量增长，优化用户使用体验，提升商户经营水平，促进行业生态伙伴关系的持续健康发展。团队秉持务实、自驱、开放以及追求卓越的工程师文化，一方面通过系统和技术体系的持续迭代升级，帮助业务高质量增长；另一方面，密切关注前沿技术趋势变化，积极创新技术能力，为业务未来发展创造新的可能性。期待优秀的你加入我们，在夯实专业、深耕平台的基础上与业务携手同行，一起用技术 “帮大家吃得更好，生活更好”。
岗位职责
负责评估和分析大模型在各种应用场景下的表现，与业务团队配合不断优化提升大模型应用效果。具体工作内容包括但不限于：
1. 负责大模型范式下的数据生产标注和应用场景评测平台建设。
2. 深入理解大模型在搜索、推荐、营销等场景的应用落地，参与业务评测方案的制定与评测数据集的建设。
3. 与各相关部门保持良好沟通，深度参与大模型业务应用落地，为各业务方提供评测及相关的模型分析支持。
4. 追踪大模型方向前沿进展，积极主动地学习和探索新的评测及分析的方法和技术。
岗位基本需求
1. 本科及以上学历，计算机、数学、统计学或相关专业，3年以上工作经验，
2. 熟悉Java/Python/C++等编程语言，良好的编码习惯和一定的工程能力。
3. 良好的沟通能力、团队合作精神以及较强的问题解决能力。
具备以下者优先
1. 熟悉 NLP、深度学习、生成式语言大模型等基本原理和技术，熟悉常见的评测指标、效果评估方法。
2. 有过 AI 类产品的质量保障工作经历或算法评测经验。
3. 具有分布式评测系统开发经验或开发平台经验，熟悉系统设计和架构。
4. 熟悉 OpenCompass、llm-evaluation-harness 和 HELM 等开源评测框架及相关技术。
5. 熟悉 LangChain、Auto-GPT 等基于 RAG/Agent 的模型设计和工具集。
岗位亮点
1. 参与美团搜索产品线的核心系统研发，与优秀人才共同成长
2. 参与前沿AI技术探索和核心产品研发，站在AI时代的一线，抓住AI浪潮
3. 提供良好的晋升空间和发展机会，能够在AI领域不断深耕和成长。