Working Agent 评测算法实习生(日常实习 / 青云实习)· 2026-10-13
混元基础模型部评测团队,负责混元主线模型在 Working Agent 场景下的生产评测,评测结论是模型迭代的重要依据。团队已建立 Office、复杂指令遵循、多轮交互等评测体系,希望进一步构建更贴近真实使用、更能反映实际生产力的评测。
1. 构建复杂指令遵循与 Working Agent 评测:从真实需求出发,设计覆盖多约束、多轮、Office 文档处理和长程端到端交付的评测任务与数据管线,并持续维护更新; 2. 探索评价范式:针对法律、金融等专业场景的开放任务,探索 Arena、Pairwise 等基于偏好对比的评价方法,保证结论准确、稳定、难以被投机绕过; 3. 分析与归因:区分模型本身、Harness 和环境等因素的影响,对模型表现做归因,形成可指导训练的结论。 你将获得: - 参与新评测体系建设,成果直接服务于混元主线模型的迭代; - 充足的 Agent 使用额度、模型 API 资源和沙箱环境,以及 WorkBuddy 等产品的真实场景; - 支持将有价值的成果以论文或技术报告的形式对外发布。
1. 计算机、人工智能、统计等相关专业本科及以上在读,2028 年及以后毕业;每周到岗 4 天及以上,能连续实习 6 个月以上者优先; 2. 熟练使用 Python,能独立实现数据管线与评测系统;熟悉 Docker 与 Linux; 3. 熟悉规则校验、LLM-as-a-Judge 等判分方式的适用边界和常见偏差,能设计并验证可靠的判分器; 4. 深度使用 Claude Code、Codex 等主流 Agent,对它们的优势与不足有自己的观察; 5. 能主动发现问题并推动解决,对产出有很高的质量标准。 加分项: - 参与过主流 Working 场景 Benchmark 的构建或深度使用,如 GDPval、APEX-Agents、Workspace-Bench、TheAgentCompany,或 LegalBench、FinanceBench 等法律金融专业 Benchmark; - 有指令遵循评测、Arena / Pairwise 评测、LLM-as-a-Judge 或奖励模型相关经验,或发表过评测相关论文; - 有后训练数据(SFT 数据、RL 任务与环境)或评测数据的合成经验。 投递方式:简历发送至 eileenye@tencent.com,邮件标题注明:姓名-学校-年级-每周可到岗天数-可实习时长