Agent Evaluation & Model Routing 工程师· 2026-09-09

Maxgent 通过产品化实践，推动 Agent 持续进化，探索未来Agent商业价值与能力边界。由美团联合创始人-王慧文重金投资。 团队成员包括：前字节 Seed 4-1 算法科学家、Chatbox 创始人、Kimi核心成员、Manus核心成员、明星开源项目作者、知名独立开发。

我们关心的核心问题： - 这个任务应该交给哪个模型？ - 结果是否真实可信？ - 什么时候需要重试、切换模型或启用 fallback？ - 如何在质量、成本、延迟和风险之间做出动态选择？ 职责： 1. 建设覆盖复杂任务、长程执行和多 Agent 协作的评估体系，推动任务分类、离线 benchmark、隐藏测试集、在线实验与持续回归机制落地。 2. 深入 Agent 过程评估、结果评估、Verifier、自动评估器与人工评估协同。 3. 基于任务特征和不同模型的能力边界，设计动态 Model Router、Ensemble、重试及预算控制机制。 评估在这里是 Agent 系统持续优化、数据生产和后续训练的核心反馈基础设施。

- 真正建设过 LLM / Agent 评估、模型路由、搜索推荐评估或类似复杂决策系统 - 能够识别评估泄漏、指标偏差、Reward Hacking 和线上线下不一致 - 习惯通过可复现的证据判断系统效果 欢迎自荐或推荐。