文心大模型评测算法研究员（社招）· 2026-11-03

岗位职责 * 构建系统性的自动化评测体系。 将模型能力抽象为可客观测量的评测指标，持续追踪和接入高质量开源benchmark；发现并修正现有benchmark的问题，构建verified版本；与行业专家合作构建真实、高质量、高难度的专业评测集。 * 研究大模型评测算法。 针对开放式、复杂任务研究可靠的自动化评价方法，包括LLM-as-a-Judge、rubric-based evaluation、agent / long-horizon task evaluation 等，提升评测的准确性、稳定性和可扩展性。 * 开展模型诊断与归因分析。 建立系统性的failure mode体系和分析框架，充分暴露模型问题，分析不同版本和训练阶段的能力变化，并将问题进一步归因到训练、数据等环节，为模型迭代提供依据。 * 探索新的能力维度与评价方法。 从模型战略目标自上而下定义未来需要建设的能力，同时从模型失败案例和真实用户体验中自下而上发现新的能力问题，并设计可靠的评测方法和benchmark。 * 开展可解释性分析与机制研究。 围绕推理、知识运用、指令遵循、价值对齐等关键能力，运用表征探测、特征分析、归因分析等方法，提出关于模型行为与失败模式的机制假设。 * 以评测牵引模型迭代。 与数据和训练团队紧密合作，识别当前模型最重要的能力瓶颈，设计针对性实验，并持续验证模型改进效果。

任职要求 * 计算机、人工智能、机器学习、自然语言处理等相关专业背景； * 熟悉大语言模型基本原理，对pre-training、post-training、数据构造等有较好的理解； * 具备良好的实验设计、数据分析和问题抽象能力； * 熟练使用Python，能够独立完成模型评测、分析和实验； * 能够快速阅读和理解机器学习 / NLP领域最新论文； * 对大模型能力边界、模型行为和模型评测有强烈的好奇心。 加分项 * 在 NLP、LLM、机器学习相关顶会发表过论文； * 有LLM evaluation和benchmark construction相关研究经验； * 有基础模型的评测、训练和agent研发相关经验； * 有模型failure mode analysis、数据挖掘或大规模case analysis 经验； * 对现有benchmark的特点和局限性有深入理解。