评测动态

01

DUMA-Bench 在 9 月 21 日公开,关注的不是普通 Agent “能不能把任务做完”,而是交互环境变化之后,原有安全评测结论还能不能成立。它在 τ²-bench 一类双向交互环境的基础上加入对抗因素,让用户和 Agent 都能通过消息、工具和环境状态影响后续轨迹;35 个任务覆盖 8 类安全场景。作者在 14 个模型上的实验中发现,从较静态的 solo 模式切换到 dual-control 交互后,攻击成功率从 26.9% 上升到 41.1%,pass@1 从 0.731 降到 0.589。这个结果值得关注的地方,是它把“测试环境本身”变成了变量:同一个模型,在不同交互制度下可以得到明显不同的安全结论。↗ DUMA-Bench 论文

02

同日公开的 ChartJudgeBench 则把被评测对象换成了“Judge”。它针对 chart-to-code 场景构造了 1,003 个图表感知比较样本和 650 个 Accept/Reject 判断样本,测试多模态模型能否可靠充当 RL 或迭代优化中的评价器。作者观察到几类系统性偏差,包括 pairwise comparison 的位置偏差、过度预测 Accept、对视觉风格差异判断不足,以及部分 RL 模型表现出的宽松倾向。它提醒了一个容易被忽略的问题:当 LLM-as-Judge 成为训练 reward 或 Eval 的组成部分时,Judge 自身也需要一套独立的 reliability eval,单纯“换更强模型当 Judge”并不能自动解决测量误差。↗ ChartJudgeBench 论文

03

评测基础设施方面,Benchmark Radar 的论文在 9 月 22 日更新到 v3。它试图解决的是另一个很实际的问题:Benchmark 数量越来越多以后,研究者已经很难知道某个评测什么时候出现、数据和代码在哪里、哪些模型真正跑过、不同来源报告的分数能不能直接比较。当前论文描述的系统每天从 37 个来源发现新材料,目录聚合了 1,283 个 source records,并记录 12,916 个数值观测,同时保留论文、代码、数据和模型报告之间的 provenance。对于做 Eval 的人,它的价值更接近“评测文献与证据检索层”,而不是另一个综合排行榜。↗ Benchmark Radar 论文

评测研读

1 / 1

IFEval:为什么“指令遵循”可以不用 LLM Judge 来打分

IFEval 是一个很适合作为 Eval 入门坐标的 Benchmark。它在 2023 年由 Google Research 等团队提出,问题很明确:我们经常说一个模型“更听指令”,但如果让人工逐条评价,成本高且难复现;如果再找一个大模型来判断,又把结果绑定到了 Judge 的偏差和能力上。IFEval 因此主动缩小问题范围,只测试那些能够用程序客观验证的 instruction。原论文整理了 25 类可验证约束,构造约 500 个 prompt;当前 EvalScope 的实现记录为 541 个样本。↗ ↗ IFEval 原论文

所谓“可验证”,指的是答案出来以后,不需要判断文章写得漂不漂亮,只要运行一个确定的 checker 就能知道有没有做到。例如要求“至少写 300 个词”“不能出现逗号”“必须出现指定关键词”“必须包含三个特定格式的章节”。官方代码的输入很简单:一边是带有 instruction ID 和约束参数的 prompt,一边是模型 response,然后由对应规则执行检查。原注 Google Research IFEval 代码与数据

这带来一个很重要的评分设计。常见实现会同时报告 prompt-level 和 instruction-level,并各有 strict / loose 两种口径。prompt_level_strict 要求一道题里的所有约束全部满足,少一条整题就失败;inst_level_strict 则把每一条 instruction 分开计分。Loose 版本会给予一些格式上的容忍。以一个沿用真实 IFEval 任务结构的简化例子来说:题目要求“300 词以上、不要使用逗号、至少有三个指定格式的小节”,模型完成了长度和小节要求,却用了逗号,那么 instruction-level 可以表现为三条满足两条,而 prompt-level strict 直接记为失败。EvalScope 当前也把 prompt_level_strict 作为主要指标。↗ EvalScope 的 IFEval 实现说明

这两个粒度回答的是不同问题。Instruction-level 更适合诊断:模型究竟在哪类约束上失手。Prompt-level strict 更像一次完整交付:假如五条都是硬性要求,满足四条并不等于业务可以使用。这也是为什么看同一个 IFEval 结果时,不能只说“准确率多少”,还要先问报告的是哪一种 aggregation。一个模型可能大部分单项约束都会做,但随着一道题叠加更多要求,完整通过率明显下降。

IFEval 的另一个优点是 evaluator 很透明。没有隐藏 Judge 的审美,也没有“GPT-4 认为这篇回答是 7 分”的随机性;同一 response 交给同一个 checker,原则上应该得到同一结果。这对于比较小模型尤其有用,因为模型间只有几个百分点的差异时,评价器本身如果具有较强噪声,会直接干扰排序和后训练判断。IFEval 将评价器的不确定性压得很低,同时给出了很容易自动扩展的任务形态。

但它测量的范围也需要看得很窄。通过 IFEval 说明模型能够遵守一些显式、可程序验证的语言约束,并不能推出模型已经理解了真实业务规则,更不能推出最终产物有业务价值。例如一篇答案可能恰好 300 词、没有逗号、格式完全正确,但事实全部错误;IFEval 的 checker 仍然可能认为这些 instruction 已经满足。反过来,很多真实要求——“不要改变原意”“证据是否真的支持判断”“这个摘要够不够完整”——很难写成这样的确定性规则。

这也是后来扩展工作的方向。Multi-IF 把 IFEval 式的 instruction following 延伸到多轮和多语言,构造了 4,501 个三轮对话,覆盖英语之外的 7 种语言。作者发现,模型随着轮次增加更容易违反要求,例如论文报告的 o1-preview 平均准确率从第一轮的 0.877 降到第三轮的 0.707,而且中文、俄语、印地语等非拉丁文字语言的错误率整体更高。这里改变的已经不只是“多几个约束”,而是旧要求需要跨轮持续有效:评测单元从一次 response 开始向 trajectory 靠近。↗ Multi-IF 论文

IFEval 还有一个很实际的使用提醒:自动评分并不意味着 Benchmark 本身没有数据质量问题。2026 年 Google Research 仓库里仍有人报告 prompt 与实际 kwargs 不一致的样本,例如文字要求至少 400 词而参数记录成 336,以及要求三个关键词但 checker 参数只保存两个。这类问题会造成一种很隐蔽的 Eval 错误:模型实际上按照题面做对了,却被错误的机器规则判错,或者反过来。因此复现一个公开 Benchmark 时,版本、数据快照和 checker 代码应一起锁定;“我们跑的是 IFEval”本身还不足以说明两组成绩完全可比。↗ Google Research IFEval 数据问题记录

对当前研究的启发

IFEval 对当前四角色框架提供的主要价值,不是证明 Operator 广泛存在。它更像是 Operator 下面的一把测量尺:当一份工作包含明确的格式、长度、字段、禁止项等硬约束时,可以把其中一部分责任拆成 deterministic checker,避免全部依赖 LLM-as-Judge。它尤其适合测“有没有严格履行显式契约”,但并不覆盖“这份交付物是否真的完成了工作”。因此在真实工作 Eval 里,IFEval 式评分更适合作为 work-level score 的组成部分,而不是替代 work-level score。

今天的 DUMA-Bench 则提示了另一件事。Operator、Reviewer、Steward、Performer 描述的是模型承担哪种工作责任;但一个 Eval 还需要描述“这份责任是在什么交互制度下发生的”。单轮输入、用户持续参与、双方都能修改环境、工具输出可能被污染,这些差异可以显著改变最终测到的能力和风险。它们未必需要再发明第五个角色,更像是角色之外的一组 evaluation environment axes。↗

ChartJudgeBench 也和当前工作有直接关系:如果后续主观任务大量采用 LLM-as-Judge,就需要把“被测模型”和“测量工具”分开验证。对于可写成 deterministic rule 的部分,IFEval 展示了一种尽量不用 Judge 的思路;必须使用 Judge 的部分,则应像 ChartJudgeBench 那样检查偏置、错误方向和可靠性。两类方法并不冲突,它们共同回答的是 Eval 最基础的问题:观察到的分数到底来自模型,还是来自我们的测量方式。↗

部分原生引用无法独立还原;缺少独立网址的条目已标明,已有网页链接均按原稿保留。