评测动态

01

9 月 29 日,Anthropic 发布了对 GLM-5.3 网络安全能力的评估。它报告,GLM-5.3 在 ExploitBench 的 410 次尝试中完成了 50 次端到端漏洞利用,Claude Mythos Preview 为 56 次;另一项内部测试的最高成功条件是完整的控制流劫持,两者分别在 4% 和 6% 的试验中达到这一条件。这里需要保留两项解释条件:测试针对研究团队设置的离线目标,在隔离环境中运行;参与比较的 Claude 模型关闭了安全防护。文章同时展示成功率随输出 token 预算的变化,因此这些结果衡量的是特定运行条件下的攻击能力,不能直接当作日常产品默认行为的发生概率。这是 Anthropic 对其他厂商模型的外部测试,但实验执行、内部题集与结论仍来自同一家机构。评估原文及实验条件。

评测研读

1 / 3

IFEval 的四种准确率:遵守一条要求与完成整份请求之间的距离

让模型写一篇摘要,同时要求超过 300 个英文单词、不使用逗号,并用指定的 Markdown 格式突出至少三个部分。模型可能写出了流畅的摘要,却漏掉其中一项要求。IFEval 把这类情况变成可以自动检查的评测:模型收到自然语言请求,生成回答,随后由程序逐项检查其中预先定义的约束。它不需要另一名模型先判断文章“整体上是否听话”。Inspect Evals 的官方实现说明就使用了上述摘要任务作为真实数据样例;本期关注的是这个已有 benchmark 的评分机制,不是新发布的测试。Inspect Evals 的任务样例与评分说明。

IFEval 原始论文于 2023 年提出,包含 541 条提示,覆盖 25 类可验证指令,包括关键词、长度、段落、格式、大小写和指定结尾等要求。它选择这些对象,是因为“是否出现某个词”“是否达到长度要求”通常能够交给明确的程序检查,而“是否幽默”“是否解释得恰到好处”很难获得同样清晰的判定。这个选择让评测易于重复,也限定了它的覆盖范围:分数主要反映这些约束的遵守情况,不能独自代表全部指令理解能力,更不能代替对内容正确性与写作质量的评价。IFEval 原始论文。

理解它的分数,首先要分清计数单位。指令级准确率把每项约束分别计入分母;提示级准确率则把一整条请求作为单位,只有其中所有约束都通过,才算这条请求成功。以前面的三项要求为例,假设长度和突出格式都合格,正文却出现了逗号,指令级结果就是三项通过两项,提示级结果则是失败。模型已经完成了大部分要求,与用户能否直接接受完整交付,是两个不同的问题。IFEval 用这两种计数方式分别观察它们。两种计数层级的定义。

可以用一个教学假设继续看清差异。某个测试集有十条请求,每条都包含三个约束。模型在每条请求中都漏掉一个约束,便得到约 66.7% 的指令级准确率,却没有任何一条请求完全合格,提示级准确率为 0%。另一个模型完整完成其中六条,对其余四条完全失败,指令级和提示级准确率都为 60%。前者在约束总数上表现更好,后者能交付的完整答案更多。这些数字不是实际模型结果,只用于说明:两个评分层级可能给出不同的排序,单独报告其中一个会隐藏失败的分布。

两者之间的差距也有诊断价值。在上述假设中,第一个模型的失误散落在所有答案里,第二个模型的失误集中于部分请求。但仅凭两个汇总分数,还不能判断失误是否来自同一类约束,或是否由少数复杂题目造成。需要继续查看逐题结果和约束类别。这里的分析是由计数方式推导出的解释:提示级分数越低,完整合格交付越少;它并不自动告诉我们具体该修哪一种能力。

2 / 3

严格评分与宽松评分怎样改变成功条件

第二条分界涉及评分器如何处理回答。严格评分直接检查原始输出;宽松评分还会检查若干经过处理的版本,例如去掉 Markdown 星号、删除第一行或最后一行,以及这些处理的组合。如果其中一个版本满足约束,就把相应指令判为通过。这形成了常见的四个结果:提示级严格、指令级严格、提示级宽松、指令级宽松。宽松处理与四项指标。

设想模型在规定的结尾句中加入了加粗标记,文字仍然相同,简单字符串匹配却可能把它判错。去掉星号能够减少这种漏判。不过,删除首尾行也可能删掉真正违反要求的文字,例如超出长度限制的寒暄。宽松结果因此表示“经过允许的处理后能够通过”,不能直接解释为原始输出完全符合要求。对严格与宽松之间差距的判断,还需要结合具体任务:如果下游必须直接接收原始文本,额外的一行说明可能就是实际失败;如果只关注正文内容,同一行说明的影响便不同。这是对评分设计适用条件的分析。论文对宽松评分误判风险的讨论。

“严格”也不等于所有格式都按原始字节匹配。具体检查器本身仍可能允许某些变化。当前官方代码中的 JSON 检查器会去掉首尾空白和指定的 Markdown 代码围栏,再调用 JSON 解析器。因而,一个放在代码块中的有效 JSON 也可以通过这项检查。它检测的是能否解析为 JSON,并没有在这个检查器中进一步验证业务字段、类型或内容是否正确。只看到“JSON 格式通过”,便推断“结构化交付已经正确”,会把检查范围扩大到程序没有验证的部分。官方 JSON 检查器。

再用一个教学假设说明:用户要的是包含 name 和 year 两个字段的对象,模型却返回了一个合法的 JSON 数组。数组能被 JSON 解析器接受,但字段要求没有完成。若一次评测只检查 JSON 是否可解析,这个答案会在该项上通过;要测字段完整性,就需要另一个相应的检查条件。这里没有运行官方代码,例子也不是原数据样本;它用于解释“语法有效”和“满足特定结构要求”之间的测量差别。

检查代码还决定了自然语言要求如何落到边界上。官方的段落检查器使用两个换行字符划分段落;长度检查器调用专门的计数函数。这意味着,段落和词数并非由评分者凭阅读印象判定。更换分段或计数方式,可能改变边缘样本的结果。相同名称的约束若迁移到另一种语言或输出环境,也需要确认这些实现是否仍然表达原来的要求。官方段落与长度检查器。

3 / 3

同名 benchmark 的汇总分数仍可能采用不同口径

读结果时,还有一层容易忽略:运行框架可能把四个分数再次汇总。Inspect Evals 的当前文档定义了一个 Final Accuracy,取四项准确率的平均值。这个汇总方便展示,但会同时混合完整交付、单项约束,以及宽松处理带来的通过情况。因此,一张表只写“IFEval 80%”,仍不足以判断模型究竟在哪一种口径上达到 80%。这个平均值是该实现明确规定的汇总方式;比较其他报告时,需要先核对对方的字段。Inspect Evals 的汇总定义。

即便分数字段相同,比较仍依赖同一批提示、相同检查器,以及能够对照的生成条件。多次采样后挑选一个合格答案,与单次生成得到的通过率,回答的也不是同一问题。这个差别尤其会影响含有多项要求的请求:允许重试或筛选,可能提高完整通过比例,但同时增加了运行过程与成本。这里是实验设计上的推论,不能在未说明尝试次数与选择规则时,把这种提升全部归于模型本身。

IFEval 适合让“漏掉了哪条明确要求”成为可观察、可重复的结果。它也保留了一个值得认真阅读的限制:检查器通过,只能证明它所检查的条件成立。完整任务是否有用,还取决于未被这些条件覆盖的事实、语义和质量。四项准确率、逐题失败记录与检查器实现放在一起,才能说明一份看似听话的回答,究竟完成了哪些要求,又留下了哪些缺口。