评测动态

01

9 月 23 日,Snorkel AI 发布了对三个模型在同一组编程任务上的失败轨迹分析。这组实验涉及 24 个任务、各模型约 200 次运行。按全部运行轨迹计算,Opus 5.5 的通过比例为 136/200,即 68%;但按任务计算的 pass@1 为 60.7%,与 Opus 5 相同。两个数字回答的问题不同,不能把前者写成“首次尝试解决了 68% 的任务”。研究团队还将 Opus 5.5 的部分失败归因于首轮输出格式无法被运行框架解析,以及工具参数错误;这些归因来自该团队对轨迹的判读。Snorkel AI 的实验与分析

02

9 月 22 日,独立评测机构 METR 公布了对 Claude Opus 5.5 的发布前评估摘要。它在十个工作日的 API 访问期内使用五项任务,覆盖模型训练实验、概念论证、程序训练、游戏控制与开放式研究。METR 判断该模型在所测 AI 研发任务上较 Fable 5.1 有渐进提升,但现有证据不足以支持“能够全面自动化 AI 研发”。这份摘要也明确区分了机构自行测试所得、Anthropic 提供的信息,以及另一支团队尚未公开依据的初步判断;因此不宜把所有结论当成同等程度的独立实测结果。METR 的评估摘要

评测研读

1 / 1

LiveCodeBench 怎样用题目发布时间降低代码评测的数据污染风险

给模型一道编程题,它写出能通过测试的程序,通常就算答对。但如果这道题及解法早已在训练资料中流传,高分便可能混合了编程能力与对旧题的熟悉程度。LiveCodeBench 的办法是持续收集 LeetCode、AtCoder、Codeforces 比赛中新发布的题目,记录每题的发布日期,再按时间窗口评测模型。例如,只选择某模型训练数据截止日期之后发布的题,便能降低它见过原题的可能性。这是降低风险的设计,不能保证模型从未接触相似解法。项目始于 2024 年;今天介绍的是已有工作的评测方法,不是本周发布的新 benchmark。LiveCodeBench 论文

以一道“给定若干数字,求符合条件的连续区间”为教学假设例子:在代码生成任务中,模型收到文字题意及所需的输入格式,要写出完整程序;评测器运行程序,用多组输入输出测试,全部通过才判该次生成正确。这个例子并非 LiveCodeBench 的实际样本。项目收集题目、参考解法与可用测试;对没有完整公开测试的题目,还会构造额外测试。因而分数同时依赖题目集合和测试的质量:某种有效解法若未被判分程序正确接受,也可能被错判。论文的数据构造与实验方法

LiveCodeBench 还把“会编程”拆成几项可以分别观察的能力。自我修复任务提供题意、错误程序、失败用例和运行反馈,要求模型修好程序;代码执行任务给出程序和输入,让模型推算输出;测试输出预测任务则给出题意和指定输入,要求推断正确输出。它们的输入和正确答案都不同。一个模型擅长从零生成代码,并不能由此推出它同样擅长根据报错修复代码,或读懂一段现成程序。论文报告,不同模型在这些任务上的相对表现确有变化。论文对四类任务的定义与结果

读榜单时,首先要确认评的是哪一批题。项目仓库列出的 release_v1 收录截至 2024 年 3 月的 400 题,release_v6 扩展至截至 2025 年 4 月的 1055 题;运行者还可以限定题目日期。与此同时,仓库说明默认使用经过裁剪的 code_generation_lite,以减少运行成本。因此,“LiveCodeBench 代码生成得分”并不足以唯一确定一次实验:版本、日期窗口、是否使用精简题集、采样次数和生成设置,都可能改变分母与结果。项目的版本及运行说明

论文中的代码生成评测为每题采样十个候选答案,使用温度 0.2、top_p 0.95,并报告 pass@1;这里的分数估计的是该采样设置下单次生成成功的比例,不能直接解释成“允许十次尝试后解决了多少题”。时间窗口也带来权衡:只取训练截止日期之后的题,通常更能控制原题污染,却可能缩小样本。作者在当时使用的一个 349 题集合上估计,题目抽样可带来约 1%—1.5% 的成绩波动;接近这个幅度的模型差距需要谨慎解释。论文的实验设置与局限

最后,时间设计解决不了所有判分问题。项目维护的勘误记录列出过“题目允许多个正确输出,但测试只接受其中一种”的情况,也列出交互式题目与错误测试用例。它们提醒我们:即使题目足够新,执行式评分仍须检查测试能否准确代表题目的成功条件。LiveCodeBench 因此适合衡量特定时间窗口内、在指定运行条件下解决竞赛编程题及相关代码任务的能力;它的分数不能直接替代对完整软件开发工作的评价。项目勘误记录