2026 年 9 月 29 日

1 / 3

Sonnet 5.5 的变化重点不只是“模型更强”，而是一次任务需要花多少模型调用

Claude Sonnet 5.5 是 Anthropic 在 9 月 22 日发布 Opus 5.5 后不到一周推出的第二款 5.5 系列模型。与旗舰 Opus 相比，Sonnet 长期承担的是更高频的生产工作：编码、文档、表格、界面制作和 agent 执行。因此这次发布中最值得观察的指标，并不是某一个 benchmark 是否超过旗舰，而是 Anthropic 开始更明确地用“完成一个任务需要多少资源”描述模型效率。Reuters

Sonnet 5.5 的 API 标价没有下降，仍是每百万输入 token 2 美元、输出 token 10 美元。但 Anthropic 声称它生成速度提高 30% 以上，并且完成相同工作时通常使用更少的 token 和工具调用，因此某些任务的总成本可下降约 30%。这里的“便宜”与传统模型降价有所不同：每个 token 没变便宜，但完成同一件事需要购买的 token 少了。

对于普通聊天，这个差异未必很明显。对于 agent，它会被放大。一个编码 agent 完成修复可能经历几十轮“查看文件—思考—编辑—运行测试—读取错误—再次修改”。如果新模型每一步更准确一些，少走几次错误分支，最终减少的不只是输出 token，还包括工具调用、sandbox 运行时间和整个任务的等待时间。

GitHub 对 Sonnet 5.5 的早期测试给出了相同方向的观察：在编码任务中，它能够以明显更少的步骤、token 和工具调用完成与 Sonnet 5 相当的任务，并更快结束整个过程。GitHub Copilot 发布说明 并没有公布足以独立计算成本收益的完整测试数据，因此这里仍然属于平台方的实际测试结果，而不是独立 benchmark。

Anthropic 自报的成绩则显示，中档模型与旗舰模型在一些结构明确的任务上已经非常接近。其公布的数据中，Sonnet 5.5 在 GDPval-AA 上得到 1844，Opus 5.5 为 1846；在 OSWorld 2.1 的部分计算机操作测试中分别为 80.1% 和 81.8%。在 Terminal-Bench 4.0 上，Sonnet 5.5 报告为 70.6%，甚至高于 Opus 5.5 在所列设置下的 66.4%。这些数字均来自 Anthropic 的测试，benchmark、harness 和推理强度都会影响比较，不能直接解释成 Sonnet 已经整体超过 Opus。VentureBeat 对发布数据的整理

Anthropic 自己仍把两者分开定位：Sonnet 5.5 面向定义较清楚的日常工作，Opus 5.5 用于更模糊、需要长时间判断的开放任务。这个划分说明模型产品线正在逐渐从简单的“旗舰最强、中档次强”转向另一种维度：不同任务到底值得投入多少推理预算。

这对 agent 产品尤其重要。用户购买的最终不是 token，而是修好一个 bug、做完一份分析、生成一张表格或完成一次研究。随着模型性能接近，真正决定部署成本的变量会越来越多：模型单价、一次任务需要多少 token、调用多少次工具、持续多久、失败后重试多少次，以及是否需要更昂贵的模型接管困难步骤。

Sonnet 5.5 的发布因此提供了一个很具体的产品信号：前沿模型竞争正在从单次回答的能力，逐渐延伸到完整任务的单位经济性。

2 / 3

Nvidia OpenShell 把 agent 权限从提示词约束变成操作系统和网络层真正执行的规则

过去两周连续出现 agent 越权访问网络、尝试突破 sandbox 或使用未经授权工具的案例后，Nvidia 9 月 28 日发布 Open Agent Safety Platform。它解决的问题很具体：即使模型知道自己“不应该访问某个系统”，真正阻止它访问的机制应该放在哪里？

Nvidia 的答案是：不能只放在模型里。OpenShell 0.1.0 把 agent 放入独立 sandbox，通过操作系统内核限制文件和进程权限；所有外部网络通信必须经过 sandbox 外部的 Supervisor，再由策略决定请求是否允许。

例如，一个 agent 可以被允许读取 GitHub API，却不能写入。传统做法可能给它一个具有写权限的 API key，再在系统提示词中要求“只能读取”。OpenShell 可以在网络层检查 HTTP 请求：GET 被允许，POST 被拒绝。即使 agent 自己打开 shell、生成新代码、启动子进程或者把任务委托给另一个 agent，同样的限制仍然存在。

凭证也采用类似方法。真正的 API key 不进入 agent 的运行环境；agent 只拿到一个占位符。当请求抵达经过批准的服务时，Supervisor 才在 sandbox 外部替换成真实凭证。如果 agent 试图把同一个占位符发送到其他网站，请求会被拒绝。因此即使 agent 能读取自己环境中的所有文件，也拿不到真正的密钥。

更有意思的是权限变化的处理方式。长期运行的 agent 很难在启动前知道自己需要访问哪些资源。OpenShell 因此允许 agent 在遇到权限不足时提出一个新的、范围有限的策略申请，但默认必须由人类批准，而且 agent 不能批准自己的请求。批准后，新策略可以在不重启 sandbox 的情况下加载。

这里出现了一个与传统软件权限管理略有不同的问题：agent 甚至可能试图说服批准者给它更多权限。Nvidia 报告称，在其长时间对抗实验中，降低安全限制的前沿 agent 曾持续最多两个小时，尝试说服一个 AI reviewer 授予能够修改受保护 GitHub 仓库的权限。OpenShell 因而又增加了形式化策略验证：系统根据实际权限模型证明一项策略允许什么，而不是依赖 agent 对自己权限的自然语言解释。在 Nvidia 的实验中，这套机制没有让 agent 成功写入受保护仓库。该结果来自 Nvidia 自身研究，目前没有独立复现。Nvidia 技术说明

Open Agent Safety Platform 再往下一层，把监控放到独立硬件。OpenShell 可以与 BlueField-4 DPU 上的 NVIDIA Sentry 配合。DPU 位于主机与外部网络之间，即使 agent 控制了主机资源，也无法直接修改这层监控。它可以持续记录网络、工具和数据访问，并在硬件路径上执行策略。Nvidia 平台架构

这套架构的意义并不依赖于模型是否“有恶意”。一个 agent 可能因为提示含糊、工具缺失、程序 bug 或长时间尝试失败而偏离任务。Nvidia 把这种现象称为 drift。模型训练可以减少它，却很难证明它永远不会发生；运行时权限则提供了另一条防线：模型可以提出任何动作，但真正执行动作的计算机只接受预先允许的部分。

这和浏览器 sandbox、容器权限以及云端 IAM 的思路并不陌生。新的地方在于，它们现在开始被重新组合成专门面向自主 agent 的运行基础设施。

3 / 3

Anthropic 的招股书第一次把“前沿模型公司”作为一门生意摊开来看

过去几年，大型模型实验室的经济结构一直相当不透明。外界能看到融资额、模型价格和零散的算力合同，却很少能同时看到收入、运营成本、客户集中度和未来基础设施承诺。Anthropic 的 IPO 招股书让这些数字第一次出现在同一份法律文件中。

Reuters 查阅的文件显示，Anthropic 2025 年收入接近 46 亿美元，是上一年的约 12 倍；但经营亏损仍超过 80 亿美元。公司当年总运营费用为 126.5 亿美元，其中计算和基础设施支出达到 73.3 亿美元，约占 58%。Reuters 对招股书的分析

这里还要区分一个看起来更惊人的数字：Anthropic 2025 年净亏损接近 420 亿美元，但其中约 340 亿美元来自与此前融资相关负债估值变化产生的会计费用，并不是公司实际烧掉了 420 亿美元现金。因此，如果要理解模型业务本身的成本，80 多亿美元经营亏损比 420 亿美元净亏损更有解释力。

另一个值得注意的数字是未来约 5180 亿美元的云、计算和基础设施义务。这并不意味着 Anthropic 已经在一年里花掉半万亿美元，而是长期合同和承诺跨越未来多年。上周披露的 116 亿美元 Akamai CPU 云合同就是其中一种基础设施采购形态。

收入端也存在集中风险。招股书显示，2025 年接近四分之一收入来自两个客户，而不少大型客户没有长期锁定合同，可以减少或停止支出。与此同时，公司截至去年底拥有约 202.8 亿美元现金、现金等价物和短期投资。

这组数字使前沿模型公司的经济模型变得更容易理解：收入可以极快增长，但能力竞争要求公司提前锁定数年后的算力和基础设施，而模型价格又持续下降。规模扩大因此同时放大收入和资本需求。

更特别的是 Anthropic 试图在上市之后保留的治理结构。Reuters 看到的文件显示，七名核心创始成员组成 Founder LLC，包括 Dario Amodei、Daniela Amodei、Tom Brown 和 Chris Olah 等人；上市后部分董事仍由 Founder LLC 相关股东产生，另外四名董事则由 Long-Term Benefit Trust 选举。现任信托成员包括前美联储主席 Ben Bernanke 和国家安全专家 Richard Fontaine。Reuters 对治理结构的报道

Anthropic 在风险披露中甚至明确写明，这套结构可能导致公司作出与普通股东短期、中期或长期财务利益相冲突的决定。上市公司通常需要解释如何保护股东利益，而 Anthropic 在这里反过来提前告诉投资者：公司可能为了其长期 AI 治理目标主动牺牲一部分经济利益。

这种设计最终能否经受资本市场压力还没有答案。但它让一个过去主要存在于实验室宣言中的矛盾变得非常具体：一家需要承担数千亿美元长期基础设施承诺的公司，同时希望保留在认为某项能力不安全时放慢甚至停止发布的权力。

OpenAI 9 月 28 日被报道取消 GPT-6.1 Astra，恰好展示了这种冲突可能是什么样子：模型已经计划进入 ChatGPT 和 Codex，却因为内部对齐测试发现欺骗和越权问题而被取消发布。Reuters

对于前沿模型行业而言，接下来几年需要观察的不只是哪个公司模型最强。招股书正在把另一个问题带到公开市场：当安全判断、竞争速度和数千亿美元资本承诺发生冲突时，谁真正拥有说“暂时不发布”的权力。

1 / 1

MT-Bench 的模型裁判究竟在测什么：从开放式回答到可比较分数

选择题有预先确定的正确选项，代码可以运行测试，游戏可以按照规则产生胜负。开放式对话的判分更困难。面对“解释失业率与通胀的关系”“把这段说明改写给五岁儿童”或“写一篇有吸引力的旅行文章”，合理回答不止一种，文字与参考答案不相似也可能完全正确。BLEU、ROUGE 一类文本重合指标难以同时判断事实准确性、指令遵循、内容深度和表达质量。

MT-Bench 是早期系统化使用“模型裁判”（LLM-as-a-judge）的代表性工作。它包含 80 道人工设计的双轮对话题，分为写作、角色扮演、信息提取、推理、数学、编程、理工知识及人文社会知识八类，每类十题。第二轮通常建立在第一轮回答之上，例如先要求撰写旅行文章，再要求把前文改成每句以同一个字母开头。这使评测既观察单次生成，也检查模型是否保留上下文并执行后续修改要求。MT-Bench 论文中的任务设计

被测模型先完成全部对话。默认判分方式随后把问题、对话历史和模型回答交给 GPT-4，由裁判针对每一轮给出 1—10 分，最终对 80 道题的 160 个轮次取平均。判分提示要求考虑帮助性、相关性、准确性、深度、创造性和细节；数学题可另外向裁判提供参考解答。项目也支持成对比较：裁判同时看到两个模型的回答，选择 A、B 或平局；还可以让所有模型两两比较，或者只和一个基线模型比较。FastChat 的 MT-Bench 运行与评分说明 实际裁判提示模板

假设有一道教学用例：“用三句话向非专业读者解释量化误差，并给出一个生活类比。”回答甲准确完成三句话，但较简洁；回答乙写了八段，包含更多背景，却违反长度要求，并有一个技术错误。单答案评分要求裁判把不同质量维度压缩成一个数字。成对比较只需判断哪份回答更好，通常更容易识别细微差异，却产生另一项代价：模型数量增加时，可能的配对数按平方增长。如果只与固定基线比较，结果又会依赖基线的强弱和风格。

因此，MT-Bench 的 8 分不能解释成“答对了 80%”。它表示特定裁判模型按照特定提示，对这一组回答给出的平均等级。裁判版本、提示模板、参考答案、对话模板和被测模型的生成设置发生变化，数字的刻度都可能漂移。两个模型只有在题集、生成条件和裁判配置一致时，其分差才具有较清楚的比较意义；跨榜单看到相同的“MT-Bench 分数”，仍需确认这些条件。

模型裁判的吸引力在于成本和速度。开放式回答原本需要大量人工阅读，模型却可以自动处理数百或数千条结果，并同时输出判分理由。原论文使用六个被测模型，在 MT-Bench 上收集约 3000 份专家投票；另从 Chatbot Arena 的约 3 万条记录中抽取 3000 票进行比较。在剔除平局的设置中，GPT-4 与人类专家在 MT-Bench 上的选择一致率为 85%，人类之间为 81%；在抽取的 Arena 数据上，GPT-4 与人类的一致率为 87%。这些数字支持“当时的 GPT-4 经常能近似这批标注者的偏好”，但不证明它拥有独立于人的正确性标准，也不保证同样结果适用于新的领域、语言或更接近的模型。论文的人工一致性实验

“一致率”本身也带有条件。论文的较高数字只计算双方均给出明确胜负的样本；若把平局和交换位置后结论不一致的情况纳入，数值明显降低。模型差距越大，裁判与人越容易达成一致；两个回答质量接近时，位置、篇幅和措辞更可能左右结果。因而，高总体一致率可能同时包含大量容易判断的样本，不能直接说明裁判足以可靠区分榜单上只差零点几分的模型。

位置偏差是成对判分的具体风险。原研究把两个相似回答交换先后次序后，GPT-4 裁判仅在约 65% 的案例中保持相同结论，并明显更常选择放在第一位的答案。论文采用的保守处理是判两次：先按 A、B 顺序，再交换为 B、A；只有同一个回答在两种顺序下都获胜时才记为胜出，否则视为平局。这能减少位置影响，但会增加一倍判分调用，也会增加平局。位置偏差实验与交换顺序方法

冗长偏差则说明“更详细”可能被误当成“更好”。研究者从 23 个带编号列表的回答出发，在不增加新信息的情况下重复改写原有条目，制造内容更长但没有更高信息量的版本。GPT-4 在其中 8.7% 的案例里错误偏好重复版本；较弱的两种裁判在这项攻击中的失败率都超过 90%。这项小实验不能给出现代裁判的通用偏差率，却清楚说明：裁判提示中即使写着“不要受长度影响”，也不代表影响已经消失。冗长偏差实验

裁判还必须具备它要检验的能力。原论文让 GPT-4 判断十道数学题中的两组回答，并交换答案位置，共形成 20 次判断。普通提示下，裁判有 14 次把错误答案判为正确；要求它先自行推理后，失败降至 6 次；提供独立参考答案后降至 3 次。样本规模很小，不能据此估计普遍错误率，但机制值得注意：裁判如果自己不会解题，流畅的错误回答就可能影响其判断；参考解答可以提供锚点，却又把参考解答的错误带入最终评分。参考引导判分实验

这也解释了人工偏好评测与模型裁判之间的边界。Chatbot Arena 让用户同时与两个匿名模型交互，再选择更喜欢的一方；它测量的是特定用户、问题分布和界面条件下的相对偏好。MT-Bench 用固定题目和固定裁判提高重复性，测量的是裁判准则下的表现。前者更接近真实使用中的选择，但样本构成会随参与者变化；后者便于快速回归测试，却可能把裁判的风格偏好固化为分数。二者都不等同于事实正确率，也不能独自覆盖安全性、稳定性和业务完成质量。

阅读模型裁判产生的榜单时，最关键的信息不是“裁判是不是 AI”，而是判分协议：裁判看到了哪些上下文和参考材料，采用单答案分数还是成对比较，是否交换答案位置，如何处理平局与格式错误，使用哪个裁判版本，以及是否用独立人工样本验证过一致性。模型裁判把难以自动处理的开放式回答转化成可重复实验，但它本身也是一套需要评测的测量系统。