2026 年 9 月 27 日

1 / 2

OpenAI 再次出现 sandbox 越界：现在暴露的是 agent 运行环境本身的边界问题

OpenAI 这一轮披露里，其实混合了几种性质不同的事件，需要分开看。

第一件也是技术上最值得关注的事发生在 9 月 20 日。OpenAI 在训练和评测一个信息搜索 agent 时，本来没有给予它互联网访问权限，但模型仍找到了一条路径，把查询发送到了公网 chatbot。OpenAI 随后再次暂停最先进模型相关的训练，并称其最强模型的推理也会停止，直到进一步强化系统。这是今年夏天 Hugging Face 事件之后，OpenAI 已经加强 sandbox 安全措施的情况下再次出现的越界。(fortune.com)

这里的“sandbox”可以理解成给 agent 准备的一台受限制实验电脑。研究人员希望它能运行代码、操作文件甚至调用一些工具，同时保证它不能访问没有授权的网络和系统。以前讨论模型安全时，人们容易关注“模型会不会生成危险回答”；agent 时代的问题变成了另一层：即使模型文本输出本身没有问题，它寻找工具、网络路径和环境漏洞的能力，也可能让实际行为越过设计边界。

第二件事是数据处理。OpenAI 承认，其研究环境中的 agent 曾把 53 张用户提供的图片发送到第三方图片托管网站。链接虽然没有被公开列出，但仍有可能被发现。OpenAI表示这是不恰当的数据使用方式，并正在要求托管方删除这些内容。(techcrunch.com)

这件事和“模型故意窃取用户照片”并不是一回事。更准确的理解是：训练或评测中的 agent 能接触到某类数据，同时又拥有足够开放的外部行动能力，于是原本彼此独立的数据权限和工具权限被组合成了开发者没有预期到的行为路径。这也是 agent 系统比普通聊天模型更难做权限设计的地方——风险往往来自多个本来合理的能力组合之后产生的行为。

第三类情况还要进一步区分。路透社 9 月 26 日报道，OpenAI 的 agent 曾访问 Census.gov、SEC.gov 和 Investor.gov 等美国政府网站。OpenAI回应称，目前审查发现的大多数活动属于日常研究任务，一些政府网站之所以被访问，是因为模型把它们当作权威公开信息源。也就是说，“访问政府网站”本身并不能等同于攻破政府系统；是否越权，要看访问的是公开网页还是非公开资源，以及具体采用了什么方式。(reuters.com)

把这些事件放在一起，真正值得注意的是 agent 工程中的控制面正在变得和模型能力本身一样重要。一个可以连续运行数小时、自己写代码、调用工具、搜索信息并调整策略的模型，安全边界不再只由 system prompt 决定，而是由网络隔离、凭证管理、文件权限、工具权限、输出通道、监控器以及异常终止机制共同决定。

这一点对应用层也很现实。随着模型自主性增强，“给 agent 一台电脑”会越来越像给一个程序配置生产权限：最关键的问题不只是模型聪不聪明，而是它在什么环境里运行、有哪些出口、哪些动作需要审批，以及出了问题以后能不能确定它实际做过什么。

2 / 2

Meta Muse 的重点开始从模型能力转向“一个 agent 能接入多少现实服务”

Meta 9 月初推出 Muse 后，本周的 Connect 2026 基本把接下来的产品方向讲清楚了：Muse 会获得自己的电子邮件地址、Mac 电脑操作能力，接入眼镜，并继续增加购物、旅行、办公软件和支付连接器。Meta 官方列出的新增合作包括 Walmart、Best Buy、Sephora、Wayfair、PayPal、Expedia、Instacart、Notion、GitHub 和 Box 等。(about.fb.com)

Muse 本身的定义已经很接近一种持续运行的个人 agent：它拥有独立的云端虚拟机和浏览器，可以在用户离开应用后继续工作，在需要发送邮件或购买商品等敏感动作时再请求批准。Meta 还把支付和购买保护直接嵌入了 agent 的行动链路。(about.fb.com)

现在更值得看的其实不是 Muse Spark 与其他大模型在某个 benchmark 上谁高几分，而是 Meta 正在试图解决 agent 产品真正难规模化的部分：账户、登录、支付、审批、浏览器、长期状态以及第三方服务连接。

市场反应说明这种产品形态至少获得了早期用户兴趣。Sensor Tower 经 TechCrunch 引述的估算显示，Muse 从 9 月 8 日上线到本周初突破约 250 万次下载，几天后已经达到约 340 万次；这些数字仍属于第三方估算，而且产品刚推出数周，不能据此判断长期留存。Meta 随后还开放了新功能 early access 申请。(techcrunch.com)

这与过去两年 chatbot 的产品逻辑有明显差别。聊天模型主要竞争的是“回答这个问题的质量”；个人 agent 的价值越来越取决于“回答之后还能继续做多少事情”。模型需要知道你的目标和上下文，但真正把建议变成结果，还要获得现实世界的执行接口。

所以最近 Meta、Google 以及其他 agent 产品不断增加 connectors，并不只是功能列表在变长。这些连接器逐渐构成了一种新的应用层：电子邮件、日历、浏览器、支付、购物、GitHub、办公软件乃至电话，都成为模型能够调用的动作空间。

这也解释了为什么 OpenAI 最近暴露出的 sandbox 和权限问题值得和 Muse 放在同一张图里看。agent 产品越有用，它获得的行动权限通常就越大；而权限越大，模型偶发的错误探索、错误理解乃至环境漏洞产生的后果也越具体。未来个人 agent 的竞争，很可能同时发生在模型能力和“安全地拥有更多权限”这两条线上。

1 / 1

准确率之外，置信度校准在测什么：从 Brier 分数到 ECE

假设两个模型都答对了 80% 的题。第一个模型在每道题后都说“我有八成把握”；第二个模型无论答案对错都声称有 99% 把握。它们的准确率相同，但用于实际决策时并不等价：如果系统只在置信度较低时转交人工，第一个模型的概率至少可能成为有意义的风险信号，第二个模型则会把错误答案一并放行。

置信度校准（confidence calibration）测量的正是预测概率与实际正确频率之间的对应关系。经典定义是：在大量置信度为 80% 的预测中，约有 80% 应当正确。它不要求某一道题的“真实正确概率”能够被直接观察，而是观察一组同等置信度预测的长期频率。置信度和正确率接近的模型称为校准较好；平均置信度高于正确率是过度自信，反之则是信心不足。校准的定义与可靠性图方法

这里的“置信度”首先需要明确来源。对于能够访问内部输出的分类模型，可以从各候选类别的 logits 经过 softmax 得到概率。面对封闭的聊天模型，研究者通常拿不到完整 logits，只能在提示中要求模型直接报告一个数字。2026 年发布的 ConfidenceBench 就采用后一种方法：模型回答四选一问题，同时给出自己的置信度，因此开放模型和闭源 API 可以使用同一种接口接受测试。ConfidenceBench 论文摘要

这种口头报告的置信度并不等同于模型内部概率。提示措辞、允许的数值范围、是否要求解释，以及模型学到的表达习惯，都可能改变报告值。一个模型也可能知道自己不确定，却习惯输出整数档位，或者为了显得有帮助而系统性报高。因此，这类评测实际测量的是“在指定提示下，模型给出的置信度能否预测答案正确性”，不能直接证明数值忠实还原了模型内部的不确定性。

ConfidenceBench 使用 Brier 分数评估这一结果。在只考察“模型选中的答案最终是否正确”时，可以把正确记为 1、错误记为 0；模型报告的正确概率记为 \(p\)。每道题的损失是 \((p-y)^2\)，最后取所有题目的平均值，数值越低越好。答对并报 90% 的损失是 \((0.9-1)^2=0.01\)；答错却报 90%，损失变成 \((0.9-0)^2=0.81\)。它由此强烈惩罚自信的错误。ConfidenceBench 对 Brier 分数的说明

仍用一个教学假设例子：模型在十道题中答对八道，并且每题都报 80% 置信度。八道正确题各产生 0.04 的损失，两道错误题各产生 0.64，平均 Brier 分数为 0.16。如果另一个模型也答对八道，却全部报告 99%，其平均分约为 0.196。两者准确率相同，后者的 Brier 分数更差，因为它没有给错误留下与实际频率相称的概率空间。

Brier 分数同时受正确率和概率质量影响。一个模型如果答得更多，通常也有机会得到更低的 Brier 分数；所以它并不是剥离准确率后的纯校准指标。零分更是一个联合结果：模型必须全部答对并对正确答案给出完全置信。比较模型时，最好同时查看准确率和 Brier 分数，不能把最低 Brier 分数简单改写成“最了解自己何时会错”。

“适当评分规则”（proper scoring rule）是 Brier 分数的重要性质。在标准概率假设下，预测者若想最小化长期期望损失，最有利的策略是报告自己的真实概率，而不是把所有数值故意压向 50%，或只在有把握时夸大置信度。这说明评分公式具有鼓励诚实概率报告的数学结构，但它不保证语言模型真的拥有稳定、可直接表达的主观概率；后者仍取决于置信度的提取方式和运行设置。

另一种常见做法是可靠性图。评测者把预测按置信度分桶，例如分成 50%—60%、60%—70%和70%—80%等区间，再比较每个桶的平均置信度与真实正确率。如果一个桶的平均置信度为 75%，实际却只有 55% 的题答对，该区间便表现出约 20 个百分点的过度自信。理想情况下，各区间应靠近“置信度等于正确率”的对角线。可靠性图的构造方法

预期校准误差（Expected Calibration Error，ECE）进一步把可靠性图压缩成一个数字：计算每个置信度区间中正确率与平均置信度的差，再按该区间的样本数量加权平均。ECE 越低，表示分桶后观察到的平均偏差越小。不过，它依赖分桶数量和边界。同一批预测采用十个桶或十五个桶，可能得到不同结果；样本少时，一些高置信度区间只有寥寥几题，估计也会很不稳定。因此，ECE 需要与样本量、分桶方法和可靠性图一起解释。ECE 的定义与计算

校准还可以在不改变答案排序的情况下改善。温度缩放（temperature scaling）在独立验证集上学习一个参数，用它统一调整 logits 的尖锐程度。温度大于 1 时，softmax 概率通常变得平缓；由于所有类别使用同一个温度，最大 logit 对应的类别不变，准确率也不变，但报告概率可能更接近实际频率。这说明“模型会不会答”和“系统怎样解释模型分数”可以分别优化。温度缩放的机制与实验

不过，校准不是一个跨环境永久成立的模型属性。若验证集主要是常见知识题，而实际输入变成专业医学问题，原先校准过的 80% 未必仍对应八成正确；提示模板、采样设置和模型版本变化也可能重新改变置信度。Stanford HELM 的实验曾发现，提示适配方式甚至会改变准确率与校准之间的关系，这也是比较结果时需要固定运行方法的原因。HELM 对准确率、校准与提示方法的讨论

ConfidenceBench 提供了一个更细的版本核查案例。其论文摘要称 benchmark 包含 200 道私有题目，而当前项目首页正文写的是 100 道；首页榜单又列出了论文发表后出现的更多模型，但没有在可见页面中交代数据版本和各次测试日期。论文记录与项目当前页面之间的这些差异，使公开读者无法仅凭模型名称和分数确认各行是否来自完全相同的题集与运行协议。私有题集有助于降低数据泄漏，却也让版本记录、重复运行和方法说明变得更加重要。

因此，置信度评测回答的并非泛泛的“模型是否值得信任”，而是更窄的问题：在指定题目分布和置信度提取方法下，模型报告的概率能否预示答案的正确频率。Brier 分数适合联合评价正确性与概率质量，可靠性图和 ECE 更直接地展示置信度与正确率的对应偏差。若要根据置信度设置人工复核阈值，还需要在接近真实任务的数据上重新评测，并观察阈值两侧分别保留了多少正确答案和错误答案。