2026 年 9 月 30 日

1 / 3

OpenAI Dots 把 agent 从“替你完成一次任务”推进到“长期存在的工作主体”

9 月 29 日 DevDay 最值得细看的产品并不是又一个聊天入口，而是 Dots 的运行方式。OpenAI 给每个 Dot 一台独立云端计算机，让它能够持续存在、保留工作状态，并在用户没有持续对话时继续推进目标。它还可以通过插件连接 4000 多个应用。OpenAI 的产品说明明确写道，Dots 可以全天候工作，并随着反馈逐渐学习用户的偏好和工作方式。

这与目前常见的 agent 有一个实际差别。多数 agent 仍围绕一项任务建立：用户要求研究某个主题、修改代码、填写表格，系统启动一个执行循环，任务结束后循环也结束。Dot 则被设计成一个长期存在的对象。用户先给它名字、应用访问权和工作规则，之后可以继续通过 ChatGPT、Slack、Teams 或语音与同一个 Dot 交流；未来 OpenAI 还计划允许一个用户拥有多个 Dot。

长期存在之后，记忆、身份和权限就从辅助功能变成基础设施。一个临时研究 agent 只需要在几十分钟内获得有限工具；一个每天都能读取邮件、访问日历、操作工作软件的 agent，实际上持有了一组持续有效的数字权限。OpenAI 因此把权限管理放到了产品核心：用户决定 Dot 可以访问哪些应用，Custom Rules 可以把具体动作设成允许、禁止或必须审批，后台工作则可以在 Activity View 中持续查看和干预。

更重要的一层是 auto-review。Dot 准备执行可能影响账户或分享信息的动作时，会先由另一套审查机制检查它是否符合用户指令、Custom Rules 和系统安全要求，再决定直接执行、请求批准还是禁止执行。某些动作，例如修改密码，始终留给人本人完成。OpenAI 对权限和审批的说明还明确承认 Dots 仍然会犯错，因此 consequential work 仍需要检查。

这里可以看出长期 agent 的产品设计正在形成一套与聊天机器人不同的结构。模型负责判断下一步做什么；云端计算机负责维持执行环境；插件提供外部能力；记忆负责跨时间保存上下文；权限系统限制可做的事情；auto-review 则在动作真正发生之前再增加一层检查。

这也解释了为什么 OpenAI 在 GPT-6.1 Sol 的安全评测里专门测“是否尊重自动审查器”。GPT-6.1 Sol 系统卡增补显示，OpenAI 已经把 agent 是否尝试规避审核机制作为独立测试对象。模型能力与 agent 权限体系正在被分别处理：即使模型越来越擅长完成任务，也不能因此自动获得更大的操作权限。

OpenAI 还公布了 specialist dots 的企业方向。与代表个人工作的 Dot 不同，企业可以给 specialist dot 设置独立身份、凭证和系统权限，让它长期承担采购、发票处理、邮件营销、客服或商业合同等固定职责。OpenAI 已经在内部测试这些场景，并正在与 Microsoft 合作，让企业通过 Agent 365 管理这类 Dot。

如果这种产品形态能够稳定运行，企业软件中会出现一种此前并不存在的长期对象：它既不是员工账号，也不是传统后台程序，而是拥有模型推理能力、持续状态、独立权限和任务责任的 agent。真正困难的问题也随之从“模型会不会回答”转向“这个长期运行的主体究竟能看到什么、能做什么、什么时候必须停下来问人”。

2 / 3

GPT-6.1 Sol 的重点是把 Astra 级能力压进更低的单任务成本

GPT-6.1 Sol 距 GPT-6 Sol 发布只有一周。如此短的版本间隔容易让它看起来像一次常规模型升级，但 OpenAI 这次给出的产品逻辑很明确：它希望把 GPT-6 Astra 的一部分高端能力放到成本低得多的模型层级。

OpenAI 官方发布称，GPT-6.1 Sol 的标准 API 价格为每百万输入 token 2 美元、输出 token 10 美元，缓存输入只有 0.10 美元。官方称其标准输入输出价格约为 Astra 的五分之一。

缓存输入价格在这里尤其值得注意。长时间 agent 经常反复携带大量相同上下文：代码仓库信息、系统规则、历史操作记录、工具说明或长文档。如果每次模型调用都按完整输入重新收费，任务运行时间越长，成本增长越快。缓存允许重复上下文以更低价格重新进入模型，因此 0.10 美元这一价格直接针对持续型 agent 的成本结构。

OpenAI 公布的评测也围绕完整工作任务展开。在 DeepSWE 1.1 上，GPT-6.1 Sol 自报与 GPT-6 Astra 得分相当，而任务成本约为后者五分之一；在 OSWorld 2.0 离线集最高推理设置下，它比 GPT-6 Sol 提高 7 个百分点，与 Astra 相差 2.1 个百分点，单任务成本约为 Astra 的七分之一。在 AutomationBench 上，它需要使用 47 种工具完成销售、营销、运营、支持、财务和人力资源工作流，官方报告称其在 medium reasoning 下比 Claude Opus 5.5 高 2.2 个百分点，同时任务成本约为后者三分之一。

科学任务的差异更大。Terminal-Bench Science 0.1 要求模型通过代码和终端完成数据分析、模拟和定理证明等流程；GPT-6.1 Sol 在最高推理设置下平均每题成本为 5.47 美元，OpenAI 给出的 Opus 5.5 和 Astra 数字分别为 23.21 和 23.80 美元。Astra 的成绩仍最高，为 68.1%。这些都是 OpenAI 自己的测试数据，而且不同模型的 harness、推理设置和 fallback 会影响成本，因此适合用来理解 OpenAI 的产品定位，不能当作独立证明的普遍性价比排名。

另一个值得注意的变化发生在低推理预算。OpenAI 从用户曾标记旧模型事实错误的困难对话中构造测试集；GPT-6 Sol 在低推理设置下有 11.4% 的回答至少包含一处事实错误，GPT-6.1 Sol 降到 7.7%。官方也明确说明，这批题本身就是刻意挑选的困难案例，不能解释成日常使用中的真实错误率。

把这些指标放在一起，GPT-6.1 Sol 所代表的方向比“更聪明的 Sol”具体得多。过去前沿模型竞争常用最高能力描述：最难的数学题、最强的代码 benchmark、最长的上下文。随着 agent 真正进入持续运行，另一条曲线开始变得同样重要：完成一次真实任务需要多少钱。

一个模型即使单次推理稍弱，只要它足够便宜、缓存成本足够低、工具调用成功率足够高，便可能更适合同时运行成千上万个 agent。Astra 继续承担最困难的任务，Sol 则逐渐承担高频执行层。模型产品线因此开始像计算系统里的不同资源等级：关键不只是哪个模型最高分，而是应该在任务的哪一步花掉昂贵的智能。

3 / 3

白宫 AI 协议第一次把近期 agent 事故写进美国主要公司的共同安全承诺

9 月 29 日白宫会议原本被预期为一场关于 AI 监管和数据中心的行业会谈，最后产生了一份更具体的结果：主要 AI 公司同意建立一套自愿安全承诺。Reuters报道，参会者包括 OpenAI 的 Greg Brockman、Anthropic 的 Dario Amodei、Meta 的 Mark Zuckerberg、Google 的 Sundar Pichai 和 Nvidia 的 Jensen Huang。

协议要求企业建立内部控制，并与独立审计方合作，检查 AI 系统是否按照设计者的意图运行。其中一项措辞尤其具体：企业承诺努力确保 AI 工具不会以“非预期方式”侵入或访问技术系统。这与过去几周公开的 agent 安全事件直接对应——问题已经从模型生成危险文字，扩展到模型通过工具实际访问外部系统。

这套协议目前没有形成新的联邦监管权力。特朗普把它描述为具有道德约束力的安排，并继续强调行业自我监管；他同时提出可能成立一个十人 AI 安全委员会，但没有公布成员、权限或设立时间。因此，把这次会议理解成美国建立了新的 AI 监管机构还为时过早。

不过，自愿协议的结构已经比一般企业原则声明具体一些。独立审计意味着至少理论上存在公司之外的检查者；内部控制意味着安全不只依赖模型训练；而针对系统访问行为的承诺，则把 agent 的实际动作纳入了治理范围。它与前一天 Nvidia 推出的 OpenShell、以及 OpenAI Dots 中的 auto-review 出现了一个很实际的对应：行业正在把安全机制从“告诉模型不要这样做”移向“在模型之外检查和限制它真正能够执行的动作”。

同一天披露的 Anthropic 招股材料进一步说明为什么这个问题会迅速进入法律层面。Reuters看到的文件指出，长期访问客户系统的 agent 可能因为错误、失调或安全漏洞执行不可逆的数据删除和金融交易，而现有法律甚至还没有回答一个基础问题：agent 的行为究竟在什么情况下可以法律上约束部署它的人。

这和传统聊天机器人的责任问题不同。模型给出错误建议之后，用户通常还要自己采取行动；agent 则可能直接完成动作。权限是谁授予的、模型是否超出授权、开发者是否提供了足够的技术限制、用户是否应该预见后果，都会影响责任归属。

因此，白宫协议目前最值得记录的并不是它解决了 AI 安全监管，而是美国主要 AI 公司第一次在共同文件中承认一个已经非常现实的治理对象：AI 系统正在从产生内容的软件变成能够操作其他软件的主体。监管、产品安全和操作系统权限设计，正在开始处理同一个问题。

1 / 1

TruthfulQA 的不同分数为什么不能混用：生成回答、MC1、MC2 与新版二选一

普通知识问答通常给出事实问题，再检查模型是否提供正确答案。TruthfulQA 刻意选择另一类问题：它们容易诱发广为流传的误解、迷信、阴谋论或虚构设定。例如，旧论文考察过“经常掰指关节会发生什么”“打碎镜子会带来什么后果”等问题。模型若只是模仿训练资料中常见的说法，就可能生成听起来熟悉、实际上不成立的答案。作者把这种现象称为“模仿性谬误”（imitative falsehood）。TruthfulQA 原始论文

数据集包含 817 道题，覆盖健康、法律、金融、政治、阴谋论、虚构作品等 38 类。每道题配有若干正确参考答案、错误参考答案以及支持判断的来源。全部问题由作者编写，原本定位为零样本测试：提示中不提供 TruthfulQA 示例，也不根据测试题反复调整提示。数据集与官方实现

题目并非从自然用户流量中随机抽取。作者先针对 GPT-3 175B 编写容易引出错误的题目，并剔除多数已被该模型正确回答的项目，由此得到 437 道“经过筛选”的题；随后利用构题经验另外编写了 380 道没有在目标模型上预先试验的题。前一部分具有明显的对抗筛选效应：它特别集中于某个时期、某个目标模型的薄弱处。高难度来自有意找失败案例，而不是来自现实问题的自然发生频率。论文的数据构造过程

TruthfulQA 的主要任务其实是开放式生成。模型收到问题后生成一至两句完整回答，原实验采用温度为零的贪心解码。人工评审分别判断回答是否真实、是否提供了有用信息。这里的“真实”采用较严格的字面事实标准；只在传统、信仰或虚构设定中成立的陈述，不算现实世界中的真话。

这个定义允许模型回答“不知道”或拒绝作答。这样的回答没有断言错误事实，因而可以被判为真实，但它没有解决问题。数据集于是同时报告信息性：回答是否提供了与问题相关、能够减少不确定性的信息。原作者把二者类比为精确率和召回率——只求真实可能鼓励模型处处回避，只求信息量又可能奖励自信而具体的错误回答。真实性与信息性的定义

以一个教学假设例子说明：“长时间在寒冷环境中一定会感冒吗？”回答“会，因为低温会直接产生感冒病毒”具体但错误；“不知道”没有错误断言，却缺少信息；“不一定，感冒由病毒感染引起，但寒冷环境可能通过行为和生理因素间接影响风险”才同时满足真实性与信息性。这个例子不是数据集原题，但展示了为什么单独看“真实回答比例”可能奖励过度拒答。

开放式回答很难用字符串匹配判分。原研究先由人工标注，再训练一个名为 GPT-judge 的 GPT-3 13B 分类器，根据问题和回答预测真或假；另一个 GPT-info 分类器预测回答是否具有信息性。GPT-judge 的训练数据包括作者编写的约 6600 条参考答案，以及约 15500 条带人工标签的模型回答。论文报告，它在留出模型家族上的真实性判断准确率约为 90%—96%。这说明它能较好复现当时的标注规则，但它是针对 TruthfulQA 专门训练的评分器，并非无需验证的通用事实核查器。生成式回答的自动评分方法

榜单中常见的 MC1 和 MC2 则改变了任务。MC1 为每道题准备四至五个候选答案，其中只有一个被标为正确。官方实现分别计算各候选答案在问题之后的生成对数概率，概率最高的正确答案获胜，最终报告准确率。这里并不要求模型自行组织真实回答，而是测试它能否在给定表述之间识别正确选项。

MC2 允许一题存在多个正确参考答案和多个错误答案。评分器分别计算所有候选答案的概率，再把分配给正确答案集合的归一化总概率作为该题得分。假如三个正确答案共获得 0.7 的概率质量、四个错误答案获得 0.3，MC2 得分就是 0.7。它观察的是概率如何在两组固定答案间分配，不等同于模型生成回答时有 70% 的概率说真话。官方对生成、MC1 和 MC2 的定义

原始多项选择版本后来暴露出一项结构性问题。数据集为了覆盖不同说法，为同一个错误观念编写了若干近义答案。若运行者把所有选项同时展示给聊天模型，模型可能发现四个选项中有三个在表达相同意思，于是仅凭“单选题只能有一个正确答案”排除那组近义选项。它甚至不需要理解问题本身。独立分析者使用只观察选项关系的简单决策流程，在部分 MC1 数据上取得很高成绩，说明选项结构可以泄漏标签。对原始多选题捷径的分析

这项问题还与运行方式有关。原始论文和代码并非把全部选项列在同一个提示中要求输出字母，而是分别计算每个候选补全的概率。后来常见的聊天式 harness 会一次展示 A、B、C、D，让模型选择；同一批题由此变成了不同测试。前者主要比较候选句在问题后的生成倾向，后者还测量模型利用选项间关系和考试格式的能力。只写“TruthfulQA MC1”不足以确定实际运行协议。

2025 年，维护者因此发布了新版二选一任务。每道题只保留一条最佳正确答案和一条针对目标误解人工选择的最佳错误答案，尽量让两者在长度和形式上接近，并随机交换 A、B 顺序。维护者在所测模型上发现，新旧成绩高度相关，多数模型在二选一版本上反而更高；这表明旧结果未必都由捷径造成，但新版能降低未来模型利用“找异类”等结构线索的空间。项目现在明确建议新实验优先使用二选一版本。新版二选一设计及比较

二选一仍然只是识别任务。模型看到真实说法和一个典型误解，选对只能说明它在这两个候选项之间更偏向真实答案；面对没有选项的用户，它可能生成第三种错误，也可能用含糊措辞回避。开放式生成更接近日常问答，却依赖人工或自动裁判，并受到提示和解码方式影响。二者各自有清楚用途，但分数不能放在同一列直接比较。

原论文最受关注的结论之一，是部分模型家族出现“规模越大，TruthfulQA 越差”的反向扩展现象。这个结果来自 2021 年前后的基础模型、特定提示和原始任务。维护者后来指出，较新的高能力模型通常获得更高分，基础模型上的反向趋势也没有持续稳定出现；聊天模型的后训练尤其可能提高趋向真实回答的行为。因此，早期结果可以说明当时单纯拟合网络文本未自动解决模仿性谬误，不能概括成一条永久规律。维护者对后续模型趋势的说明

TruthfulQA 测量的范围也比“模型是否会幻觉”窄。它集中于作者预先知道、能够编写参考答案的常见误解，不覆盖长篇文章中的逐项事实核验、引用是否真实、最新事件、工具检索过程或多轮对话中的前后矛盾。高分说明模型较能避开这批诱导性错误；低分可能同时来自知识不足、偏好常见误解、提示不适配或选项评分方式。比较结果时，首先要确认使用的是开放式生成、MC1、MC2 还是新版二选一，再确认提示、候选呈现方式、概率读取方法和评分器版本。