2026 年 10 月 4 日

1 / 2

Kolibri 把“不会就不答”直接做进训练目标

Kolibri 最值得看的部分并不是 78B 总参数、3B 激活参数或者 1M context。这些配置让它成为一个相当紧凑的 MoE，但并没有天然形成与同规模开放模型完全不同的产品定位。真正有辨识度的是 Aleph Alpha 在训练过程中如何处理 grounding：当上下文不足以支持答案时，它希望模型主动停止猜测。

这听起来很普通，因为今天几乎所有模型的 system prompt 都可以写一句“如果不知道，请说不知道”。问题在于训练目标通常并不奖励这种行为。

假设一道题缺少必要证据。模型如果猜一个答案，至少有一定概率碰巧正确；如果明确回答“不知道”，在很多传统问答 benchmark 中则必然拿不到正确答案。长期使用这种数据和评分训练，模型自然容易形成一种策略：信息不完整时继续生成最可能的答案。

Aleph Alpha 为 Kolibri 做的一个改变，是专门加入正确答案就是“不知道”的训练样本。但狭窄专业领域恰好又缺少大量高质量负样本，因此它进一步使用自己称为 Merlin-Arthur 的训练方法自动制造这种情形。

方法可以简化成三个角色。Arthur 是最终要训练和发布的模型。Merlin 拿一份原始文档，构造仍然包含足够证据、可以正确回答问题的上下文；Morgana 则从文档里删除关键证据，同时尽量让剩余内容看起来仍然很像能够回答这个问题。

Arthur 不知道自己看到的是哪一种。

于是同一道问题出现了两种训练状态：看到 Merlin 的上下文时必须找到证据并回答；看到 Morgana 的上下文时，正确动作只能是拒绝作答。一个“幸运猜中”的答案在第二种情况下也被算错。训练目标因此开始直接区分“答案碰巧正确”和“答案能够被提供的材料支持”。

这比单纯训练 citation 格式更接近 RAG 系统真正面对的问题。要求模型附引用，并不能保证 grounding。模型完全可能先生成一个看似合理的答案，再生成一个同样看似合理的引用。真正需要学习的是另一件事：当前证据究竟有没有跨过足以作答的门槛。

Aleph Alpha 为此还构造了自己的 M/A grounding score，试图测量答案中有多少内容可以证明来自给定文档。公司公布的结果显示，Kolibri 在这一指标上得到 0.23，而其早期 Kolibri Origin 为 0；对比的 Qwen3.6-35B-A3B 为 0.12，Nemotron 3 Super 等若干模型在这一测试中为 0。这是厂商自建指标和厂商测试结果，不能把数字直接理解成模型总体 hallucination 水平。

在相对成熟的公开测试上，结果也没有显示 Kolibri 全面领先。例如 Aleph Alpha 报告，在 AA-Omniscience 中 Kolibri 的 non-hallucination rate 为 44.0%，低于 Qwen3.6-35B-A3B 的 56.7%；但在 RGB 测试中，Kolibri 的 “holds back” 为 85.6%，高于表中几个对照模型，而 “invents nothing” 为 87.3%，与最好的一组模型接近。

这些数字更适合说明训练方向，而不是建立一个新的模型排行榜。

Kolibri 的另一个特点是 Aleph Alpha 没有把“欧洲主权模型”只处理成模型部署地点问题，而是直接改了训练数据。它估计要在 20T token 的预训练中保持约 20% 德语，需要大约 4T 德语 token；清洗公开德语数据后只有约 390B，因此团队自己针对德语重新设计 Common Crawl 过滤器，获得约 1.3T organic German web tokens，又让模型对已有德语文本进行不同形式的德语重述，增加约 1T。最终构成约 2.4T unique German token pool，并通过 upsampling 让模型在训练中看到约 4.3T 德语 token。

这里有一个很具体的数据工程细节。英语网页清洗中常见的一项规则，是过滤平均单词长度异常高的文本。但德语本身大量使用复合词，德国行政文本的平均词长尤其容易越过英语数据集使用的阈值。如果直接沿用英语过滤规则，恰好会把公共行政、法规等 Aleph Alpha 最需要的德语材料大量删除。团队因此重新调了语言相关的过滤参数。

他们还专门训练了英语—德语 tokenizer UniBPE。Aleph Alpha 报告，在 FineWeb-2 德语文本上，Kolibri tokenizer 平均每 token 表示 4.90 bytes，高于其列出的 GPT-5、Gemini、DeepSeek V4、Qwen3.8 等 tokenizer；同时它会倾向按照德语复合词的形态边界拆分，例如把 “Protokolldaten” 分成 “Protokoll + daten”。这些仍是厂商自己的比较，但它说明语言本地化可以深入到模型架构外围非常基础的一层：同一段德语如果需要更少 token，长文档推理和企业推理成本都会随之变化。

Kolibri 因而提供了一个不同于“再做一个通用开放模型”的路线。Aleph Alpha 主动放弃覆盖尽可能多语言，把数据、tokenizer、负样本生成、grounding 训练和行业评测都集中到德语与英语企业工作。它最终是否比更大的通用模型更适合真实德国政府、法律和工业系统，还需要独立部署数据验证；但至少模型设计与目标工作负载之间的关系相当清楚。

2 / 2

AstaBrief 8B：把复杂 agent 流水线的一段能力蒸馏成一个小模型

Ai2 的 AstaBrief 8B 解决的是另一个越来越常见的问题：当一个复杂 AI 产品已经跑通以后，是否还需要让最贵的通用模型完成其中每一步？

Asta 是 Ai2 面向科学研究的系统。研究者给出问题以后，系统先检索论文，再根据论文生成带来源的研究报告。原有报告流水线会先处理检索片段，再做摘要、分组和章节规划，最后由 Claude 等模型逐段生成完整报告。AstaBrief 则把后半段工作重新定义成一个窄任务：输入“研究问题 + 已检索好的科学文献片段”，直接一次生成完整带引用报告。

模型本身只有 8B 参数，基于 Qwen3-8B。Ai2 先从真实研究查询中清洗出约 9 万个问题，再用既有多阶段 ScholarQA 流水线产生训练报告；经过质量过滤得到约 3.95 万条监督微调样本。随后又构造约 6000 对偏好数据，在两个 judge 模型判断一致的样本上进行 DPO。公开的 SFT checkpoint 显示，该阶段在 8 张 H100 上训练，最大 sequence length 为 32768。

这套方法的关键并不是让 8B 模型学会搜索互联网。AstaBrief 本身并不负责 retrieval，也没有凭空获得完整科研 agent 的能力。检索、论文解析和证据选择仍然发生在模型之外；它学习的是流水线中已经相对稳定、边界清楚的一段映射：

研究问题 + 一组相关证据 → 有结构、带 citation 的报告。

一旦任务被限定到这里，训练专用模型就开始有经济意义。

Ai2 报告，Asta 的 Fast mode 平均每份报告需要 51.1 秒，Claude 驱动的 Thinking mode 为 178.5 秒，大约相差 3.5 倍。Ai2 的目标还包括降低 serving cost，并让用户能够在自己的基础设施运行模型。需要保留两个比较条件：这是整个 Asta pipeline 的厂商测量，而不是裸模型 token/s；并且 Ai2 表示大部分训练和正式评测在 2025 年完成，因此没有重新与 2026 年 10 月的最新前沿模型做全面比较。

所以这项工作的意义并不是“8B 已经打败 Claude”。更有价值的观察是一个产品生命周期：最初用强通用模型和复杂 agent pipeline 探索任务；积累真实查询、成功轨迹、偏好数据和失败模式；等任务边界稳定以后，再把其中高频且规则相对固定的一段能力训练进专用小模型。

这条路线和传统知识蒸馏有一点区别。teacher 不只是一个更大的模型，teacher 实际上是整套系统：检索器、多个生成模型、分阶段 prompt、过滤器、citation 逻辑以及用户真实问题共同产生训练数据。AstaBrief 学到的是这个系统最终希望得到的输出行为。

它也解释了为什么小模型和 agent 并不一定是两条竞争路线。agent 系统在早期帮助团队发现工作流究竟应该怎样运行；稳定以后，其中一部分 agentic orchestration 可以重新被压缩进模型。剩下真正需要搜索、调用工具、动态决策和外部验证的步骤继续留在 harness 中。

如果这种开发方式逐渐成熟，未来应用模型的尺寸选择可能越来越按“工作流中的哪一段”决定，而不是为整个产品统一选一个模型。复杂任务仍然可以由强模型负责规划和处理异常；大量稳定、重复、输入输出明确的步骤则交给专用小模型。AstaBrief 8B 是目前一个相当干净的公开案例，因为 Ai2 同时开放了模型、训练数据和中间 checkpoint，使这条从复杂科研流水线到专用模型的路径能够被具体检查。

1 / 7

校准测量什么：模型说“有八成把握”时，怎样判断这句话是否可信

准确率只统计模型最终答对了多少题。如果两个模型在 100 道选择题上都答对 70 道，它们的准确率同为 70%；但第一个模型对每道题都声称有 70% 把握，第二个模型无论对错都声称有 99% 把握，两者提供给使用者的信息并不相同。校准（calibration）关注的正是概率与实际正确频率之间的对应关系。

理想情况下，在模型给出约 80% 置信度的一组预测中，长期观察应有约 80% 正确。这里的校准是分组意义上的统计性质，不保证任何一道具体题有一个可验证的“80% 正确状态”。单题最终只有答对或答错；只有把大量具有相近预测置信度的样本放在一起，才可能检查模型表达的概率是否符合经验频率。

用一个教学假设说明。某模型完成 1000 道选择题，其中有 100 道题的置信度落在 0.75 至 0.85。若这 100 道中有 79 道答对，那么这一组预测的平均置信度假设为 0.80，实际准确率为 0.79，两者相差 0.01，可以说该区间较为校准。若只答对 50 道，模型在这一组上便明显过度自信；若答对 95 道，则表现为置信不足。

准确率与校准因此不是互相替代的指标。一个始终输出“70%”的模型，在总体准确率恰好为 70% 时可能取得很好的整体校准，却没有区分简单题与困难题。另一个模型能够把容易题和困难题分开，但概率普遍偏高，也可能具有更强的排序能力和较差的校准。评价置信度是否有用，需要同时观察正确性、校准情况以及概率能否有效区分不同风险。《On Calibration of Modern Neural Networks》对校准问题的定义

2 / 7

ECE 怎样把可靠性图压缩成一个数字

可靠性图（reliability diagram）通常先把预测按置信度分箱。例如把 0 至 1 划成十个区间，再计算每个箱中的平均置信度和实际准确率。若模型校准良好，各箱结果应靠近“置信度等于准确率”的对角线。图形能够展示模型在哪些置信度区域过度自信或信心不足，也能显示样本主要集中在哪些区间。

预期校准误差（Expected Calibration Error，ECE）进一步把这些差距汇总为一个数字。常见算法对每个箱计算平均置信度与准确率之差的绝对值，再按照该箱的样本数量加权平均。HELM 的实现中便包含十箱 ECE，描述为模型平均置信度与准确率之间差异的加权汇总。HELM 的校准指标实现

假设一项测试只有两个置信度箱。第一箱包含 80 道题，平均置信度为 0.90，准确率为 0.75，差距为 0.15；第二箱包含 20 道题，平均置信度为 0.60，准确率为 0.50，差距为 0.10。ECE 为 0.8 × 0.15 + 0.2 × 0.10，即 0.14。它表示按照样本量加权后，各置信度组的平均绝对偏差为 14 个百分点，不能解释成“模型有 14% 的答案错误”；后者属于准确率问题。

ECE 易读，却依赖分箱方式。同一批预测使用五个箱、十个箱或按样本数量自适应分箱，可能得到不同结果。箱太宽时，内部不同方向的误差可能互相抵消：同一箱中，一部分预测置信度过高，另一部分过低，箱的平均值却恰好接近准确率。箱太窄时，每箱样本减少，经验准确率又会出现较大抽样波动。

这意味着 ECE 不是一个脱离实现细节的固定属性。比较两份结果时，需要确认置信度怎样取得、使用多少个箱、箱的边界如何确定，以及空箱和边界值怎样处理。只看到“ECE 为 0.03”，还不能判断它是否优于另一篇报告中的 0.04。

样本量同样重要。假设 0.9 至 1.0 的箱里只有两道题，一对一错，那么该箱准确率为 50%，看起来与高置信度严重不符；但两道样本不足以稳定估计这一范围的长期正确率。可靠性图和 ECE 都是测试集上的估计，模型在稀少区间或重要子集上的校准情况，最好配合样本数、不确定性范围或重复抽样查看。

3 / 7

Brier score 为什么不仅检查“平均上是否说得准”

ECE 主要比较分组后的置信度与正确频率。Brier score 则逐个样本计算预测概率与实际结果之间的平方误差。在二分类问题中，若事件实际发生记为 1、没有发生记为 0，预测概率为 \(p\)，单个样本的损失就是 \((p-y)^2\)，最后对全部样本取平均；分数越低越好。

假设两个模型都预测错误。模型 A 对错误答案给出 0.99 的正确概率，单题损失约为 0.9801；模型 B 给出 0.60，损失为 0.36。两者在准确率中都只记一次错误，Brier score 则对极度自信的错误施加更大惩罚。相反，若答案正确，0.99 的损失约为 0.0001，0.60 的损失为 0.16。

Brier score 是严格适当评分规则：在相应统计假设下，报告真实概率能够获得最低的期望损失。它减少了评测对象通过随意夸大或压低置信度来系统性获利的空间。不过，Brier score 同时受到校准、区分能力和数据本身不确定性的影响，不能把它直接称为“纯校准误差”。两个模型即使校准程度相近，能够更好地区分容易与困难样本的模型也可能得到更好的 Brier score。scikit-learn 对 Brier score 及其性质的说明

可以再次比较两个极端模型。测试集准确率为 70%，模型 A 对所有题一律输出 0.70；模型 B 对最终答对的多数题给出较高概率，对容易答错的题给出较低概率。只要 A 的测试总体频率与 0.70 对上，它的整体校准可以很好，但它没有提供题目层面的风险差异。B 的概率若略有系统偏差，ECE 可能较差，却仍能把许多高风险题排在前面。Brier score会同时反映这两种因素，而一张可靠性图更适合显示偏差发生在哪些概率区域。

因此，ECE、Brier score和可靠性图不宜互相替代。ECE便于概括分箱后的平均偏差；可靠性图保留误差方向及概率分布；Brier score评价逐题概率预测，并奖励有用的区分能力。三者一起阅读，往往比寻找唯一的“最佳校准指标”更有解释力。

4 / 7

语言模型的“置信度”从哪里来

在传统分类器中，模型通常直接输出每个类别的概率。语言模型的开放式回答则更复杂。模型可能输出一句自然语言答案、一个长篇推理过程或多种等价表述；“整份回答正确的概率”并不天然等于某个 token 的生成概率。

对于选择题，一种做法是取得各候选答案对应的模型概率并归一化。即便如此，实现仍会改变测量对象：使用选项字母的概率，可能受到字母 token、提示格式与位置偏好的影响；使用完整答案文字的序列概率，又会受到长度和分词方式影响。若模型先生成解释再输出选项，最终选项的条件概率还包含了前文推理轨迹带来的影响。

开放问答中常见的另一种方法，是要求模型直接报告“我有 80% 把握”，或让它判断自己是否知道答案。这种口头置信度是模型生成的文本，不等同于底层输出分布的原始概率。它可能受到提示措辞、数字偏好、对齐训练和示例的影响。语言模型确实可以学习提供有信息量的自我判断，但研究同时发现，这类判断迁移到新任务时可能失去良好校准。语言模型在问答中的校准研究

还可以多次采样回答，用答案的一致程度估计信心。例如十次生成中八次得到同一答案，便把一致率当作一种置信信号。但这仍不等于 80% 的正确概率：模型可能稳定地重复同一个错误，表达不同但语义相同的答案也需要先正确聚类。采样温度、次数和答案归一化方法都会改变结果。

对代码或 agent 任务，置信度的对象更难界定。是模型认为下一步工具调用正确的概率，整条轨迹成功的概率，还是在允许重试后最终完成任务的概率？一个 agent 可能非常确定地完成前九步，在最后一步失败；若只平均每步信心，便不能自然得到任务级成功概率。报告校准成绩前，需要先说明预测事件究竟是什么，以及正确性如何判定。

5 / 7

温度缩放修正了什么，又没有修正什么

温度缩放（temperature scaling）是常见的事后校准方法。它在保留模型各类别排序的情况下，用一个在验证集上学习的温度参数重新调整 logits。温度大于 1 通常使概率分布更平缓，降低过度自信；温度小于 1 则使其更尖锐。经典实验发现，这种只有一个参数的方法在多种神经网络分类任务上能够显著改善校准。温度缩放的方法与实验

它修正的是概率刻度，不会让原本排错的答案变正确。由于统一缩放通常不改变最大概率类别，分类准确率和类别排序可以保持不变，而 ECE 或负对数似然得到改善。这正好说明准确率与校准是两个可分离的问题。

温度参数必须在独立校准集或验证集上拟合。如果直接在最终测试集上选择使 ECE 最低的温度，再在同一测试集报告结果，就把测试信息用于调参，容易高估对未来数据的效果。比较校准前后的模型时，还要说明校准数据量、数据来源以及它与测试分布的关系。

分布变化也是关键限制。一个模型可能在普通问答数据上校准良好，进入医学问题、另一种语言或更困难的题集后变得过度自信。单个全局温度只能做统一调整，未必能够同时修复不同任务和子群体的误差。对跨领域部署而言，“已校准”应理解为在明确数据条件下观察到的性质，而不是永久附着在模型版本上的认证。

6 / 7

校准良好仍不等于置信度有实际价值

考虑一个准确率为 60% 的模型。如果它对所有题都报告 60%，那么在整个测试集上可能完美校准；但使用者无法依据置信度选择哪些回答可以直接采用、哪些应交给人工。它的概率真实，却不够有区分力。这种区别有时称为校准与锐度、分辨率或信息量之间的差异。

真正用于分流的置信度通常还需要支持选择性预测（selective prediction）：系统只回答高信心案例，把其余案例拒答或转交人工。评测时可以逐步提高接收阈值，观察覆盖率下降后，保留下来的答案错误率是否同步降低。如果模型的高置信度案例确实更可靠，它便能够在“处理更多任务”和“降低错误率”之间提供可控的工作点。

这里不能只看高阈值下的准确率。阈值设得极高、只保留一道最简单的题，也可能取得 100% 准确率，却几乎没有处理能力。需要同时报告覆盖率，也就是系统实际接收了多少样本。不同模型只有在相同覆盖率或相同风险条件下比较，结论才较清楚。

校准指标还可能掩盖子群体问题。总体上“80% 置信度对应 80% 正确”可能由两个方向相反的群体平均而来：英语问题实际正确率 90%，低资源语言问题只有 60%。若使用者据此对所有语言采用同一自动处理阈值，局部风险会被总体平均值隐藏。按任务、难度、语言和风险类型拆分可靠性图，往往比单一全局 ECE 更接近部署问题。

7 / 7

阅读一项校准结果时，哪些条件决定它能说明什么

首先要确认被校准的事件。选择题答案正确、开放回答完全正确、某项主张有证据支持，以及 agent 最终完成任务，都是不同事件；它们需要不同的标签和概率构造方式。

其次要确认置信度来源。候选答案概率、完整序列概率、模型口头自报、多次采样一致率和额外训练的验证器不能只写成同一个“confidence”。来源不同，分数衡量的系统组件也不同。

然后要核对指标实现。ECE 需要说明箱数和分箱策略；Brier score需要说明类别编码与多分类形式；可靠性图需要展示各区间样本数。若使用温度缩放或其他再校准方法，还应说明参数在哪一批数据上拟合。

最后要把校准与正确率、区分能力和覆盖率分开报告。校准回答“概率刻度是否可信”，准确率回答“最终答对多少”，排序或分辨能力回答“能否识别更可能正确的案例”，覆盖率—风险曲线回答“允许系统拒答时，可以形成怎样的使用边界”。任何一个数字都无法替代其余问题。

模型说“我有八成把握”只有在事件定义、置信度来源、评分方法和适用数据都明确时，才成为可以检验的评测对象。良好校准并不证明回答正确，也不保证模型知道哪些题最难；它提供的是另一层信息：当系统用概率表达不确定性时，这种表达在已测条件下能否对应真实发生频率。