2026 年 10 月 6 日

1 / 1

Reflection Beam：501B 参数之外，更值得看的是一次 10,500 张 GB300、上亿条 rollout 的强化学习训练

10 月 5 日，美国初创公司 Reflection AI 公布首个自研模型 Beam。它是一个稀疏 MoE，拥有 501B 总参数、每个 token 激活约 23B，预训练使用 23.8T token，定位集中在代码、推理和 agent 工作。Reflection 已开放少量 early access，但截至本期检索截止，模型权重、完整技术报告和 model card 尚未发布；公司称这些材料将在 10 月内以 Apache 2.0 许可陆续开放。因此今天能够分析的是 Reflection 公布的训练方法和自报评测，还不能把 Beam 当作已经可由外部完整复现的开放模型。Reflection AI · Reuters

Beam 的模型尺寸本身并不特别反常。它与当前许多大型开放模型一样使用 MoE，让总容量远大于一次推理实际参与计算的参数量。Reflection 真正押注的方向，是把强化学习继续当作一条可以大规模扩展的计算轴：预训练建立一个足够稳定的 base model，然后通过大量真实可执行环境和长轨迹，让模型持续学习代码、终端、工具调用和多步推理。

这一次 RL 的规模非常大。Reflection 称，四周训练期间使用约 10,500 张 NVIDIA GB300，生成超过 1 亿条 rollout，最大训练上下文为 256K；整个过程中约使用 13 亿个 sandbox 实例。训练任务来自近 100 万个环境，覆盖软件工程、终端操作、竞赛编程、STEM、搜索、工具调用和一般知识工作。公司表示，单是 reasoning expert 的训练就包含约 8000 万条 rollout。Reflection AI

这里的 rollout 可以理解为模型在一个任务环境中真正走完的一次尝试。对一道数学题，它可能只是生成推理和答案；对软件工程任务，它可能包含阅读代码、修改文件、运行测试、看到错误、再次修改等一连串动作。RL 训练需要判断最后有没有完成任务，再把结果转化成训练信号。

当 rollout 从几十万扩大到上亿，工程问题会发生变化。一个 agent 可能运行很久，而训练器在它运行期间已经更新了许多次模型。等这条轨迹完成时，它实际上来自一个“旧版本”策略。如果训练系统只允许最新模型产生的数据进入下一步训练，大量 GPU 就必须互相等待；如果旧数据直接拿来训练，又可能因为当前模型与生成数据时的模型差异过大而破坏学习稳定性。

Reflection 选择了完全异步的做法。agent 持续生成轨迹，训练器同时持续更新模型，每个 token 都记录由哪个模型版本产生；算法再显式处理这种 policy staleness。公司称，即使某些训练样本来自一天以前、落后当前模型 107 个权重版本，训练仍能保持数值稳定。Reflection AI

支撑这套机制的基础设施规模也很少在开放模型发布中披露得如此具体。训练期间平均同时运行约 11 万条 rollout，峰值支持 17 万个并发 sandbox；整个系统累计处理超过 10 亿次 sandbox 创建请求，横跨两个云、四个区域和 20 多个集群。新权重从训练器分发到推理集群的中位时间约 12 秒。Reflection 称，通过先跨机架分发、再利用 NVLink 在本地复制权重，相比每个 replica 分别拉取权重减少了 75% 的跨机架流量。

这组数字解释了为什么“扩大 agent RL”与过去单纯增加训练 token 不完全是一回事。预训练的数据已经存在于存储系统里，主要问题是把 token 高效送入 GPU；agent RL 的数据需要实时制造。每条轨迹背后可能还要启动 Linux 环境、安装依赖、执行程序、访问网页、等待测试并计算 reward。训练集群因此同时变成了一个超大规模的软件执行平台。

Reflection 对训练环境质量的描述也值得留意。团队先从真实或合成任务建立候选池，再过滤过于简单、几乎不可能完成、条件不充分、可以猜答案或能够 exploit verifier 的任务；然后实际运行 RL，根据训练结果继续找出奖励漏洞和难度问题，再重新整理环境。公司称，环境质量下降时模型能力很快出现 plateau，而改善任务质量后训练收益又继续增长。Reflection AI

这与近两年可验证强化学习的经验相符：算力只有在 reward 真正对应目标能力时才有价值。如果模型发现“通过测试”比“解决问题”更容易的捷径，大规模 RL 只会更高效地强化捷径。Beam 的系统因此还保存逐 token 记录，用独立 judge 重新检查已经通过的解答是否利用 verifier 漏洞，并让训练轨迹能够 replay。Reflection 没有公开足够材料让外界判断这套检查最终过滤掉多少 reward hacking，目前能确认的是它把 reward integrity 当成了训练基础设施的一部分。

Beam 还有一个与推理成本直接相关的训练设计。Reflection 给成功解答增加可控的长度惩罚，希望模型不要为了得到更高分无限延长 reasoning。其训练曲线呈现两个阶段：早期模型能力上升的同时输出反而缩短，说明它学会用更少 token 完成已有任务；随后随着更复杂的 agent 能力出现，高 reasoning effort 下的输出重新变长，并带来进一步性能提升。产品侧因此提供 reasoning effort 参数，让用户在推理长度与能力之间选择。

公司由此声称 Beam 在若干高级推理任务上达到与 GLM-5.2 相近的水平，但所需 inference compute 低约 3—4 倍。这个数字需要非常谨慎地理解。Reflection 的计算方法大致使用 2 × 激活参数量 × 平均生成 token 数 估算 FLOPs；它没有计入 prompt prefill、随上下文变化的 attention 开销和真实 serving overhead，因此描述的是近似生成计算量，并不是数据中心实际测得的单请求成本。Reflection AI

模型成绩本身也呈现出相当清楚的边界。在 Reflection 公布的结果中，Beam 在 SWE-Bench Verified 得到 80.9，Terminal-Bench 2.1 为 80.1；后者略低于 GLM-5.2 的 81.0，也明显低于公司列出的 GLM-5.3、Kimi K3、Qwen3.8-Max 和 DeepSeek V4.1 Flash。工具调用方面，Beam 在 MCP Atlas 得到 78.7，在 τ3 banking 得到 38.0；Qwen3.8-Max 在相应表格中的成绩分别为 84.5 和 55.2。Reflection 自己也把 Beam 描述为接近而非全面超过当前最强中国开放模型。Reflection AI

这些都是厂商自报结果，而且 Beam 的权重和完整评测材料尚未开放，今天无法进行独立验证。Reuters 对发布的报道同样把与 GLM-5.2、Qwen3.8-Max 的比较归属于 Reflection 自己的说法。Reuters

Beam 更有认识价值的部分因此暂时不在排行榜位置，而在训练路线。过去一年，开放模型越来越证明高质量预训练可以复制；Beam 展示的是下一层门槛：如果目标是 coding 和 agent，后训练本身可能逐渐变成由数十万并发环境、实时 sandbox、异步模型更新、reward 验证和巨量推理算力共同组成的分布式系统工程。

这也使“开放权重”的含义发生一点变化。Reflection 本月可以把 501B 权重、推理代码和 fine-tuning stack 开出来，但复制这次训练仍需要 10,500 张 GB300、上亿条 rollout 和近百万个经过筛选的环境。权重可以开放，制造这些权重所依赖的后训练工厂仍然非常昂贵。Beam 最终的外部价值，要等权重真正发布后，看社区能否在不同硬件和 harness 上复现其能力与效率；但从今天公开的材料看，它已经提供了一个相当具体的样本，说明前沿 agent 模型的训练成本正在从“训练一个大模型”扩展成“长期运行一个巨大的交互式计算系统”。

1 / 4

LongBench v2：长上下文窗口怎样转化为可以检验的理解能力

把几份报告、整本手册或一个代码仓库放进模型的输入，随后问一个问题，是长上下文模型常见的使用方式。问题的难度却不由材料长度单独决定。找到报告中明确写出的一项数字，与结合多个章节判断一项解释是否成立，需要的处理过程不同。即使模型能够接收全部文字，也仍可能遗漏关键条件、混淆不同对象，或把几段分别正确的信息组合成错误结论。

LongBench v2 将后一类问题作为主要测量对象。它包含 503 道四选一题，覆盖单文档问答、多文档问答、长上下文学习、长对话历史理解、代码仓库理解和长结构化数据理解。材料长度从约八千到两百万词，大多数低于十二万八千词。这里的单位是词，不能直接拿来与产品标注的 token 窗口等同；不同文本和分词器的转换比例会变化。该项目于 2024 年发布，论文收入 ACL 2025，本期介绍其设计方法，不把它作为本周的新发布。官方数据集说明；论文出版信息

先用一个教学假设例子说明任务差别。假设材料由一家虚构公司的三年报告组成，题目问：“哪项解释最符合公司收入增加而经营现金流下降的原因？”四个选项分别提出销量增加、应收账款增加、折旧变化和借款增加。模型需要把收入、现金流和相关附注联系起来，排除仅能解释其中一项变化的选项。这个例子并非数据集真实样本，也不预设任何实际公司的财务结论；它说明的是，答案可能来自几处信息之间的关系，不能靠搜索题目里的一个词就直接抄出。

同样长度的材料，还可以设计成另一道题：“报告中的经营现金流是多少？”这时找到对应表格便可能完成任务。两道题都依赖长材料，但第一道同时需要定位、关联和判断，第二道主要需要定位。因此，一项长上下文测试的高分，能说明哪些能力，首先取决于它要求模型对材料做什么。输入很长只确定了处理条件，尚未确定测量对象。

2 / 4

四选一让评分明确，也缩小了成功的定义

LongBench v2 的公开数据格式包含上下文、问题、四个选项、正确答案，以及任务类别、难度和长度等信息。标准运行方式把材料与问题放入提示词，让模型选择答案；数据字段中的正确答案用于核对结果，不是提供给模型的解题线索。全部测试材料采用英文，因而成绩也不能直接代表模型处理中文长材料的表现。官方数据与运行说明；数据集语言信息

这种选择题形式带来一个实际优点：判分可以落在明确的选项一致性上。无需判断两段自由回答是否只是措辞不同，也不必另请一个模型对每段解释打分。不过，它测量的是“在给定候选答案中识别正确选项”。现实使用中，模型往往还要自己提出结论、组织证据、表达保留条件；这些要求没有全部包含在选对字母这件事里。

仍以前面的教学例子说明。模型可以凭三个选项明显不合理而选出剩下的一项，也可能经过完整证据核对后得到同一选项。两种过程在最终准确率上得到相同奖励。反过来，模型可能形成合理解释，却没有按照要求输出可解析的答案，导致评分失败。选择题减少了某些判分歧义，同时保留了候选项提示和输出格式的影响。

公开预测脚本会从回答中提取 A 至 D，再与标准答案比较；无法提取到符合格式的答案时，提取结果为空，也不会匹配正确选项。因此，检查低分轨迹时，要区分模型选错、模型没有完成回答，以及答案表达未被解析这几种情况。它们对改进系统的意义不同。答案提取与核对代码

3 / 4

难题是筛选出来的，人类基线也带着时间条件

这套数据不是从日常问题中随意抽样。作者要求出题者提供材料、选项、答案与支持证据，并经过模型和人工审核；三个审核模型都能答对的题会被要求提高难度，人类审核者能够在三分钟内正确解决的题也会被视为过于容易。人工审核同时检查答案是否客观、材料是否必要。这样的流程有助于建立有挑战性的题集，但也意味着题目分布受到筛选规则影响。论文的数据构造部分

由此可以作出一个方法层面的判断：这套分数适合观察系统面对经过挑选的困难材料问题时表现怎样，不能直接解释为普通文档问答的平均成功率。假设一个系统在这里只答对一半，也不能据此说它在所有长文档任务中都会失败一半；反之，困难题上的高分也无法保证它处理日常材料时不会漏掉简单而关键的信息。

论文报告的人类准确率为 53.7%，但参与者受到十五分钟的作答条件约束，超过该时长可以回答不知道。这是限定时间下的基线，不是人类充分阅读、讨论和复核之后所能达到的上限。把模型成绩与它比较时，必须保留这项条件。论文的人类审核与基线说明

这个差别也影响“超过人类”的解释。如果一位读者可以花一小时查看材料，而模型采用不同的计算预算，那么比较讨论的是各自条件下的表现。它既没有证明模型在所有文档理解上优于人类，也没有证明延长人类阅读时间一定能解决全部问题。实验提供了一组明确观察，扩大结论需要另外的证据。

4 / 4

截断、检索和推理预算，会改变模型实际接受的考试

长材料评测中容易被忽视的一步，是输入进入模型之前怎样被处理。公开脚本按配置中的最大长度检查提示词；超出时，保留开头和结尾，删除中间部分。因此，数据集包含一篇完整文档，不等于每次运行的模型都看到了完整文档。输入截断代码

考虑一个教学假设：模型甲允许更长输入，读到了全部材料；模型乙受到较短限制，恰好丢掉了中间的关键例外条款。乙答错时，我们观察到的是“乙加上这种输入处理方式”没有完成任务。若要进一步判断乙是否缺乏理解这条款的能力，还需要在保留相关证据的条件下测试。窗口限制当然是系统能力的一部分，但证据缺失和证据已在输入中却未被正确使用，值得分别解释。

官方运行方式还支持检索输入和无上下文输入。检索方式把选中的材料片段交给模型，改变了它需要读取的范围；无上下文方式则可以观察模型仅凭问题和选项能做到什么。这些条件有助于分析，但成绩不能互相替代。官方运行参数说明

例如，检索系统只找到收入表，漏掉解释现金流变化的附注，下游模型便可能没有足够证据。若换一个检索器后答对了，提升可能来自材料选择，而非回答模型发生变化。完整上下文系统和检索系统可以在同一题集上比较总体效果；要归因到哪一个组件，则需进一步检查模型实际收到的内容。

推理方式也会变化。官方榜单区分直接回答与使用思维链的结果，并分别列出不同难度和长度分组。因而引用一项成绩时，“哪个模型”还不足够，还要明确采用了哪种回答方式。允许额外生成和再次组织答案，意味着运行过程与成本发生了变化。官方榜单的分组与推理条件

这里还有一个常见解释陷阱：某模型在长题组低于短题组，并不能单凭两个数字证明“长度增加导致了这部分下降”。不同长度组同时可能包含不同领域、题型和难度。若想单独测量长度影响，更合适的实验是尽量固定问题与必要证据，改变无关材料量或证据位置；而按长度分组的榜单首先提供的是不同题目集合上的描述性结果。

LongBench v2 的价值，在于把“理解长材料”落实为具体任务，并让输入处理、回答方式和判分结果可以检查。它的准确率支持对指定题集、指定运行条件下的选择题表现作判断。要进一步解释模型能否完整阅读一份报告、能否给出可信证据，或能否稳定处理某类实际材料，还需要查看错误轨迹，并补上相应任务的评测。长窗口、正确选项和可靠的长材料工作表现之间，有可以逐步验证的联系，但不能省略中间条件。