NLP——技术报告解读-Kimi-K2

注：本文包含 AI 辅助创作

参考链接：
- 原始论文：Kimi K2: Open Agentic Intelligence, Moonshot AI (Kimi), 20250728

Paper Summary

Kimi K2 是截止到其发表时最强大的开源大语言模型 ，基于 MoE 架构（1T-A32B）(没看错，是1万亿！)
- 注：截止到发布，效果也是开源中最顶尖的
- 强调 Agentic 能力
论文同时还提出了 MuonClip 优化器（Muon + 新引入的 QK-clip 技术），解决了训练不稳定的问题，同时保留了 Muon 的高效 Token 利用率
- 亮点：基于 MuonClip，K2 在 15.5T Token 的预训练过程中实现了零损失峰值
后训练过程包含多个阶段
- 重点：包括大规模的具身数据合成流程和联合 RL 阶段，模型通过与真实和合成环境的交互进一步提升能力
特别地：Moonshot AI 团队公开了基模型和后训练模型的检查点 ，使社区能够探索、改进和规模化部署 Agentic 智能，以促进 Agentic 智能的未来研究和应用

Introduction and Discussion

LLM 的发展正在经历一场深刻的范式转变（即朝着 Agentic 智能（Agentic Intelligence） 的方向演进）
- Agentic 智能是指模型能够在复杂动态环境中自主感知、规划、推理和行动（autonomously perceive, plan, reason, and act）
  - 注：Agentic 智能不是具身智能（Embodied Intelligence），但这里的定义与具身智能很相似？
- 这一转变标志着模型从静态模仿学习转向通过交互主动学习 ，使其能够超越训练数据的限制，and adapt behavior through experiences (2025)
- 目前普遍认为，这种方法可以让 AI 智能体突破静态人类生成数据的局限，通过自身的探索和利用获得超人类能力
- Agentic 智能正迅速成为下一代基础模型的核心能力，对工具使用、软件开发和现实世界自主性等领域具有广泛影响
实现 Agentic 智能在预训练和后训练阶段均面临挑战
- 预训练需要在高质量数据有限的约束下，为模型赋予广泛的通用先验知识 ，因此 Token Efficiency（learning signal per Token，即每个 Token 对模型性能提升的贡献）成为关键扩展系数
- 后训练需要将这些先验知识转化为可操作的行为，但多步推理、长期规划和工具使用等具身能力在自然数据中罕见且难以扩展
  - 所以结构化、高质量具身轨迹的可扩展合成，结合能够整合偏好和自我批评的通用强化学习技术，是弥合这一差距的关键
论文介绍了 Kimi K2，专为解决核心挑战并推动具身能力边界而设计。论文的贡献涵盖预训练和后训练的前沿领域：
- MuonClip ：一种新颖的优化器，将高效的 Muon 算法与增强稳定性的 QK-Clip 机制相结合
  - 使用 MuonClip 在 15.5T Token 上预训练了 Kimi K2，未出现任何损失峰值
  - 注：裁剪的 Idea 在之前的文献中就出现过，GPipe 论文中也是用了在 Softmax 操作前进行 Clip 的方案，缓解较深的网络容易出现尖锐激活（sharp activations）的问题
- 大规模具身数据合成流程（a large-scale agentic data synthesis pipeline） ：通过模拟和真实环境系统性地生成工具使用示范
  - 该系统构建了多样化的工具、智能体、任务和轨迹，以规模化生成高保真且可验证正确的具身交互数据
- 通用强化学习框架（a general reinforcement learning framework） ：结合 RLVR 和自我批评评分奖励机制（self-critique rubric reward mechanism）
  - 模型不仅从外部定义的任务中学习，还通过评估自身输出来扩展对齐能力，从静态领域延伸到开放领域
Kimi K2 在广泛的具身和前沿基准测试中表现出色：
- Agentic 智能方面，超越了大多数开源和闭源基线模型（非思考设定下），缩小了与 Claude 4 Opus 和 Sonnet 的差距：
  - 在 Tau2-Bench 上得分为 66.1，在 ACEBench（英文版）上得分为 76.5
  - 在 SWE-Bench Verified 上得分为 65.8
  - 在 SWE-Bench Multilingual 上得分为 47.3
- 编码、数学和推理任务中表现优异，进一步凸显了其在通用任务中的能力
  - 在 LiveCodeBench v6 上得分为 53.7
  - 在 AIME 2025 上得分为 49.5
  - 在 GPQA-Diamond 上得分为 75.1
  - 在 OJBench 上得分为 27.1
在 LMSYS Arena 排行榜（20250717）中，基于 3,000+ user votes，Kimi K2 位列开源模型第一名和总排名第五名

Pre-training

Kimi K2 的基础模型是一个拥有 1T 参数的 MoE Transformer 模型 (2017)，预训练数据规模为 15.5T 高质量 Token
最大化 Token Efficiency ：高质量人类数据的可用性日益受限，Token Efficiency 正成为 LLM 扩展的关键系数，论文引入了一系列专门设计的预训练技术，旨在最大化 Token Efficiency
- 论文采用了 token-efficient Muon 优化器 (2024) 并通过 QK-Clip 技术缓解其训练不稳定性
- 论文还结合了合成数据生成技术，以进一步从有限的高质量 Token 中提取更多智能信号
K2 模型架构采用超稀疏 MoE 设计 ，配备多头潜在注意力（Multi-head Latent Attention, MLA）机制（类似于 DeepSeek-V3 (2024)）
- 其设计基于经验性的扩展定律分析
AI Infra：底层基础设施的构建同时优化了训练效率和研发效率

MuonClip：通过权重裁剪实现稳定训练（MuonClip: Stable Training with Weight Clipping）

Kimi K2 训练使用 token-efficient Muon 优化器 (2024)，并结合了权重衰减（weight decay）和一致的更新 RMS 缩放技术 (consistent update RMS scaling）（2025)
- 注：这里的 consistent update RMS scaling 是指在分布式训练过程中，更新 RMS 时，通过节点间通信同步数据，确保更新的缩放因子在所有设备上完全一致
在论文先前的工作 Moonlight (2025) 中的实验表明，在相同的计算预算和模型规模（即相同的训练数据量）下，Muon 显著优于 AdamW (2015, 2019) ，因此成为提升大语言模型训练 Token Efficiency 的有效选择

Training instability when scaling Muon

作者发现在扩展训练规模时，由于注意力 logits 爆炸导致的训练不稳定性
- 这一问题在 Muon 训练中更为常见，而在 AdamW 中较少出现
现有的缓解策略效果有限：
- logit soft cap (2024) 直接裁剪注意力 logits，但在裁剪应用之前， Query 和 Key 的点积仍可能过度增长
- Query-Key Normalization（QK-Norm）(2023) 不适用于多头潜在注意力（MLA），因为其 Key 矩阵在推理时并未完全实例化

Taming Muon with QK-Clip（通过 QK-Clip 驯服 Muon）

为了解决上述问题，论文提出了权重裁剪机制 QK-Clip（可显式约束注意力 logits）
QK-Clip 的工作原理是在更新后重新缩放 Query 和 Key 的投影权重 ，以限制注意力 logits 的增长
设 Transformer 层的输入表示为 $\mathbf{X}$。对于每个注意力头 $h$，其 Query、Key 和 Value 投影计算如下：
$$
\mathbf{Q}^{h} = \mathbf{X}\mathbf{W}_{q}^{h}, \quad \mathbf{K}^{h} = \mathbf{X}\mathbf{W}_{k}^{h}, \quad \mathbf{V}^{h} = \mathbf{X}\mathbf{W}_{v}^{h},
$$
- 其中 $\mathbf{W}_{q}, \mathbf{W}_{k}, \mathbf{W}_{v}$ 是模型参数
- 注意力输出为：
  $$
  \mathbf{O}^{h} = \text{softmax}\left(\frac{1}{\sqrt{d} }\mathbf{Q}^{h}\mathbf{K}^{h^{\top} }\right)\mathbf{V}^{h}.
  $$
论文定义最大 logit（每头标量）为该批次 $B$ 中 softmax 输入的最大值：
$$
S_{\text{max} }^{h} = \frac{1}{\sqrt{d} }\max_{\mathbf{X}\in B}\max_{i,j}\mathbf{Q}_{i}^{h}\mathbf{K}_{j}^{h^{\top} },
$$
- 其中 $i,j$ 是训练样本 $\mathbf{X}$ 中不同 Token 的索引
QK-Clip 的核心思想是当 $S_{\text{max} }^{h}$ 超过目标阈值 $\tau$ 时，重新缩放 $\mathbf{W}_{k}$ 和 $\mathbf{W}_{q}$
- 特别说明：这一操作不会改变当前步骤的前向/反向计算（使用最大 logit 作为指导信号来控制权重的增长强度）
一种简单的实现是对所有头同时裁剪：
$$
\mathbf{W}_{q}^{h} \leftarrow \gamma^{\alpha}\mathbf{W}_{q}^{h}, \quad \mathbf{W}_{k}^{h} \leftarrow \gamma^{1-\alpha}\mathbf{W}_{k}^{h},
$$
- 其中 $\gamma = \min(1, \tau/S_{\text{max} })$，$S_{\text{max} } = \max_{h}S_{\text{max} }^{h}$，$\alpha$ 是平衡参数，通常设为 0.5，表示对 Query 和 Key 应用相同的缩放比例
- 问题：为什么 Query 和 Key 要分别设计成 $\gamma^{\alpha}$ 和 $\gamma^{1-\alpha}$ 呢？
  - 回答：因为目标是让 Query 和 Key 的乘积缩小为 $\gamma$ 倍，而 $\gamma^{\alpha} * \gamma^{1-\alpha} = \gamma$
但论文的实现是分不同头分别放缩的
- 原因：论文观察到在实践中，只有一小部分头会出现 logits 爆炸，为了最小化对模型训练的干预，论文为每个头确定一个独立的缩放因子，并选择对每个头单独应用 QK-Clip
  $$ \gamma_{h} = \min(1, \tau/S_{\text{max} }^{h}) $$
- 这种裁剪对于常规的多头注意力（Multi-head Attention, MHA）是直接的
- 对于 MLA，论文仅对非共享的注意力头组件进行裁剪：
  - $\mathbf{q}^{C}$ 和 $\mathbf{k}^{C}$（head-specific components）：分别缩放 $\sqrt{\gamma_{h} }$；
  - $\mathbf{q}^{R}$（head-specific rotary）：缩放 $\gamma_{h}$；
  - $\mathbf{k}^{R}$（shared rotary）：保持不变以避免跨头影响

MuonClip: The New Optimizer

作者将 Muon + 权重衰减 + 一致的 RMS 匹配（consistent RMS matching） + QK-Clip 整合为一个优化器，称为 MuonClip（参见算法 1）
论文从多项扩展实验中验证了 MuonClip 的有效性：
- 第一步：论文使用原始 Muon 训练了一个中等规模的模型（激活参数 9B，总参数 53B）
  - 如图 2（左）所示，最大注意力 logits 迅速超过 1000，表明在这一规模下 Muon 训练中已经出现了明显的注意力 logits 爆炸现象
  - 这一水平的最大 logits 通常会导致训练不稳定，包括显著的损失尖峰（loss spike）且偶尔导致发散（divergence）
- 第二步：论文证明了 QK-Clip 不会降低模型性能，并确认 MuonClip 优化器保留了 Muon 的优化特性，且不会对损失轨迹产生负面影响
  - 实验设计和发现的详细讨论见附录 D
- 第三步：论文使用 MuonClip（$\tau = 100$）训练了 Kimi K2 这一大规模 MoE 模型，并在整个训练过程中监控最大注意力 logits（图 2（右））
  - 初始阶段，由于 QK-Clip 的作用，logits 被限制在 100 以内
  - 随着训练的进行，最大 logits 逐渐衰减至不出所料的操作范围（typical operating rang），无需调整 $\tau$
  - 重点：训练损失保持平滑稳定，未出现可观测的尖峰（如图 3 所示），验证了 MuonClip 在大规模语言模型训练中对注意力动态的稳健且可扩展的控制能力

Pre-training Data: Improving Token Utility with Rephrasing

预训练中的 Token Efficiency 是指训练过程中每个消耗的 Token 对模型性能提升的贡献程度
提升 Token Utility（即每个 Token 提供的有效学习信号）可以直接改善 Token Efficiency（尤其是在高质量 Token 供应有限的情况下）
一种简单提升 Token Utility 的方法是重复 exposure 相同的 Token，但这可能导致过拟合并降低泛化能力
Kimi K2 预训练数据相较于 Kimi K1.5 的一个关键进步是引入了合成数据生成策略以提升 Token Utility
- 论文采用了一种精心设计的重述流水线（Rephrasing Pipeline），在不引发显著过拟合的情况下扩增高质量 Token 的数量
- 本报告描述了两类针对特定领域（分别为知识领域和数学领域）的重述（Rephrasing）技术，实现了这种受控的数据增强

Knowledge Data Rephrasing

在自然、知识密集型文本上的预训练面临一个权衡：单轮训练不足以实现全面的知识吸收，而多轮重复则会导致收益递减并增加过拟合风险
为了提升高质量知识 Token 的效用，论文提出了一个合成重述框架，包含以下关键组件：
- 风格和视角多样化的提示（Style- and perspective-diverse promptin） ：为了在保持事实完整性的同时增强语言多样性 ，论文应用了一系列精心设计的提示
  - 这些提示指导 LLM 以多样化的风格和视角生成对原文的忠实重述
- 分块自回归生成（Chunk-wise autoregressive generation） ：为了保留长文档的全局连贯性并避免信息丢失 ，论文采用了基于分块的自回归重写策略
  - 文本被分割为多个段落，分别重述后再拼接为完整的篇章
  - 这种方法缓解了 LLM 通常存在的隐式输出长度限制
  - 该流水线的概述如图 4 所示
- 保真度验证（Fidelity verification） ：为了确保原始内容与重述内容的一致性 ，论文对每段重述内容进行语义对齐检查 ，作为训练前的初步质量控制步骤
论文通过测试 SimpleQA 的准确率，比较了数据重述与多轮重复的效果
- 实验使用 K2 的早期检查点，评估了三种训练策略：
  - (1) 原始数据集重复 10 轮；
  - (2) 数据重述一次后重复 10 轮；
  - (3) 数据重述 10 次后单轮训练
- 如表 1 所示，准确率在这些策略中持续提升，证明了基于重述的增强方法的有效性
- 论文将此方法扩展到其他大规模知识语料库，并观察到类似的积极结果，每个语料库最多重述两次

Mathematics Data Rephrasing

为了增强数学推理能力，论文遵循 SwallowMath (2025) 引入的方法，将高质量的数学文档重写为“学习笔记（learning-note）”风格
作者还通过将其他语言的高质量数学材料翻译为英语，进一步提升了数据的多样性
对数据子集的初步重述实验显示了有希望的结果，但将合成数据作为持续扩展的策略仍是一个活跃的研究领域，关键挑战包括：
- 在不损害事实准确性的情况下将该方法推广到多样化的源领域
- 最小化幻觉和意外的毒性
- 确保其在大规模数据集上的可扩展性

Pre-training Data Overall

Kimi K2 的预训练语料库包含 15.5T 亿 Token 的精选高质量数据，涵盖四个主要领域：网络文本、代码、数学和知识（Web Text, Code, Mathematics, and Knowledge）
大多数数据处理流水线遵循 Kimi K1.5 (2025) 中概述的方法
- TODO：待补充
对于每个领域，论文进行了严格的正确性和质量验证 ，并设计了针对性的数据实验，以确保最终数据集兼具高多样性和高效性

Model Architecture

Kimi K2 是一个拥有 1.04T 参数的 MoE Transformer 模型，激活参数为 32B
- 架构设计与 DeepSeek-V3 (2024) 类似，采用多头潜在注意力（MLA）(2024) 作为注意力机制
- 模型隐藏维度为 7168，MoE 专家隐藏维度为 2048
- 专家数 384，激活专家数 8
  - 论文的扩展定律分析表明，持续增加稀疏性可以显著提升性能 ，这促使论文将专家数量增加到 384（DeepSeek-V3 为 256）
- 注意力头数为 64
  - 为了减少推理时的计算开销，论文将注意力头数削减至 64（DeepSeek-V3 为 128）
- 表 2 详细对比了 Kimi K2 与 DeepSeek-V3 的架构参数

Sparsity Scaling Law

论文为 MoE 模型家族开发了一条基于 Muon 的稀疏性扩展定律
稀疏性定义为专家总数与激活专家数的比值
通过精心控制的小规模实验，论文观察到：在固定激活参数数量（即恒定 FLOPs）的情况下，增加专家总数（即提高稀疏性）能够持续降低训练和验证损失，从而提升整体模型性能（图 5）
- 在计算最优的稀疏性扩展定律下，要达到相同的验证损失 1.5，稀疏性 48 相比稀疏性 8、16 和 32 分别减少了 1.69 倍、1.39 倍和 1.15 倍的 FLOPs
- 尽管增加稀疏性会带来性能提升，但这一增益伴随着基础设施复杂度的上升
- 为了平衡模型性能与成本，论文为 Kimi K2 选择了稀疏性 48，即每次前向传播激活 384 个专家中的 8 个
问题：为什么图 5 中显示，对于相同的稀疏性，随着训练 FLOPs 的增大，Loss 是先降低后上升的？
- 补充问题：图 5 是在固定激活参数数量（即恒定 FLOPs）的情况下得到的，增大训练的 FLOPs，本质是在修改哪个参数导致的 FLOPs 增加而激活函数数量不变呢？

Number of Attention Heads

DeepSeek-V3 (2024) 将注意力头数设置为模型层数的约两倍 ，以更好地利用内存带宽并提升计算效率
但是，随着上下文长度的增加，双倍注意力头数（即头数是层数的两倍）会导致显著的推理开销，降低长序列处理的效率
- 因为 Softmax 等操作是每个头都需要做一份的，整体复杂度为 $O(n^2h)$（$n$是序列长度）；此外，太大的头会导致太小的 Attention Embedding 维度，从而不利于显存分块存储和读取？
由于代理应用（agentic applications）中常常涉及长上下文处理，所以长序列处理的低效已经成为一个主要限制，下面给出一个例子和实验：
- 在序列长度为 128k 时，将注意力头数从 64 增加到 128（同时保持专家总数 384 不变）会导致推理 FLOPs 增加 83%
- 论文进行了对照实验，比较了在相同 Token 训练条件下，注意力头数等于层数与双倍头数的配置在不同计算预算下的表现
- 结果显示：双倍注意力头数仅带来验证损失的微小改善（约 0.5% 至 1.2%）（图 6）
- 鉴于稀疏性 48（sparsity 48）已经提供了强劲的性能，双倍注意力头数带来的边际增益无法证明其推理成本的合理性，因此论文选择 64 个注意力头
  - 问题：sparsity 48 是什么？
  - 回答：是上一小节提到的概念，sparsity = 总头数 / 激活头数
    
    Sparsity is defined as the ratio of the total number of experts to the number of activated experts
- 问题：为什么图 6 中显示，对于相同的 FLOPs，随着训练 Token 的增大，Loss 是先降低后上升的？
  - 补充问题：是因为训练 Token 提升时，为了保证 FLOPs 不变，需要减少模型参数吗？具体减少的是什么参数呢？

Training Infrastructure

Compute Cluster

Kimi K2 在配备 NVIDIA H800 GPU 的集群上进行训练
每个 H800 集群节点包含 2TB RAM 和 8 个通过 NVLink 和 NVSwitch 连接的 GPU
- NVSwitch 是什么？
节点间通过 8 条 400 Gbps RoCE 互连实现通信

Parallelism for Model Scaling

LLM 的训练通常在动态资源可用性的情况下进行
论文采用了一种灵活的策略，使得 Kimi K2 可以在任意 32 的整数倍节点数上训练
论文的策略结合了 16 路流水线并行（Pipeline Parallelism, PP）与 Virtual Stages (2023;)、16 路专家并行（Expert Parallelism, EP）(2020) 以及 ZeRO-1 数据并行 (2020)
- 问题：Virtual Stages 是什么？
在此设置下
- 以 BF16 存储模型参数并以 FP32 存储梯度累积缓冲区，大约需要 6TB 的 GPU 内存，分布在 256 个 GPU 的模型并行组中
- 优化器状态的放置取决于训练配置
  - 当训练节点总数较大时，优化器状态被分布式存储，从而将每个设备的存储占用降至可忽略的水平
  - 当训练节点总数较小（例如 32）时，可以将部分优化器状态卸载到 CPU
这种方法允许论文在小规模和大规模实验中复用相同的并行配置，同时让每个 GPU 保留约 30 GB 的 GPU 内存用于存储所有状态
- 剩余的 GPU 内存用于存储激活值，如第 2.4.3 节所述
这种一致的设计提高了研发效率（简化了系统并显著加快了实验迭代速度）
EP 通信与交错 IF1B 的重叠（EP communication overlap with interleaved 1F1B）
- 通过增加预热微批次的数量，我们可以在标准的交错 IF1B 调度 (2023, 2023) 下将 EP 的 all-to-all 通信与计算重叠
  - 相比之下，DualPipe (2024) 会使参数和梯度的内存需求翻倍，需要通过增加并行度来补偿
  - 增加 PP 会引入更多气泡，而增加 EP（如下所述）会带来更高的开销
  - 这些额外成本对于训练一个拥有超过 1T 参数的大型模型来说过高，因此论文选择不使用 DualPipe
  - 问题：1F1B 调度是什么？
- 但交错 IF1B 将模型分割为更多阶段，引入了显著的 PP 通信开销
  - 为了缓解这一成本，论文将权重梯度计算从每个微批次的反向传播中解耦，并将其与相应的 PP 通信并行执行
  - 因此，除了预热阶段外，所有 PP 通信都可以有效重叠
更小的 EP 规模（Smaller EP size）
- 为了确保在 IF1B 阶段实现完全的计算-通信重叠，K2 中减少的注意力计算时间（与 DeepSeek-V3 的 128 头相比，K2 为 64 头）需要最小化 EP 操作的时间
- 这是通过采用最小的可行 EP 并行化策略（具体为 EP = 16）实现的
- 使用更小的 EP 组还放宽了专家平衡约束，无需进一步调优即可实现接近最优的速度

Activation Reduction

在保留参数、梯度缓冲区和优化器状态的空间后，每个设备上剩余的 GPU 内存不足以保存完整的 MoE 激活值
为了确保激活内存适应约束条件，特别是对于在 IF1B 预热阶段累积最大激活值的初始流水线阶段，论文采用了以下技术
选择性重计算（Selective recomputation）
- 重计算应用于成本低但占用空间大的阶段，包括 LayerNorm、SwiGLU 和 MLA 上投影 (2024)
- 此外，MoE 下投影在训练期间被重计算以进一步减少激活内存（可选的）
  - 这种重计算保持了足够的 GPU 内存，防止了早期训练阶段因专家不平衡导致的崩溃
对不敏感激活值的 FP8 存储（FP8 storage for insensitive activations）
- MoE 上投影和 SwiGLU 的输入被压缩为 FP8-E4M3，以 1×128 块为单位，并带有 FP32 缩放因子
- 小规模实验显示没有可测量的损失增加
- 由于在初步研究中观察到的性能下降风险，论文没有在计算中应用 FP8
激活值 CPU 卸载（Activation CPU offload）
- 所有剩余的激活值被卸载到 CPU RAM
- 一个复制引擎负责流式传输卸载和加载，与计算和通信内核重叠
- 在 IF1B 阶段，论文在预取下一个微批次的反向激活值的同时卸载前一个微批次的前向激活值
- 预热和冷却阶段的处理方式类似，整体模式如图 7 所示
- 尽管卸载可能因 PCIe 流量拥塞略微影响 EP 通信，但论文的测试表明 EP 通信仍能完全重叠

Training recipe

论文使用 MuonClip 优化器（算法 2）和 WSD 学习率调度 (2024) 对模型进行了预训练，上下文窗口为 4096 Token，共处理了 15.5T Token
前 10T Token 以恒定学习率 2e-4 训练（500 步预热），随后 5.5T Token 以从 2e-4 到 2e-5 的余弦衰减学习率训练
权重衰减始终设置为 0.1，全局批次大小保持在 67M Token
整体训练曲线如图 3 所示
在预训练接近结束时，论文进行了退火阶段，随后是长上下文激活阶段
- 批次大小保持在 67M Token，学习率从 2e-5 衰减至 7e-6
- 在此阶段，模型在 400B Token 上以 4k 序列长度训练，随后在 60B Token 上以 32k 序列长度训练
- 论文采用了 YaRN 方法 (2023) 将上下文窗口扩展到 128k

Post-training

SFT

在后训练阶段，论文采用 Muon 优化器（2015）并推荐将其用于 K2 的微调
- 这一选择基于论文先前工作（2025）的结论：使用 Muon 预训练的检查点在 Muon 微调下表现最佳
论文构建了一个涵盖多样化领域的大规模指令微调数据集，其设计遵循两大核心原则 ：最大化提示多样性（prompt diversity）和确保高质量响应
- 论文开发了一套针对不同任务领域的数据生成流程，每个流程结合了人工标注、提示工程和验证过程
- 论文采用 K1.5（2025）和其他内部领域专家模型为各类任务生成候选响应，随后通过 LLM 或人工评审进行自动化质量评估与过滤
- 对于智能体（agentic）数据，论文创建了一个数据合成流程，通过多步骤交互式推理教授模型工具使用能力

Large-Scale Agentic Data Synthesis for Tool Use Learning

现代 LLM 智能体的一项关键能力是自主使用陌生工具、与外部环境交互，并通过推理、执行和纠错迭代优化其行为
- 智能体工具使用能力对于解决需要与现实系统动态交互的复杂多步骤任务至关重要
近期基准测试如
- ACEBench（2025）和 $\tau$-bench（2025）强调了全面评估工具使用的重要性
- ToolLLM（2023）和 ACEBench（2025）等框架展示了让模型有效使用数千种工具的潜力
但大规模训练此类能力面临显著挑战：尽管真实环境提供丰富且真实的交互信号，但由于成本、复杂性、隐私和可访问性限制，通常难以大规模构建
- 近期合成数据生成的研究（AgentInstruct 2024；Self-Instruct 2022；StableToolBench 2025；ZeroSearch 2025）在不依赖真实交互的情况下创建大规模数据已取得成果
- 基于这些进展并受 ACEBench（2025）综合数据合成框架的启发，论文开发了一个流程，可大规模模拟真实世界工具使用场景，生成数万种多样且高质量的训练样本
论文的数据合成流程包含三个阶段（如图 8 所示）：
- 第一步：工具规范生成（Tool spec generation） ：从真实工具和 LLM 合成工具中构建大型工具库；
- 第二步：智能体与任务生成（Agent and task generation） ：从工具库中采样工具，并为每组工具生成一个使用该工具集的智能体及其对应任务；
- 第三步：轨迹生成（Trajectory generation） ：为每个智能体和任务生成轨迹，其中智能体通过调用工具完成任务
领域演化与工具生成（Domain Evolution and Tool Generation） ：论文通过两种互补方法构建全面的工具库
- 第一步：直接从 GitHub 仓库获取 3000+ 真实 MCP（Model Context Protocol）工具，利用现有高质量工具规范
- 第二步：通过分层领域生成过程，系统地演化（2025）合成工具：
  - 从关键类别（如金融交易、软件应用、机器人控制）开始
  - 在每个类别内演化多个具体应用领域
  - 随后为每个领域合成专用工具，明确接口、描述和操作语义
  - 此过程生成超过 20,000 种合成工具
- 图 9 通过 t-SNE 嵌入可视化工具集的多样性，显示 MCP 和合成工具覆盖了工具空间的互补区域
智能体多样化（Agent Diversification）
- 通过合成多样化系统提示并为智能体配备工具库中的不同工具组合，论文生成数千种独特智能体
- 这创造了能力、专业领域和行为模式各异的智能体群体，确保广泛覆盖潜在用例
基于准则的任务生成（Rubric-Based Task Generation）
- 为每种智能体配置生成从简单到复杂操作的任务
- 每个任务配有明确准则，指定成功标准、预期工具使用模式及评估检查点
- 这种基于准则的方法确保对智能体性能的一致且客观的评估
多轮次轨迹生成（Multi-turn Trajectory Generation） ，通过以下组件模拟真实工具使用场景：
- 用户模拟（User Simulation） ：LLM 生成的具有不同沟通风格和偏好的用户角色与智能体进行多轮对话，形成自然交互模式；
- 工具执行环境（Tool Execution Environment） ：功能等效于世界模型的复杂工具模拟器执行工具调用并提供真实反馈
  - 模拟器在每次工具执行后维护和更新状态，支持具有持久效果的复杂多步骤交互，并引入受控随机性以产生包括成功、部分失败和边缘情况在内的多样化结果
质量评估与过滤（Quality Evaluation and Filtering）
- LLM-based 评审员（LLM-based judge）根据任务准则评估每条轨迹
- 仅保留满足成功标准的轨迹用于训练 ，确保高质量数据的同时允许任务完成策略的自然变化
结合真实执行环境的混合方法（Hybrid Approach with Real Execution Environments）
- 模拟提供了可扩展性，但模拟保真度（simulation fidelity）仍存在固有局限
- 论文在真实性至关重要的场景（特别是编码和软件工程任务）中补充真实执行沙盒
  - 这些沙盒执行实际代码，与真实开发环境交互，并通过 test suite 通过率等客观指标提供真实反馈
- 这种组合确保模型从模拟场景的多样性和真实执行的真实性中学习，显著增强实际智能体能力
- 结合可扩展模拟与针对性真实执行的混合流程，论文生成多样化、高质量的工具使用演示，平衡了覆盖范围与真实性
- 合成数据生成的规模化和自动化，加上真实执行环境的 grounding，通过质量过滤流程有效实现了大规模拒绝采样（2022；2025）
- 这种高质量合成数据用于监督微调时，显著提升了模型在广泛实际应用中的工具使用能力

Reinforcement Learning

RL 被认为比 SFT 具有更好的 Token Efficiency 和泛化性
基于 K1.5（2025）的工作，论文在 K2 中继续扩大 RL 的任务多样性和训练 FLOPs
论文开发了一个类似 Gym 的可扩展框架 ，支持跨多种场景的 RL
- 论文通过大量可验证奖励任务扩展该框架
- 对于依赖主观偏好（subjective preferences）的任务（如创意写作和开放式问答），引入自评奖励机制（self-critic reward），模型通过成对比较判断自身输出
- 这种方法使得来自不同领域的任务都能受益于 RL 范式

Verifiable Rewards Gym

数学、STEM 与逻辑任务（Math, STEM and Logical Tasks） ：对于数学、STEM 和逻辑推理领域，论文的 RL 数据准备遵循两大原则：多样化覆盖（diverse coverage）和适度难度（moderate difficulty）
- 多样化覆盖 ：对于数学和 STEM 任务，论文结合专家标注、内部 QA 提取流程和公开数据集（2025；2024）收集高质量问答对
  - 在收集过程中，利用标签系统刻意增加低覆盖领域的样本
  - 对于逻辑任务，数据集包含多种格式，包括结构化数据任务（如多跳表格推理、跨表聚合）和逻辑谜题（如 24 点游戏、数独、谜语、密码算术和摩尔斯电码解码）
- 适度难度 ：RL 提示集应既不太简单也不太困难，两者都可能产生较少信号并降低学习效率
  - 论文使用 SFT 模型的 pass@k 准确率评估每个问题的难度，仅选择中等难度的问题
复杂指令跟随（Complex Instruction Following） ：有效的指令跟随不仅需要理解显式约束 ，还需处理隐式需求、边缘案例和保持长对话一致性；论文通过结合自动化验证与对抗检测的混合验证框架，以及可扩展的课程生成流程应对这些挑战；具体采用双路径系统确保精确性和鲁棒性：
- 混合规则验证（Hybrid Rule Verification） ：实现两种验证机制：
  - (1) 通过代码解释器对可验证输出的指令（如长度、风格约束）进行确定性评估；
  - (2) 对需要细微理解约束的指令使用 LLM 作为评审员
    - 为解决模型可能虚假声称满足指令的对抗行为，额外加入专门检测此类欺骗性声明的 hack-check 层
- 多源指令生成（Multi-Source Instruction Generation） ：采用三种生成策略确保全面覆盖：
  - (1) 数据团队开发的专家编写的复杂条件提示和说明（rubrics）；
  - (2) 受 AutoIF（2024）启发的智能体指令增强；
  - (3) 针对生成探测特定故障模式或边缘案例指令的微调模型
  - 这种多管齐下的方法确保指令覆盖的广度和深度
忠实性（Faithfulness） 对于多轮工具使用、自生成推理链和开放环境交互等场景，忠实性至关重要
- 受 FACTS Grounding（2025）评估框架启发，论文训练了一个句子级忠实性评审模型进行自动化验证
- 该评审模型能有效检测上下文中无证据支持的 factual claim ，将该评审模型作为奖励模型以提升整体忠实性表现
  - 问题：为什么是上下文中无证据支持的？不应该是有证据支持的才是事实句子吗？
  - 回答：这里应该是表达检测出申明为事实，但实际无证据支撑的（作为负奖励）
Coding & Software Engineering
- Coding ：为增强解决竞赛级编程问题的能力，论文从开源数据集（2023；2025）和合成来源收集问题及其评审器（problems and their judges）
  - 为确保合成数据的多样性和奖励信号的正确性，论文整合了从预训练数据中检索的高质量人工编写单元测试
- Software Engineering ：对于软件工程任务，论文从 GitHub 收集大量拉取请求和问题，构建包含用户提示/问题和可执行单元测试的软件开发环境
  - 该环境基于强大的沙盒基础设施，由 Kubernetes 提供可扩展性和安全性支持，可稳定运行 10,000+ 并发沙盒实例，非常适合竞赛编程和软件工程任务
安全性（Safety） ：论文通过人工策划的种子提示集开始安全性增强工作，手动设计涵盖暴力、欺诈和歧视等主流风险类别
- 为模拟复杂越狱尝试（如角色扮演、文学叙事和学术讨论），论文采用包含三个关键组件的自动化提示演化流程：
  - 攻击模型（Attack Model） ：迭代生成旨在从目标 LLM 引发不安全响应的对抗提示；
  - 目标模型（Target Model） ：生成对这些提示的响应，模拟潜在漏洞；
  - 评审模型（Judge Model） ：评估交互以判断对抗提示是否成功绕过安全机制
- 每次交互使用任务特定准则评估，使评审模型能提供二元成功/失败标签

Beyond Verification: Self-Critique Rubric Reward

为将模型对齐扩展至无可验证奖励的任务，论文引入了一个基于自评反馈的通用强化学习框架
该方法旨在通过将从可验证场景学到的能力扩展至更广泛的主观任务，使 LLM 与人类偏好（如帮助性、创造性、推理深度、事实性和安全性）对齐
框架通过自评准则奖励（Self-Critique Rubric Reward）机制运行，模型通过评估自身输出来生成偏好信号
为引导 K2 成为合格评审员，论文在 SFT 阶段混合开源和内部偏好数据集初始化其评审能力
自评策略优化（Self-Critiqued Policy Optimization）
- 在学习循环的第一核心过程中
  - K2 Actor 为覆盖广泛用例的通用提示生成响应；
  - K2 Critic 随后通过成对评估结合以下指标对所有结果排序：
    - 核心准则（Appendix. F.1）（代表 Kimi 珍视的 AI 助手核心价值）
    - 规定性准则（Appendix. F.2）（旨在消除奖励黑客行为）
    - 人工标注准则（数据团队为特定指令上下文设计）
- 尽管某些准则可设为强制，K2 仍保留根据内部先验权衡的灵活性
  - 这种能力确保模型响应在适应特定指令的同时，与其核心身份保持一致
闭环评审优化与对齐（Closed-Loop Critic Refinement and Alignment）
- 在 RL 训练期间，评审模型通过可验证信号优化：从可验证奖励提示生成的 on-policy rollouts 用于持续更新评审者 ，这一关键步骤将 RLVR 的客观性能信号蒸馏至评估模型中
- 这种迁移学习过程将其对缺乏显式奖励信号的复杂任务的主观判断 grounded 于可验证数据，使得从可验证任务获得的性能提升能增强评审者对复杂任务的判断力
- 这一闭环流程确保评审者随策略演化同步重新校准评估标准
- 通过将主观评估建立在可验证数据上，该框架实现了与（复杂且不可验证的）人类目标对齐 ，而且这个对齐过程是稳健且可扩展的
这种整体对齐在用户意图理解、创意写作、复杂推理和细微语言理解等广泛领域带来全面性能提升

user intent understanding, creative writing, complex reasoning, and nuanced language comprehension

RL Algorithm

论文采用 K1.5（2025）引入的策略优化算法作为 K2 的基础
对于每个问题 $x$，论文从旧策略 $\pi_{\text{old} }$ 采样 $K$ 个响应 $\{y_1, \ldots, y_k\}$，并针对以下目标优化模型 $\pi_\theta$：
$$
L_{\text{RL} }(\theta) = \mathbb{E}_{x\sim\mathcal{D} } \left[ \frac{1}{K} \sum_{i=1}^K \left( r(x,y_i) - \bar{r}(x) - \tau \log \frac{\pi_\theta(y_i|x)}{\pi_{\text{old} }(y_i|x)} \right)^2 \right],
$$
- $\bar{r}(x) = \frac{1}{k} \sum_{i=1}^k r(x,y_i)$ 是采样响应的平均奖励
- $\tau > 0$ 是促进稳定学习的正则化参数
与 SFT 相同，论文采用 Muon 优化器（2015）最小化该目标
K2 中将 RL 训练扩展至更广泛任务领域，并在RL 算法中引入多项改进，目标是实现所有领域实现一致的性能提升
改进一：预算控制（Budget Control）
- RL 常导致模型生成响应长度大幅增加（2025；2019）
  - 一般来说，更长响应使模型能利用额外测试时计算提升复杂推理任务性能
  - 但在非推理领域，难以证明其推理成本带来的收益
- 为鼓励模型合理分配推理预算，论文在 RL 训练中强制实施基于任务类型的每样本最大 Token 预算（per-sample maximum token budget）
  - 超出该预算的响应将被截断并受到惩罚，激励模型在指定限制内生成解决方案
  - 实证表明，该方法显著提升模型的 Token Efficiency，鼓励所有领域生成简洁而有效的解决方案
改进二：PTX 损失（PTX Loss）
- 论文精选包含人工筛选高质量样本的数据集，并通过辅助 PTX 损失（2022）将其整合至 RL 目标
  - PTX Loss 通常指的是把 Pre-Training 的 Loss 加入到 RLHF 阶段，最早提出于 Training language models to follow instructions with human feedback, 2022, OpenAI
  - PTX Loss 用于防止联合 RL 训练期间遗忘有价值的高质量数据
- 该策略不仅利用高质量数据优势，还缓解对训练机制中显式存在的有限任务集过拟合的风险
- 这一增强显著提升模型在更广泛领域的泛化能力
温度衰减（Temperature Decay）
- 对于创意写作和复杂推理等任务，论文发现初始训练阶段通过高采样温度促进探索至关重要
  - 高温允许模型生成多样化和创新性响应，从而促进有效策略的发现并降低过早收敛至次优解的风险
  - 但在训练后期或评估阶段保持高温可能有害，因其引入过多随机性并损害模型输出的可靠性和一致性
- 论文采用温度衰减计划，在训练过程中从探索逐渐转向利用
  - 该策略确保模型在最有裨益时利用探索，最终收敛于稳定且高质量的输出

RL Infrastructure

Colocated Architecture

与 K1.5（2025）类似，论文为同步 RL 训练采用混合共置架构（hybrid colocated architecture），其中训练和推理引擎位于相同 worker 上
当一个引擎活跃工作时，另一个引擎释放或卸载其 GPU 资源以适配
在每次 RL 训练迭代中，中央控制器首先调用推理引擎生成新训练数据，随后通知训练引擎在新数据上训练，并将更新后的参数发送至推理引擎用于下一迭代
每个引擎均针对吞吐量高度优化。此外，随着模型规模扩展至 K2 级别，引擎切换和故障恢复的延迟变得显著。论文在这些方面的系统设计考量如下

Efficient Engine Switching

在 rollout 期间，训练引擎的参数被卸载至 DRAM。因此启动训练引擎仅是简单的 H2D 传输步骤。然而，启动推理引擎挑战更大，因其需从训练引擎获取采用不同分片范式的更新参数
鉴于 K2 的规模和涉及的大量设备，使用网络文件系统进行重新分片和广播参数不切实际，保持低开销所需的聚合带宽达每秒数 PB。为解决该挑战，论文开发了位于训练节点上的分布式检查点引擎以管理参数状态
- 执行参数更新时
  - 每个检查点引擎 worker 从训练引擎获取参数的本地副本
  - 随后跨所有检查点引擎 worker 广播完整参数集
  - 接着推理引擎仅从检查点引擎检索所需参数分片
- 该流程如图 10 所示。为实现 1T 模型的该操作，更新以流水线方式逐参数执行，最小化内存占用（见 Appendix G）
论文选择跨整个集群广播完整参数集，无论各推理 worker 的特定分片方案如何。尽管这比理论最优方法传输多倍数据，但其提供了更简单的系统设计，对训练和推理引擎的侵入性更低。论文选择以这一微小开销为代价，完全解耦训练引擎与推理引擎，显著简化维护和测试
值得注意的是，该方法优于“按需传输”方法，因其降低同步开销并提高网络带宽利用率。论文的系统可在不到 30 秒内完成 Kimi K2 的完整参数更新，对于典型 RL 训练迭代可忽略不计

Efficient System Startup

由于大规模训练易受系统故障影响，对 Kimi K2 等大型模型优化启动时间至关重要
启动训练引擎时，论文让每个训练 worker 选择性地从磁盘读取部分或无参数，并向其对等节点广播必要参数。设计目标是确保所有 worker 集体仅读取检查点一次，最小化昂贵磁盘 IO
由于推理引擎是独立副本，作者希望避免引入额外同步屏障。因此，论文选择重用检查点引擎启动：让检查点引擎集体从磁盘读取检查点，类似训练引擎启动方式。随后使用前一节介绍的方法更新未初始化推理引擎的状态。通过利用专用检查点引擎，系统还对单点故障具有鲁棒性，因为推理副本可无需与其他副本通信而重启

Agentic Rollout

论文的 RL 基础设施支持长视野、多轮智能体任务的训练。在 rollout 期间，这些任务呈现独特挑战，如复杂环境交互和延长 rollout 持续时间。以下介绍缓解这些问题的优化
由于环境多样性，某些交互可能因等待环境反馈（如虚拟机或代码解释器）而阻塞，导致 GPU 闲置。论文采用两种策略最大化 GPU 利用率：
- (i) 将重型环境部署为可更易扩展的专用服务；
- (ii) 使用大量并发 rollouts 分摊某些昂贵交互引发的延迟
智能体 rollout 的另一挑战是单个 rollout 轨迹可能极长
- 为防止长尾轨迹阻塞整个 rollout 流程，论文采用 部分 rollout（2025）技术（partial rollout technique）
- 该策略允许暂停未完成的长期任务，并在下一 RL 迭代中恢复
为提高研究效率，论文还设计了受 OpenAI Gym 框架（2025）启发的统一接口，以简化新环境的集成
作者希望未来将 RL 基础设施扩展至更多样化的交互环境

Evaluations

本节首先对 Kimi-K2-Instruct 进行后训练评估，随后简要概述 Kimi-K2-Base 的能力，最后进行全面的安全性评估

Post-training Evaluations

Evaluation Settings

Benchmarks ：在多个领域评估 Kimi-K2-Instruct 的表现
- 编码任务（Coding） ：采用 LiveCodeBench v6（2024 年 8 月至 2025 年 5 月的题目）、OJBench、MultiPL-E、SWE-bench Verified、TerminalBench、Multi-SWE-bench、SWE-Lancer、PaperBench 和 Aider-Polyglot
- 工具使用任务（Tool Use Tasks） ：评估多轮工具调用能力，重点关注 $\tau^2$-Bench 和 ACEBench
- 推理任务（Reasoning） ：涵盖数学、科学和逻辑任务，包括 AIME 2024/2025、MATH-500、HMMT 2025、CNMO 2024、PolyMath-en、ZebraLogic、AutoLogi、GPQA-Diamond、SuperGPQA 和 Humanity’s Last Exam（仅文本）
- 长上下文能力（Long-context Capabilities） ：评估 MRCR4（长上下文检索）、DROP、FRAMES 和 LongBench v2（长上下文推理）
- 事实性（Factuality） ：使用 FACTS Grounding、Vectara Hallucination Leaderboard 和 FaithJudge 评估
- 通用能力（General Capabilities） ：通过 MMLU、MMLU-Redux、MMLU-Pro、IFEval、Multi-Challenge、SimpleQA 和 LiveBench（截至 2024-11-25）评估
Baselines ：对比了开源和专有前沿模型，确保所有候选模型在非思考模式下评估，以消除测试时计算带来的额外增益
- 开源基线 ：DeepSeek-V3-0324 和 Qwen3-235B-A22B（后者在无思考模式下运行）
- 专有基线 ：Claude Sonnet 4、Claude Opus 4、GPT-4.1 和 Gemini 2.5 Flash Preview（2025-05-20），均通过官方 API 在统一温度和 top-p 设置下调用
评估配置（Evaluation Configurations）
- 所有模型在非思考模式下运行，输出长度上限为 8192 个 Token（SWE-bench Verified 除外，上限为 16384）
- 对于高方差基准测试，论文采用重复采样 $k$ 次并取平均值（记为 Avg@$k$）
- 长上下文任务的上下文窗口设置为 128K Token，超出部分截断

Evaluation Results

表 3 展示了 Kimi-K2-Instruct 的综合评估结果，详细解释见附录 C
以下是四个核心领域的重点结果：
代理式与竞技编码（Agentic and Competitive Coding） ：Kimi-K2-Instruct 在真实世界软件工程任务中表现优异：
- SWE-bench Verified：65.8%（单次尝试），71.6%（多次尝试）
- SWE-bench Multilingual：47.3%
- SWE-lancer：39.1%
- 在竞技编码基准测试（如 LiveCodeBench v6 53.7%、OJBench 27.1%）中，Kimi-K2-Instruct 同样领先
代理式工具使用（Agentic Tool Use） ：在多轮工具使用基准测试中，Kimi-K2-Instruct 表现卓越：
- $\tau^2$-Bench：66.1 Pass@1
- ACEBench：76.5
- 这些结果验证了其在多领域工具调用中的优势
通用能力（General Capabilities） ：Kimi-K2-Instruct 在通用知识、数学、指令遵循和长上下文任务中表现均衡：
- SimpleQA：31.0%
- MMLU：89.5%
- MMLU-Redux：92.7%
- 在数学和 STEM 任务中，其得分同样领先（AIME 2024：69.6%，GPQA-Diamond：75.1%）
开放式评估（Open-Ended Evaluation）
- 在 LMSYS Arena 排行榜（2025 年 7 月 17 日）中，Kimi-K2-Instruct 以 3000 多张用户投票成为排名第一的开源模型 ，总排名第五

Pre-training Evaluations

Evaluation Settings

Benchmarks ：评估 Kimi-K2-Base 在多个领域的能力：
- 通用能力 ：MMLU、MMLU-Pro、MMLU-Redux、BBH、TriviaQA、SuperGPQA、SimpleQA、HellaSwag、AGIEval、GPQA-Diamond、ARC-Challenge 和 WinoGrande
- 编码能力 ：EvalPlus（平均 HumanEval、MBPP、HumanEval+ 和 MBPP+）、LiveCodeBench v6 和 CRUXEval
- 数学推理 ：GSM8K、GSM8K-Platinum、MATH 和 CMATH
- 中文能力 ：C-Eval、CMMLU 和 CSimpleQA
Baselines ：对比的开源基础模型包括 DeepSeek-V3-Base、Qwen2.5-72B-Base 和 Llama 4-Maverick
评估配置（Evaluation Configurations）
- 基于困惑度的评估：MMLU、MMLU-Redux、GPQA-Diamond、HellaSwag、ARC-Challenge、C-Eval 和 CMMLU
- 基于生成的评估：MMLU-Pro、SuperGPQA、TriviaQA、BBH、CSimpleQA、MATH、CMATH、GSM8K、GSM8K-Platinum、CRUXEval、LiveCodeBench 和 EvalPlus

Evaluation Results

表 4 展示了 Kimi-K2-Base 与领先开源模型的对比结果：
- 通用语言理解 ：在 12 项英语基准测试中，10 项表现最佳（如 MMLU 87.79%，MMLU-Pro 69.17%）
- 编码能力 ：CRUXEval-I-cot 74.00%，LiveCodeBench v6 26.29%
- 数学推理 ：MATH 70.22%，GSM8K 92.12%
- 中文理解 ：C-Eval 92.50%，CMMLU 90.90%

Safety Evaluation

Experiment Settings

论文对 Kimi K2 与其他开源 LLM 进行了红队评估（red-teaming evaluations）
该评估涵盖了一系列攻击场景，包括有害内容、隐私内容、安全内容，以及不同的攻击策略，如提示注入（prompt injection）和迭代越狱（iterative jailbreak）
论文使用 Promptfoo 生成对抗性提示并分析响应
模型选择（Model Selection） ：对比模型包括 Kimi K2、DeepSeek-V3、DeepSeek-R1 和 Qwen3
Promptfoo Settings ：表 5 列出了所评估的插件（plugins）和策略（strategies），每个插件都与所有策略配对以评估其性能
测试用例数量（Test Case Count） ：每个插件策略组合生成 3 条攻击提示，支持双语的情况下生成 6 条
提示语言设置（Prompt Language Settings） ：对每个插件-策略组合的语言兼容性进行了预测试
- 有些插件同时支持英文和中文，而其他插件仅支持英文
- 对于同时支持两种语言的组合，我们每种语言生成 3 个提示，因此每个组合共生成 6 个提示
人工审核（Manual Review） ：通过多轮审核确保评估一致性

Safety Evaluation Results

表 6 展示了不同模型在插件策略组合下的通过率：
- 有害内容（Harmful） ：Kimi-K2-Instruct 在基础策略下通过率 98.04%，迭代越狱策略下 92.16%
- 犯罪内容（Criminal） ：基础策略通过率 100%，迭代越狱策略下 57.57%
- 错误信息（Misinformation） ：基础策略通过率 97.28%
- 隐私（Privacy） ：所有策略通过率均高于 88%
- 安全（Security） ：基础策略通过率 77.84%，迭代越狱策略下 43.90%
自动化红队测试局限性（Automated Red-teaming Limitations）
- 由于涉及人工审核，结果存在主观性。部分插件类型（如 API 滥用）更适合评估具备工具调用能力的代理模型

Limitations

在内部测试中，论文发现 Kimi K2 存在以下局限性：
- 处理复杂推理任务或模糊工具定义时 ，可能生成过多 Token ，导致输出截断或不完整工具调用
- 某些任务中，不必要的工具启用可能导致性能下降
- 一次性提示构建完整软件项目的成功率低于代理式编码框架

附录 B：Token Template of Tool Calling

工具调用的 Token 结构包含三个部分：
- 工具声明消息（Tool declaration message） ：定义可用工具列表及其参数模式；
- 助手消息中的工具调用部分（Tool invoking section in assistant message） ：编码模型调用工具的请求；
- 工具结果消息（Tool result message） ：封装被调用工具的执行结果
工具声明消息的原始 Token 格式如下：
1
2
3
4
5
6
<|im_begin|>
tool_declare
<|im_middle|>
# Tools
{ { tool declaration content } }
<|im_end|>
- 蓝色高亮标记 { { tool declaration content } } 代表特殊 Token
- 绿色部分（<|im_begin|> 等）是工具声明内容
论文使用 TypeScript 表达工具声明内容
- TypeScript 是一种简洁的语言，具有全面的类型系统，能够用简短的文本表达工具参数的类型和约束
- 代码 1 展示了两个简单工具的 JSON 格式定义（兼容 OpenAI 的聊天补全 API）
- 代码 2 用 TypeScript 定义了相同的两个工具，看起来更加简短
为提高兼容性，部分训练数据也使用 JSON 作为工具声明语言，以便第三方框架无需额外开发即可支持论文的工具调用方案

代码 1 ：OpenAI 兼容 API 中的 JSON 工具定义

[{
"type": "function",
"function": {
    "name": "get_weather",
    "description": "Get weather for a location and date",
    "parameters": {
    "type": "object",
    "properties": {
        "location": {
        "type": "string",
        "description": "City and country e.g. Beijing, China"
        },
        "date": {
        "type": "string",
        "description": "Date to query, format in '%Y-%m-%d'"
        }
    },
    "required": ["location"]
    }
}
},
{
"type": "function",
"function": {
    "name": "Calculator",
    "description": "Simple calculator",
    "parameters": {
    "properties": {
        "expr": {
        "type": "string",
        "description": "Arithmetic expression in javascript"
        }
    },
    "type": "object"
    }
}
}]

代码 2 ：TypeScript 工具定义

namespace functions {
// Get weather for a location and date
type get_weather = {
    .: {
    // City and country e.g. Beijing, China
    location: string,
    // Date to query, format in '%Y-%m-%d'
    date?: string
    }) => any;
// Simple calculator
type Calculator = {
    .: {
    // Arithmetic expression in javascript
    expr?: string
    }) => any;
}

模型响应消息中工具调用部分的 Token 模板如下：

<tool_call_section_begin|>
<|tool_call_begin|>
// call_id part
functions.{ {tool name} }:{ {counter} }
<|tool_arguments_begin|>
{ { json serialized call arguments } }
<|tool_call_end|>
<|tool_call_begin|>
// more tool calls
<|tool_call_end|>
<|tool_call_section_end|>

如模板所示，论文通过将多个工具调用放在单个响应轮次中来支持并行工具调用
每个工具调用具有唯一的调用 ID，格式为 functions.{ {tool name} }:{ {counter} }，其中工具名称是工具的名称，计数器是对话中所有工具调用的自增计数器（从 0 开始）
在推理过程中，模型偶尔会生成意外的 Token，导致解析工具调用时出现格式错误
- 为解决此问题，论文开发了一个名为 enforcer 的约束解码模块，灵感来自 lm-format-enforcer (2023)
- 当生成 <tool_call_section_begin|> Token 时，它会确保接下来的工具相关 Token 遵循预定义的模板 ，并且 JSON 参数字符串符合声明的模式

工具结果消息是一个简单的文本消息，编码了工具的调用 ID 和相应的结果：

<im_begin|>
tool
<im_middle|>
## Results of { {call_id} }
{ { execution result content } }
<im_end|>

附录 C：Evaluation Details

Coding Tasks

论文在竞争性编码基准 LiveCodeBench 和 OJBench 上评估模型能力
- Kimi-K2-Instruct 分别以 53.7% 和 27.1% 的分数表现出色
- 这一优势涵盖了中等难度编码挑战（如 LeetCode 和 AtCoder）以及高难度竞赛（如 NOI 和 ICPC），超越了领先的开源和专有模型
对于多语言编程能力，论文使用 MultiPL-E，涵盖 C++、C#、Java、JavaScript、PHP 和 Go 等语言
- Kimi-K2-Instruct 以 85.7% 的准确率超越顶级开源模型（DeepSeek-V3-0324 为 83.1%，Qwen3-235B-A22B 为 78.2%）
在软件工程任务中
- Kimi-K2-Instruct 在 SWE-bench Verified（Python）、SWE-lancer（Python）、SWE-bench Multilingual 和 Multi-SWE-bench 数据集上表现出色
- 它在解决真实代码仓库问题方面显著优于开源模型，并大幅缩小了与专有模型的性能差距，例如：
  - SWE-bench Verified（多次尝试）：71.6%（Kimi-K2-Instruct） vs. 80.2%（Claude 4 Sonnet）
  - SWE-bench Multilingual：47.3%（Kimi-K2-Instruct） vs. 51.0%（Claude 4 Sonnet）
  - SWE-lancer：39.1%（Kimi-K2-Instruct） vs. 40.8%（Claude 4 Sonnet）
在 PaperBench 上
- Kimi-K2-Instruct 达到 27.8% 的准确率，与 GPT-4.1 接近，并大幅领先 DeepSeek-V3-0324（12.2%）和 Qwen3-235B-A22B（8.2%）
在 TerminalBench 测量的终端交互任务中
- Kimi-K2-Instruct 使用默认 Terminus 框架达到 25.0%，在 Moonshot 内部代理框架中提升至 30%，突显了其在真实代理编程场景中的能力
在 Aider-Polyglot 基准测试中
- Kimi-K2-Instruct 在严格去污染程序下达到 60.0% 的准确率，进一步展示了其在不同编码环境中的优势和可靠性

Tool Use Tasks

论文通过两个互补的测试套件评估多轮工具使用能力：$\tau^{2}$-Bench 和 ACEBench
- $\tau^{2}$-Bench 将原始 $\tau$-bench 的单控制设置扩展为双控制环境，其中代理和模拟用户的 LLM 在共享状态上具有受限的工具能力，新增了 Telecom 故障排除领域，并支持协调与纯推理的分析
- ACEBench 是一个大型双语（英/中）API 基准测试（跨 8 个领域的 4.5K API；2K 标注评估项），分为 NORMAL（基础/个性化/原子）、SPECIAL（不完美或超出范围的输入）和 AGENT（场景驱动的多轮、多步骤沙盒）赛道，支持调用和结果的自动评分
实验配置：
- 所有模型以非思考模式运行；
- 设置温度为 0.0，使用确定性工具适配器，在 4 次种子下评分 $\tau^{2}$ Airline/Retail/Telecom 的 Pass@1/4，并报告 ACEBench 英语的总体结果
结果：
- 在 $\tau^{2}$ 上，Kimi-K2-Instruct 平均达到 66.1% 的微 Pass@1（DeepSeek-V3-0324 为 48.8%，Qwen3-235B-A22B 为 37.3%）
- 在 ACEBench Overall 中，Kimi-K2-Instruct 得分为 76.5，DeepSeek 为 72.7，Qwen 为 70.5，与 GPT-4.1（80.1）保持竞争

Math & STEM & Logical Tasks

在数学任务中，Kimi-K2-Instruct 表现稳定，平均超过 Geimini-2.5-Flash 5.3 个百分点，超过 DeepSeek-V3-0324 5.5 个百分点，超过 GPT4.1 15.8 个百分点，例如：
- 在 AIME 2024 上，Kimi-K2-Instruct 得分为 69.6%，大幅领先其他两个顶级开源模型（DeepSeek-V3-0324 高 10.2 分，Qwen3-235B-A22B 高 29.5 分）
- 在 STEM 评估中，Kimi-K2-Instruct 在 GPQA-Diamond 上达到 75.1%，领先 DeepSeek-V3-0324（68.4%）和其他非思考基线至少 5 个百分点
- 在 SuperGPQA 上，它也超过之前最佳开源模型 DeepSeek-V3-0324 3.5 分。Kimi-K2-Instruct 在逻辑推理上也优于其他两个领先模型，在 ZebralLogic 上达到 89.0%，在 AutoLogi 上达到 89.5%，显著超过 Qwen3-235B-A22B（37.7%，83.3%）

General Tasks

Kimi-K2-Instruct 在 MMLU 和 MMLU-Pro 上与 DeepSeek-V3-0324 持平，在 MMLU-Redux 上以 92.7 EM 分数领先——略高于 GPT-4.1（92.4），仅落后 Claude-Opus-4 1.5 分
在简答题 SimpleQA 上，Kimi-K2-Instruct 达到 31.0% 的准确率，比 DeepSeek-V3-0324 高 3.3 分，是 Qwen3-235B-A22B 的两倍多，但仍低于 GPT-4.1（42.3%）
在对抗性自由回答 LiveBench（2024-11-25 快照）中，它达到 76.4%，超过 Claude-Sonnet 4（74.8%），领先 Gemini 2.5 Flash Preview 8.6 分。在这一衡量世界知识广度、深度和鲁棒性的挑战性三项中，Kimi-K2-Instruct 稳居开源模型前列
论文通过 IFEval 和 Multi-Challenge 评估指令遵循能力
- 在 IFEval 上，Kimi-K2-Instruct 得分为 89.8%，高于 DeepSeek-V3-0324（81.1%）和 GPT-4.1（88.0%）
- 在 Multi-Challenge 上（涉及多轮冲突指令对话），它达到 54.1%，优于 DeepSeek-V3-0324（31.4%）、GPT-4.1（36.4%）和 Claude-Opus-4（49.0%）
这些结果表明，Kimi-K2-Instruct 将强大的事实知识与单轮和多轮场景下一致的指令遵循相结合，支持稳健可靠的现实部署

Long Context and Factuality Tasks

为评估 Kimi-K2-Instruct 的事实性，论文使用三个基准：FACTS Grounding（通过专有模型 GPT-4o、Gemini 1.5 Pro 和 Claude 3.5 Sonnet 衡量对提供文档的遵循）、HHEM（通过开源 HHEM-2.1-Open 评估器评估摘要质量）和 FaithJudge（以 o3-mini 为评估器分析 RAG 任务中的忠实性）
- 在 FACTS Grounding 上，Kimi-K2-Instruct 得分为 88.5，大幅超越所有开源竞争对手，甚至超过闭源 Gemini 2.5 Flash
- 在 HHEM-2.1-Open 上，Kimi-K2-Instruct 幻觉率为 1.1%（表中报告为 1 减幻觉率，即 98.9）
- 在 FaithJudge 的 RAG 任务中，Kimi-K2-Instruct 幻觉率为 7.4%（表中为 92.6）
在长上下文能力任务 DROP 上，Kimi-K2-Instruct（93.5%）优于所有开源和专有模型
在检索任务 MRCR（55.0% vs. 50.8%）上超过 DeepSeek-V3-0324
对于长上下文推理任务 FRAMES 和 LongBench v2，Kimi-K2-Instruct（77.1%，49.1%）略低于 DeepSeek-V3-0324 约 2%

Open-Ended Evaluation

除静态封闭式基准外，论文还评估模型在更贴近真实使用的开放式、细致任务上的表现
对于英语场景，论文利用 Arena-Hard-Auto v2.0 基准，通过 LLM 作为评估器的协议评估多样化开放式提示的生成质量 (2024)
- 这些评估涵盖高难度提示，在研究社区中广受认可
- 在 Arena-Hard-Auto v2.0 上，Kimi-K2-Instruct 在硬提示（54.5%）和创意写作任务（85.0%）上均达到最优胜率，超越所有开源模型，并与 GPT-4.1 和 Claude Sonnet 等顶级专有系统匹敌
- 这些结果突显了模型在复杂推理和多样化无约束场景下的细致生成能力
Arena-Hard-Auto 对中文特定任务的覆盖有限
- 为此，论文开发了一个基于真实用户 Query 的内部保留基准
- 为保障评估完整性，基准数据受访问限制，杜绝过拟合风险
- 如图 11 所示，Kimi-K2-Instruct 在中文内部基准的所有比较中表现强劲：
  - 以 65.4% 胜率超过 ChatGPT-4o-latest，64.6% 胜率超过 Claude Sonnet 4，59.6% 胜率超过 DeepSeek-V3-0324
  - 所有情况下败率均较低（约 17%），表明 Kimi-K2-Instruct 极少落后
  - 高胜率和稳定优势展示了其在开放式中文任务上的强大能力
除受控评估外，论文还通过公众人类评估考虑真实用户偏好
- 截至 2025 年 7 月 17 日，基于 3000 多份真实用户的盲投，Kimi-K2-Instruct 在 LMSYS Arena 排行榜上位列开源模型第一、总榜第五
- 该排行榜反映了用户提交的多样化提示上的直接人类偏好，为实际模型性能提供了补充视角
Arena-Hard-Auto、内部基准和 LMSYS Arena 投票的结果共同展示了 Kimi-K2-Instruct 在开放式能力上的全面表现，证明其是英中双语真实用户体验中备受青睐的模型

附录 D：Appendix D: QK-Clip Does Not Impair Model Quality(QK-Clip 不会损害模型质量)

QK-Clip 设计遵循最小干预原则 ：仅在必要时激活，训练稳定后自动停用
实证证据和分析均表明 QK-Clip 对模型质量的影响可忽略不计

Small-Scale Ablations

论文训练了两个小规模 MoE 模型（激活参数 0.5B，总参数 3B），一个使用原始 Muon，另一个使用 MuonClip（低裁剪阈值 $\tau=30$）
如图 12 所示，应用 MuonClip 对损失曲线影响极小，表明即使激进裁剪也不会损害收敛或训练动态
- 下游任务评估也未显示性能退化
这些结果共同证明 MuonClip 是一种安全有效的方法，可在不牺牲模型质量的前提下约束注意力对数

Self-deactivation

在 Kimi K2 中，QK-Clip 仅短暂激活：
- 初始 70000 步 ：12.7% 的注意力头至少触发一次 QK-Clip，将 $S_{\max}$ 限制为 100
- 70000 步后 ：所有头的 $S_{\max}$ 均降至 100 以下，QK-Clip 完全停用
QK-Clip 激活时按头（而非按层）应用，以最小化对其他头的潜在过正则化。训练稳定后，QK-Clip 完全失效

附录 E：Why Muon is More Prone to Logit Explosion(为什么 Muon 更容易出现对数爆炸)

对数爆炸发生在训练期间最大预 softmax 注意力分数无界增长时：
$$ S_{\max} = \max_{i,j}(q_{i} \cdot k_{j}) $$
由于
$$ |q_{i} \cdot k_{j}| \leq |q_{i}||k_{j}| \leq |x_{i}||x_{j}||\mathbf{W}_{q}||\mathbf{W}_{k}|, $$
且
- RMS-Norm 保持 $|x_{i}||x_{j}|$ 有界，该现象主要由 $\mathbf{W}_{q}$ 或 $\mathbf{W}_{k}$ 的谱范数增长驱动
实证发现 Muon 更易出现对数爆炸，假设如下：
更新结构差异（Structural difference in updates）
- Muon 的权重更新来自 msign 操作，其更新矩阵的所有奇异值均相同——有效秩为满秩。而 Adam 的典型更新矩阵呈现偏斜谱：少数大奇异值主导，有效秩较低。这一低秩假设并非新发现，高阶 mulP 同样基于此
- 在 16B Moonlight 模型上验证，Muon 训练的权重比 Adam 具有更高的奇异值熵（即更高有效秩），支持理论直觉
SVD 公式化（SVD formulation）
- 设步骤 $t-1$ 的参数矩阵奇异值分解为
  $$ \mathbf{W}_{t-1} = \sum_{i}\sigma_{i} u_{i}v_{i}^{\top} $$
- 更新矩阵写作
  $$ \Delta\mathbf{W}_{t} = \sum_{j}\bar{\sigma} \bar{u}_{j}\bar{v}_{j}^{\top} $$
- 则下一步参数更新为
  $$ \mathbf{W}_{t} \leftarrow \sum_{i}\sigma_{i}u_{i}v_{i}^{\top} + \sum_{j}\bar{\sigma} \bar{u}_{j}\bar{v}_{j}^{\top} $$
- Muon 中权重和更新的有效秩均高于 Adam，假设奇异向量对 $u_{i}v_{i}^{\top}$ 与 $\bar{u}_{j}\bar{v}_{j}^{\top}$ 对齐概率更高，可能导致 $\mathbf{W}_{t}$ 对应奇异值加性增长
注意力特异性放大（Attention-specific amplification）
- 注意力对数通过双线性形式计算
  $$ q_{t} \cdot k_{j} = (x_{i}\mathbf{W}_{q}) \cdot (x_{j}\mathbf{W}_{k}). $$
- 乘积 $\mathbf{W}_{q}\mathbf{W}_{k}^{\top}$ 将谱范数平方化，因此任一矩阵的奇异值增长会被复合放大
- Muon 增大奇异值的倾向从而转化为更高的对数爆炸风险

附录 F：K2 Critic Rubrics for General RL

Core Rubrics

清晰性与相关性（Clarity and Relevance） ：评估响应是否简洁且完全符合用户意图
- 重点是消除不必要的细节，保持与核心问题的一致性，并使用高效的格式（如简短段落或紧凑列表）
- 除非特别要求，否则应避免冗长的列举
- 当需要选择时，响应应明确提供单一、清晰的答案
对话流畅性与参与度（Conversational Fluency and Engagement） ：评估响应是否促进自然流畅的对话，超越简单的问答
- 包括保持连贯性、展现对话题的适当参与、提供相关见解或观察、在适当时引导对话、谨慎使用后续问题、优雅处理假设或个人类比 Query ，以及有效调整语气以适应对话上下文（如共情、正式或随意）
客观与 grounded 互动（Objective and Grounded Interaction） ：评估响应是否保持客观和 grounded 的语气，专注于用户请求的实质内容
- 重点避免元评论（分析 Query 结构、主题组合、感知的异常或互动本身的性质）以及对用户或输入的不必要赞美
- 优秀响应应尊重但中立，优先提供直接、任务导向的帮助，而非评论对话动态或通过赞美讨好用户
- 注：这里的 grounded 翻译为 有根据的 或 有充分理由的 更合适？

Prescriptive Rubrics

初始赞美（Initial Praise） ：响应不得以对用户或问题的赞美开头（例如“这是个很棒的问题”“问得好！”）
显式理由（Explicit Justification） ：显示理由包括任何解释响应为什么优秀或如何成功满足用户请求的句子或从句（这与单纯描述内容不同）

Limitations

该评估框架的一个潜在副作用是，它可能偏向于在涉及模糊性或主观性的上下文中仍表现出自信和果断的响应。这源于当前准则的两项关键限制：
- 避免自我修饰（Avoidance of Self-Qualification） ：
  - 规范性准则禁止自我评估、显式免责声明或模糊语言（例如“这可能不准确”“我可能错了”）
  - 尽管这些短语可能反映认知谦逊，但它们通常被视为非信息性或表演性而被惩罚
- 偏好清晰与单一性（Preference for Clarity and Singularity） ：
  - 准则奖励在用户要求推荐或解释时提供直接、明确的答案
  - 在复杂或开放式场景中，这可能会抑制适当谨慎或多视角的响应
因此，模型可能偶尔在需要模糊性、细微差别或认知谦逊的场景中过度表达确定性
未来框架迭代可能会纳入更精细的校准不确定性处理机制

附录 G：Engine Switching Pipeline for RL Training

检查点引擎（checkpoint engine） ：在每个 GPU 上管理三个等大小的设备缓冲区：
- 一个用于加载卸载模型参数的 H2D 缓冲区
- 两个用于 GPU 间广播的 IPC 缓冲区
- IPC 缓冲区与推理引擎共享，允许其直接访问相同的物理内存
- 这三个缓冲区使论文能够将三个步骤安排为流水线
理论上的三阶段流水线（Theoretical three-stage pipeline） ：如图 13a 所示，引入了一个三阶段流水线：
- 1）H2D ：将最新权重的一个分片异步复制到 H2D 缓冲区
- 2）广播（Broadcast） ：复制完成后，该分片将被复制到一个 IPC 缓冲区并广播到所有设备
- 3）重载（Reload） ：推理引擎同时从另一个 IPC 缓冲区加载参数
由于 PCIe 饱和的两阶段流水线（Two-stage pipeline due to PCIe saturation） ：
- 在 NVIDIA H800 集群上，并发的 H2D 和广播会饱和共享的 PCIe 结构，将三阶段流程压缩为顺序过程（图 13b）。因此，论文采用更简单的两阶段方案（图 13c）：
  - 1）所有设备执行一次同步的 H2D 传输
  - 2）广播和重载并行进行
两阶段流水线会受到多次同步 H2D 复制操作的限制
- 但在大规模设备中，模型会被分割为小分片，整个参数集可通过一次传输装入 H2D 缓冲区，此时开销将消失
通过重叠 H2D、广播和重载权重，我们可以实现从训练引擎到所有推理引擎的高带宽权重分片重分配

附录：Kimi-K2-Thinking

Kimi-K2-Thinking 于 20251106 晚间开源发布
截止到 20251107，Kimi-K2-Thinking 仅发布了模型权重和博客，没有技术报告
HuggingFace：huggingface.co/moonshotai/Kimi-K2-Thinking
技术博客：Introducing Kimi K2 Thinking, 20251106
核心特点：
- 各项指标都非常高，甚至可以跟闭源模型比较（比较的基线都是 GPT-5，Claude Sonnet 4.5(Thinking)，DeepSeek-V3.2 和 Grok-4 等）
- 为了加速训练，训练时使用了 INT4 量化，Quantization-Aware Training (QAT)
  - 这缓解了 Thinking 模型输出长，量化后模型效果容易降低的问题
- 博客中给了许多让人眼前一亮的示例

整体指标情况

Benchmark	Intro	K2 Thinking (K2 0905)	GPT-5	Claude Sonnet 4.5	DeepSeek-V3.2	Grok-4
Reasoning Tasks
HLE(Text-only)-no tools	23.9	26.3	19.8*	7.9	19.8	25.4
HLE(Text-only)-w/ tools	44.9	41.7	32.0*	21.7	20.3*	41.0
HLE(Text-only)-heavy	51.0	42.0	—	—	—	50.7
AIME 2025-no tools	94.5	94.6	87.0	51.0	89.3	91.7
AIME 2025-w/ python	99.1	99.6	100.0	75.2	58.1*	98.8
AIME 2025 - heavy	100.0	100.0	—	—	—	100.0
HMMT 2025-no tools	89.4	93.3	74.6*	38.8	83.6	90.0
HMMT 2025-w/ python	95.1	96.7	88.8*	70.4	49.5*	93.9
HMMT 2025 - heavy	97.5	100.0	—	—	—	96.7
IMO-AnswerBench-no tools	78.6	76.0*	65.9*	45.8	76.0*	73.1
GPQA-Diamond-no tools	84.5	85.7	83.4	74.2	79.9	87.5
General Tasks
MMLU-Pro-no tools	84.6	87.1	87.5	81.9	85.0	—
MMLU-Redux-no tools	94.4	95.3	95.6	92.7	93.7	—
Longform Writing-no tools	73.8	71.4	79.8	62.8	72.5	—
HealthBench-no tools	58.0	67.2	44.2	43.8	46.9	—
Agentic Search Tasks
BrowseComp-w/ tools	60.2	54.9	24.1	7.4	40.1	—
BrowseComp-ZH-w/ tools	62.3	63.0*	42.4*	22.2	47.9	—
Seal-0-w/ tools	56.3	51.4*	53.4*	25.2	38.5*	—
FinSearchComp-T3-w/ tools	47.4	48.5*	44.0*	10.4	27.0*	—
Frames-w/ tools	87.0	86.0*	85.0*	58.1	80.2*	—
Coding Tasks
SWE-bench Verified-w/ tools	71.3	74.9	77.2	69.2	67.8	—
SWE-bench Multilingual-w/ tools	61.1	55.3*	68.0	55.9	57.9	—
Multi-SWE-bench-w/ tools	41.9	39.3*	44.3	33.5	30.6	—
SciCode-no tools	44.8	42.9	44.7	30.7	37.7	—
LiveCodeBench v6-no tools	83.1	87.0*	64.0*	56.1*	74.1	—
OJ-Bench(cpp)-no tools	48.7	56.2*	30.4*	25.5*	38.2*	—
Terminal-Bench-w/ simulated tools (JSON)	47.1	43.8	51.0	44.5	37.7	—

附录：关于 heavy 模式

原文：

Heavy Mode: K2 Thinking Heavy Mode employs an efficient parallel strategy: it first rolls out eight trajectories simultaneously, then reflectively aggregates all outputs to generate the final result. Heavy mode for GPT-5 denotes the official GPT-5 Pro score.
说明：Heavy Mode 是一种通用的提升模型推理能力的方法，其方式为：
- 第一步：并行采样多个 Trajectories
- 第二步：结合第一步生成的结果放入模型，让模型解决问题
这种方式也称为 Deep Thinking 模式，在一些场合下 Deep Thinking 模式等价于 Heavy Mode
- Heavy Mode：强调资源消耗和计算强度（Heavy=重型/高负载）
- Deep Thinking/Deep Think：强调思维深度和推理过程

RS——EGA

EGA: End-to-end Generative Advertising

参考链接：
- EGA: A Unified End-to-End Generative Framework for Industrial Advertising Systems, 20250523, Meituan

整体说明

传统在线广告系统的多级级联架构（multi-stage cascaded architectures）存在低效问题 ：
- 会过早过滤掉高潜力候选内容
- 并将业务决策逻辑分散到独立模块中
生成式推荐提供了端到端解决方案，但它们未能满足实际广告需求：
- 缺乏对出价、创意选择、分配机制和支付计算（bidding, creative selection, allocation mechanism, and payment computation）等关键要素的显式建模
论文提出了端到端生成广告（End-to-end Generative Advertising，EGA）：
- 第一个统一的广告生成框架，将用户兴趣建模、POI（兴趣点）与创意生成、位置分配和支付优化无缝集成在单一模型中
- 利用 hierarchical tokenization 和 multitoken prediction 联合生成候选 POI 和创意内容
- 通过排列感知（permutation-aware）奖励模型和 token-level bidding 策略确保与用户体验和广告商业务目标的一致性
- 此外，论文通过专用的 POI-level 支付网络和可微分事后遗憾最小化（differentiable ex-post regret minimization）实现分配与支付的解耦，近似保证激励相容性（, guaranteeing incentive compatibility approximately）
在真实广告系统上进行的大规模离线和在线实验证明了 EGA 相比传统级联架构的有效性和实践优势，凸显其作为行业领先端到端生成广告解决方案的潜力

一些讨论

在线广告已成为主要互联网平台的关键收入引擎，每个用户请求会触发一个复杂的决策过程，平台需选择、排序并展示广告与自然内容的混合列表
传统在线广告系统依赖多级级联架构，通常结构为：召回、预排序、排序、创意选择和拍卖（如图1(a)所示）
- 具体做法：每个阶段从其输入中选择前 $k$ 个候选内容并传递给后续阶段。这种范式通过逐步缩小候选内容集，在严格延迟约束下有效平衡了性能与效率
- 级联架构存在固有局限：级联中的早期阶段本质上限制了下游模块的性能上限
  - 例如，在上游召回或排序阶段被过滤的广告即使最终分配中极具价值也无法恢复，导致平台收入降低并无法实现全局最优
  - 尽管已有多种努力通过促进排序模块间交互来提升整体推荐性能，但这些方法仍局限于传统级联排序框架
生成式推荐框架的出现为这些长期挑战提供了新视角
近期研究表明：Transformer-based 序列模型可以端到端统一检索、排序和生成，提供个性化内容并捕捉深层次 user-item 依赖关系
- 尽管此类方法在自然推荐场景中表现出显著潜力，广告系统的复杂性带来了一系列独特障碍
- 广告系统必须满足严格的业务约束，包括 bidding、创意选择、广告位分配和支付规则，同时优化用户与平台目标
- 这些需求引入了复杂依赖关系和实际挑战，直接应用现有生成式推荐模型无法完全解决
为解决上述挑战，论文提出 EGA，一种将决策阶段统一到单一模型中的新型生成框架：
- 整体来说：EGA 弥合了生成建模与工业广告实际需求之间的鸿沟，直接端到端输出最终广告序列及对应创意、位置和支付
- 第一：受生成式推荐技术启发，论文利用 RQ-VAE 将用户行为和物品特征编码为分层语义 token ，并采用带 multi-token prediction 的 Encoder-Decoder 架构联合生成候选广告序列和创意内容
- 第二：论文提出 token-level bidding 和生成式分配机制 ，通过排列感知奖励建模增强（enhanced by permutation-aware reward modeling）
  - 该策略将分配与支付解耦，使模型在生成过程中有效反映业务目标，同时通过可微分支付网络近似保持激励相容性（IC）
- 第三：论文引入多阶段训练范式 ：
  - 预训练阶段 ：从包含广告和自然内容的实际曝光序列中学习用户兴趣；
  - 后训练阶段 ：基于拍卖的后训练用于微调模型以适应广告特定约束，根据拍卖信号和平台目标动态优化广告分配
论文的贡献如下：
- 提出 EGA，通过统一单生成模型超越传统多级级联架构（首个广告端到端模型）
- 提出包含兴趣预训练和拍卖后训练的新颖多阶段训练策略
- 该设计有效平衡用户兴趣建模与广告特定约束，利用训练中的多样化数据源，并使模型输出与最终平台目标对齐
- 离线实验 + 在线A/B实验

前置基础知识

本节主要符号如表1所示：

任务定义

形式化定义在线广告系统中联合广告生成与分配的任务 ：给定用户 $u$ 的页面浏览（PV）请求，系统有 $N$ 个候选广告和 $M$ 个候选自然内容，假设自然内容序列 $O$ 已根据预估 GMV 由上游模块预排序（This reflects common platform design constraints where organic content is ranked independently and must preserve user experience），其内部顺序将保持不变 $^1$，系统最终选择 $K$ 个 item 的排序列表（ $K \ll (N+M)$ ）进行展示：
$$
\boldsymbol{\mathcal{Y} } = \{y_1, y_2, \ldots, y_K\}, \quad y_i \in X \cup O,
$$
- 其中输出列表 $\boldsymbol{\mathcal{Y} }$ 的生成需要在用户参与度和商业约束下联合做出以下决策：
  - 广告排序 ：从 $X$ 中决定所选广告的排列顺序；
  - 创意选择 ：为每个选中的广告生成最合适的创意图片；
  - 支付：根据广告的出价 $b_i$ 和分配位置，计算每个展示广告的支付价格 $p_i$ ；
  - 广告位 ：在与自然内容竞争时，确定每个广告的最佳展示位置
每个广告主 $i$ 提交与其私有点击价值 $v_i$ 对应的出价 $b_i$ 。论文的目标是通过序列 $\boldsymbol{\mathcal{Y} }$ 最大化平台预期收入：
$$
\max_{\theta} \mathbb{E}_{\boldsymbol{\mathcal{Y} } } \left[\textrm{Rev}\right] = \max_{\theta} \mathbb{E}_{\boldsymbol{\mathcal{Y} } } \left(\sum_{i=1}^K p_i \cdot \textrm{pCTR}_i\right).
$$

拍卖机制设计

拍卖约束（Auction Constraints）

与传统推荐系统不同，广告平台不仅需要优化平台收入，还需确保广告主效用。给定拍卖机制 $\mathcal{M}(\mathcal{A}, \mathcal{P})$，其中分配规则为 $\mathcal{A}$，支付规则为 $\mathcal{P}$，广告主 $i$ 的预期效用 $u_i$ 定义为：
$$
u_i(v_i;b) = (v_i - p_i) \cdot \textrm{pCTR}_i.
$$
拍卖机制必须满足两个关键经济约束：激励相容性（IC）和个体合理性（IR）。IC要求真实出价能最大化广告主效用。对于广告 $x_i$，需满足：
$$
u_i(v_i;v_i,b_{-i}) \geq u_i(v_i;b_i,b_{-i}), \quad \forall v_i, b_i \in \mathbb{R}^+.
$$
IR要求广告主的支付不超过其出价，即：
$$
p_i \leq b_i, \quad \forall i \in [N].
$$

基于学习的拍卖（Learning-based Auction）

为了在模型中确保激励相容性（IC），论文采用事后遗憾（ex-post regret）的概念来量化广告主通过虚假报价可能获得的潜在收益。这种形式化方法使论文能够以可微分的方式强制执行IC约束，适用于端到端优化
形式上，给定生成的序列 $\boldsymbol{\mathcal{Y} }$，广告 $x_i \in \boldsymbol{\mathcal{Y} }$ 的真实估值 $v_i$ 和上下文用户输入 $u$，事后遗憾定义为：
$$
\operatorname{rgt}_i(v_i, \boldsymbol{\mathcal{Y} }, u) = \max_{b’_i} \left\{u_i(v_i;b’_i, \boldsymbol{b}_{-i}, \boldsymbol{\mathcal{Y} }, u) - u_i(v_i;b_i, \boldsymbol{b}_{-i}, \boldsymbol{\mathcal{Y} }, u)\right\},
$$
- $b_i$ 为真实 bidding
- $b’_i$ 为潜在虚假报价
- $\boldsymbol{b}_{-i}$ 表示除 $x_i$ 外的其他广告 bidding
- 当且仅当所有广告主的 $\operatorname{rgt}_i = 0$ 时，IC约束被满足
- 实践中，论文通过从分布 $\mathbb{F}$ 中采样 $N_0$ 个估值来近似计算广告 $x_i$ 的经验事后遗憾：
  $$
  \widehat{\operatorname{rgt} }_i = \frac{1}{N_0} \sum_{j=1}^{N_0} \operatorname{rgt}_i(v^j_i, \boldsymbol{\mathcal{Y} }, u).
  $$
随后，论文将拍卖设计问题形式化为在经验事后遗憾为零的约束下最小化预期负收入：
$$
\min_{\mathbf{w} } -\mathbb{E}_{\boldsymbol{v}\sim \mathbb{F} } \left[\operatorname{Rev}^{\mathcal{M} }\right], \quad \text{s.t.} \quad \widehat{\operatorname{rgt} }_i = 0, \ \forall i \in [N].
$$

EGA 方法介绍

基于兴趣的预训练（Interest-based Pre-training）

预训练阶段的目标是根据用户的历史行为（包括广告和自然内容）捕捉用户兴趣，这一阶段为学习反映用户兴趣的统一表征奠定了基础
数学上，预训练模型 $\mathcal{F}$ 的目标是在给定输入用户行为序列 $\mathcal{S}^u$ 的条件下，生成一个兴趣感知的输出序列 $\boldsymbol{\mathcal{Y} }$：
$$
\boldsymbol{\mathcal{Y} } := \mathcal{F}(\mathcal{S}^u).
$$

特征表示（Feature Representations）

论文使用 $\mathcal{S}^u = \{y_1, y_2, \ldots, y_B\}$ 表示用户上下文，其中每个 $y_i$ 是用户之前交互过的 item （如点击、购买、喜欢）， $B$ 是序列长度。目标标签 $\boldsymbol{\mathcal{Y} } = \{y_1, y_2, \ldots, y_K\}$ 对应于当前PV会话中实际曝光的高价值 item 。每个候选 item $y_i$ 通过多模态表征描述，包括兴趣点（ POI ）特征嵌入 $\boldsymbol{e}_i^{poi}$ （如稀疏ID特征和密集特征）以及从视觉内容中提取的创意图像嵌入 $\boldsymbol{e}_i^{img}$。最终输入可以表示为：
$$
\mathcal{S}^u = \{(\boldsymbol{e}_1^{poi}, e_1^{img}), (e_2^{poi}, e_2^{img}), \ldots, (e_B^{poi}, e_B^{img})\}.
$$

Vector Tokenization

受现有生成式推荐模型的启发，论文采用残差量化变分自 Encoder （RQ-VAE）将密集嵌入编码为语义 token 。历史序列中的每个用户行为表示为 POI-creative（创意）对：
$$
\mathcal{S}^u = \{(\boldsymbol{a}_1^{poi}, a_1^{img}), (a_2^{poi}, a_2^{img}), \ldots, (a_B^{poi}, a_B^{img})\},
$$
预测目标是一个结构类似的序列：
$$
\boldsymbol{\mathcal{Y} } = \{(\boldsymbol{a}_1^{poi}, a_1^{img}), (a_2^{poi}, a_2^{img}), \ldots, (a_K^{poi}, a_K^{img})\}.
$$
每对 token $(\boldsymbol{a}_i^{poi}, a_i^{img})$ 结合了高层类别意图和细粒度视觉语义
为简化，论文假设 POI 和创意图像均用单层 token $\boldsymbol{a}$ 表示，但框架可扩展为分层 token 表示
- 例如，给定由 $C$ 层（每层大小为 $K$ ）组成的 codebooks $\mathcal{V}$， token $\boldsymbol{a}_i$ 表示为：
  $$
  \boldsymbol{a}_i = (a_i^1, a_i^2, \ldots, a_i^C), \quad a_i^j \in \{\boldsymbol{V}_{j,1}, \boldsymbol{V}_{j,2}, \ldots, \boldsymbol{V}_{j,K}\}. \tag{12}
  $$

Probabilistic Decomposition

目标 item 的概率分布建模分为两个阶段，利用 POI-level 和 creative-level 表征的互补优势。 EGA 首先预测 POI $\boldsymbol{a}_{t+1}^{poi}$，再确定创意图像 $\boldsymbol{a}_{t+1}^{img}$：
$$
P(\boldsymbol{a}_{t+1}^{poi}, \boldsymbol{a}_{t+1}^{img} \mid \mathcal{S}_{1:t}^u) = P(\boldsymbol{a}_{t+1}^{poi} \mid \mathcal{S}_{1:t}^u) \cdot P(\boldsymbol{a}_{t+1}^{img} \mid \boldsymbol{a}_{t+1}^{poi}, \mathcal{S}_{1:t}^u),
$$
- $P(\boldsymbol{a}_{t+1}^{poi} \mid \mathcal{S}_{1:t}^u)$ 表示基于历史序列生成下一个 POI 的概率，捕捉 item 的类别身份；
- $P(\boldsymbol{a}_{t+1}^{img} \mid \boldsymbol{a}_{t+1}^{poi}, \mathcal{S}_{1:t}^u)$ 表示在给定 POI 和历史条件下生成创意图像的概率，捕捉 item 的细粒度多模态细节

Encoder-Decoder

整体生成架构遵循 Encoder-Decoder 设计，如图2所示
Encoder 模块首先使用堆叠的自注意力和前馈层编码用户交互序列：
$$
\mathcal{S}^e = \text{Encoder}(\mathcal{S}^u),
$$
- 其中 $\mathcal{S}^e$ 表示用户兴趣的潜在上下文嵌入
Decoder 以自回归方式生成目标序列 $\boldsymbol{\mathcal{Y} }$，条件为编码的用户上下文 $\mathcal{S}^e$
- 每个解码步骤 $t$ 包含两个子阶段： POI token 生成和创意 token 生成
- 为实现联合学习，论文引入 multi-token prediction （MTP）模块，通过交叉熵损失同时监督 POI 和创意预测
- 所有模块共享相同的 token Embedding 空间和量化 backbone，促进高效训练和一致的生成质量
  - 问题：所有模块的 Embedding 空间是共享的，如何理解量化 backbone 也共享？
  - 回答：这里是指量化相关的 codebook 和参数等共享吧
在步骤 $t+1$， POI Decoder 基于先前生成的 token 和编码的历史序列预测下一个 POI token：
$$
\boldsymbol{a}_{t+1}^{poi} = \text{ POI -Decoder}(\boldsymbol{\mathcal{Y} }_{1:t}, \mathcal{S}^e).
$$
- 注：从图2看，没有明确指出这里 POI Token $\boldsymbol{a}_{t+1}^{poi}$ 的生成依赖创意 Token $\boldsymbol{a}_{t+1}^{img}$，但个人理解其实是应该包含的（不同创意对用户的感知是有影响的，应该包含在上下文中），公式里面也是包含的
随后，创意 Decoder 通过关注 POI 预测和编码上下文预测对应的创意 token：
$$
\boldsymbol{a}_{t+1}^{img} = \text{Creative-Decoder}(\boldsymbol{\mathcal{Y} }_{1:t}, \boldsymbol{a}_{t+1}^{poi}, \mathcal{S}^e).
$$
- 注：图中的 MTP token 不太标准，真实的 MTP 是生成后续的多个 token，本质还是 Casual Model，在论文图2的建模下已经不是 Casual Model 了，但是给出的公式又是 Casual Model，比较迷惑，需要解答
整个目标序列 $\boldsymbol{\mathcal{Y} }$ 的生成建模为条件概率的乘积：
$$
P(\boldsymbol{\mathcal{Y} } \mid \mathcal{S}^u) = \prod_{t=1}^T P(\boldsymbol{a}_t^{poi} \mid \boldsymbol{\mathcal{Y} }_{1:t-1}, \mathcal{S}^e) \cdot P(\boldsymbol{a}_t^{img} \mid \boldsymbol{\mathcal{Y} }_{1:t-1}, \boldsymbol{a}_t^{poi}, \mathcal{S}^e).
$$

排列感知的奖励模型（Permutation-aware Reward Model）

为确保生成的广告序列与真实用户兴趣对齐，论文引入排列感知的奖励模型（RM）指导迭代优化
广告领域的兴趣信号通常来自用户交互（如点击和转化），比人工标注更准确
设 $R(\boldsymbol{\mathcal{Y} })$ 为奖励模型，估计候选目标 item $\boldsymbol{\mathcal{Y} } = \{\boldsymbol{a}_1, \boldsymbol{a}_2, \ldots, \boldsymbol{a}_K\}$ 的奖励信号。每个 token $\boldsymbol{a}_i$ 不一定对应唯一 item ，这增加了奖励模型中监督信号分配的复杂性。为此，论文通过拼接原始 item 嵌入 $\boldsymbol{e}_i^{poi}$ 丰富每个 token 表示：
$$
\boldsymbol{h}_i = [\boldsymbol{a}_i; \boldsymbol{e}_i^{poi}],
$$
- 其中 $[;]$ 表示拼接。目标 item 变为 $\boldsymbol{h} = \{\boldsymbol{h}_1, \boldsymbol{h}_2, \ldots, \boldsymbol{h}_K\}$
目标 item $\boldsymbol{h}$ 通过自注意力层处理，捕捉上下文依赖并聚合序列中的相关信息：
$$
\boldsymbol{h}_f = \text{SelfAttention}(\boldsymbol{h}W^Q, \boldsymbol{h}W^K, \boldsymbol{h}W^V).
$$
为进行细粒度预测（如 POI 和创意图像的pCTR、pCVR），论文为奖励模型增加多任务特定塔：
$$
\hat{r}^{\text{pctr} } = \text{Tower}^{\text{pctr} } \left( \sum \boldsymbol{h}_f \right), \quad \hat{r}^{\text{pcvr} } = \text{Tower}^{\text{pcvr} } \left( \sum \boldsymbol{h}_f \right), \tag{20}
$$
- 其中 $\text{Tower}(\cdot) = \text{Sigmoid}(\text{MLP}(\cdot))$
获得估计奖励 $\hat{r}^{\text{pcvr} }$ 和对应真实标签 $y^{\text{pcvr} }$ 后，通过最小化二元交叉熵损失训练奖励模型。详细训练过程见原文4.4节

基于拍卖的偏好对齐（Auction-based Preference Alignment）

在工业广告场景中，生成式推荐模型需同时满足用户兴趣和关键业务约束。具体需满足两大业务约束：
- i）广告主对有效曝光、bidding 兼容性和支付一致性的需求；
- ii）平台对平衡收入和用户体验的约束（如控制广告曝光比例）
为此，论文提出集成的生成式分配和支付策略进行偏好对齐，包括基于 token-level bidding 的分配模块和分离的 POI-level 支付网络。整体结构如图3所示

token-level Bidding

通过 RQ-VAE 进行 item tokenization 后，原始 item-level bids 不再直接与 token 空间对齐，因 item 和潜在 token 之间存在多对多映射
受 Google token-level bidding 理论启发，论文引入 token-level 分配机制，聚合与每个 token 关联的 item 的 bidding
如式（12）所述，每个 token $\boldsymbol{a}_i = (a_i^1, a_i^2, \ldots, a_i^C)$ 。为保持不同 token 间 bidding 的区分度， token $a_i^j$ 的出价 $b(a_i^j) = \max(b_1, b_2, \ldots, b_{N_i})$，其中 $N_i$ 为与 token $a_i^j$ 关联的 item 数。形式上， token $a_i^j$ 的聚合 bidding 权重定义为：
$$
w(a_i^j) = [b(a_i^j)]^\alpha + \beta = [\max(b_1, b_2, \ldots, b_{N_i})]^\alpha + \beta,
$$
- 其中 $\alpha$ 和 $\beta$ 为超参数
- 调整 $\alpha$ 可灵活控制 bidding 对分配过程的影响；
- 动态调整 $\beta$ 可有效平衡生成结果中广告与自然内容的比例

生成式分配（Generative Allocation）

生成式分配中选择 token $a_i^j$ 的概率通过 softmax 归一化：
$$
z(a_i^j) = \frac{w(a_i^j) \cdot e^{a_i^j} }{\sum_{k=1}^W [w(a^{j,k}) \cdot e^{a^{j,k} }]}, \tag{22}
$$
- 其中 $a^{j,k}$ 为第 $j$ 层的第 $k$ 个码
- 基于生成概率 $z \in \mathbb{R}^{C \times W}$ （ $C$ 为码本层数， $W$ 为每层码本大小）
- 应用 Beam Search 生成 $N_S$ 个长度为 $K$ 的候选序列，确保分配的多样性和高质量选择：
  $$
  \mathcal{S}^{(1)}, \mathcal{S}^{(2)}, \ldots, \mathcal{S}^{(N_S)} = \text{BeamSearch}(z, N_S),
  $$
  - 其中 $\mathcal{S}^{(j)}$ 表示第 $j$ 个生成的候选 token 序列， $N_S$ 为束宽度和生成候选序列数。使用奖励模型 $\mathcal{R}$ 评估每个序列的预期业务价值，输出第 $j$ 个序列的奖励 $\hat{r}_j$：
    $$
    \hat{r}_j = \mathcal{R}(\mathcal{S}^{(j)}).
    $$
最终输出为奖励最高的序列 $\mathcal{S}^*$
奖励模型提供灵活接口，支持平台所需的多样化奖励信号组合

POI-level 支付网络

分配在 token-level 操作，而支付在 item 或 POI-level 计算，更符合传统广告主预期和业务逻辑。分离的支付网络专门设计以满足IC和IR约束，基于 item 表征计算支付
形式上，支付网络输入包括 item 表征 $\mathcal{S}^* = \{y_1, y_2, \ldots, y_K\} \in \mathbb{R}^{K \times d}$、自排除 bidding 配置 $\mathcal{B}^- = \{\boldsymbol{b}_{-1}, \boldsymbol{b}_{-2}, \ldots, \boldsymbol{b}_{-K}\} \in \mathbb{R}^{K \times (K-1)}$ 和期望价值配置 $\mathcal{Z} \cdot \Theta \in \mathbb{R}^{K \times 1}$，其中 $\mathcal{Z} = \{z_1, z_2, \ldots, z_K\}$ 为式（22）定义的分配概率， $\Theta = \{\hat{r}_1^{\text{pctr} }, \hat{r}_2^{\text{pctr} }, \ldots, \hat{r}_K^{\text{pctr} }\}$ 为式（20）中奖励模型估计的排列感知pCTR
支付率定义为：
$$
\hat{p} = \sigma(\text{MLP}(\mathcal{S}^*; \mathcal{B}^-; \mathcal{Z} \cdot \Theta)) \in [0, 1]^K,
$$
- 其中 $\sigma$ 为sigmoid激活函数以满足IR约束，最终 POI-level 支付 $p$ 计算为：
  $$
  p = \hat{p} \odot b.
  $$
注：若 $y_i \in X$ 则支付仅针对广告计算；若 $y_i \in O$ 则自然内容支付为零

优化与训练（Optimization and Training）

整体训练流程如图4所示，每个步骤的详细描述在后面小节：

基于兴趣的预训练（Interest-based Pre-training）

预训练阶段首先训练生成 backbone 以从历史交互行为中捕捉用户兴趣。具体优化两个独立的交叉熵损失：主模块的下一个 POI 预测损失 $\mathcal{L}_{\text{NTP} }$ 和MTP模块的下一个创意预测损失 $\mathcal{L}_{\text{MTP} }$ 。形式上，根据式（17）：
$$
\mathcal{L}_{\text{NTP} } = -\frac{1}{K} \sum_{i=1}^K \log P(\boldsymbol{a}_i^{poi} \mid \boldsymbol{\mathcal{Y} }_{1:i-1}, \mathcal{S}^e), \tag{27}
$$

$$
\mathcal{L}_{\text{MTP} } = -\frac{1}{K} \sum_{i=2}^{K+1} \log P(\boldsymbol{a}_{i-1}^{img} \mid \boldsymbol{\mathcal{Y} }_{1:i-1}, \boldsymbol{a}_i^{poi}, \mathcal{S}^e). \tag{28}
$$

总预训练损失定义为：
$$
\mathcal{L}_{\text{pre-train} } = \mathcal{L}_{\text{NTP} } + \mathcal{L}_{\text{MTP} }.
$$

基于拍卖的后训练（Auction-based Post-training）

预训练阶段后，论文冻结其参数，通过基于拍卖的后训练阶段在拍卖约束下优化生成式广告模型。此阶段将生成输出与平台收入目标和广告主需求对齐，包括两部分：
- i）奖励模型训练，
- ii）基于策略梯度的生成式分配训练，
- iii）基于拉格朗日方法的支付网络优化
奖励模型训练 ：使用用户真实反馈信号（如点击和转化）训练独立奖励模型（RM）。RM通过最小化二元交叉熵损失优化：
$$
\mathcal{L}_{\text{RM} }^{\text{pctr} } = -\frac{1}{|\mathcal{D}|} \sum_{d \in \mathcal{D} } \sum_{i=1}^K \left( y^{\text{pctr} } \log \hat{r}^{\text{pctr} } + (1 - y^{\text{pctr} }) \log(1 - \hat{r}^{\text{pctr} }) \right),
$$
- $y^{\text{pctr} }$ 为真实用户交互的标签
- $\hat{r}^{\text{pctr} }$ 为式（20）中奖励模型的预测概率
- $\mathcal{D}$ 为训练数据集
生成式分配训练 ：奖励模型收敛后，采用基于非自回归策略梯度的方法
- 给定生成的获胜广告序列 $\mathcal{S}^* = \{y_1, y_2, \ldots, y_K\}$，定义每个 item $y_i$ 对平台收入的边际贡献为：
  $$
  r_{y_i} = \sum_{y_j \in \mathcal{S}^*} b_j r_j^{\text{pctr} } - \sum_{y_j \in \mathcal{S}_{-i}^*} b_j r_j^{\text{pctr} },
  $$
  - 其中 $\mathcal{S}_{-i}^*$ 为排除 $y_i$ 的最佳替代广告序列
- 应用策略梯度目标最大化预期奖励：
  $$
  \mathcal{L}_{\text{PG} } = -\frac{1}{|\mathcal{D}|} \sum_{d \in \mathcal{D} } \sum_{y_i \in \mathcal{S}^*} r_{y_i} \log z_{y_i},
  $$
  - 其中 $z_{y_i}$ 为式（22）中 item $y_i$ 的分配概率。此设计鼓励生成器产生更高总收入的序列，使用固定奖励模型参数
支付网络优化 ：支付网络通过拉格朗日对偶形式优化式（8），平衡收入最大化和IC约束，损失函数整合总平台支付和事后遗憾最小化，给定选定序列 $\mathcal{Y}$，支付损失 $\mathcal{L}_{\text{Pay} }$ 定义为：
$$
\mathcal{L}_{\text{Pay} } = -\frac{1}{|\mathcal{D}|} \sum_{d \in \mathcal{D} } \left( \sum_{y_i \in \mathcal{S}^*} p_i \hat{r}_i^{\text{pctr} } - \sum_{y_i \in \mathcal{S}^*} \lambda_i \widehat{\text{rgt} }_i - \frac{\rho}{2} \sum_{y_i \in \mathcal{S}^*} (\widehat{\text{rgt} }_i)^2 \right),
$$
- $\widehat{\text{rgt} }_i$ 为广告 $y_i$ 的事后遗憾
- $p_i$ 为支付网络的预测支付
- $\lambda_i$ 为拉格朗日乘子
- $\rho > 0$ 为 IC 惩罚项超参数
- 通过迭代拉格朗日方法联合优化支付网络，具体步骤如下：
  - 支付网络更新 ：固定乘子，最小化拉格朗日目标优化支付网络参数 $\theta_{\text{Pay} }$：
    $$
    \theta_{\text{Pay} }^{\text{new} } = \arg \min_{\theta_{\text{Pay} } } \mathcal{L}_{\text{Pay} }(\theta_{\text{Pay} }^{\text{old} }, \boldsymbol{\lambda}^{\text{old} }).
    $$
  - 乘子更新 ：基于观测的事后遗憾调整拉格朗日乘子：
    $$
    \boldsymbol{\lambda}^{\text{new} } = \boldsymbol{\lambda}^{\text{old} } + \rho \cdot \widehat{\text{rgt} }(\theta_{\text{Pay} }^{\text{new} }).
    $$
尽管整体目标非凸，但实证结果表明此优化策略能有效最小化遗憾，同时在现实场景中保持接近最优的收入

结论

在本研究中，论文提出了端到端生成式广告（EGA），这是一种新颖的框架，将排序、创意选择、广告分配和支付计算统一到一个生成式模型中，用于广告系统
通过利用分层语义 tokenization、排列感知的奖励建模以及基于 token 的 bidding 和分配机制， EGA 弥合了用户兴趣建模与业务关键拍卖约束（如激励兼容性（IC）和个体理性（IR））之间的差距
论文提出的多阶段训练范式，包括基于兴趣的预训练和基于拍卖的后训练，确保 EGA 在复杂的现实条件下能够同时捕捉用户兴趣和广告主效用
在工业数据集上进行的大量离线实验和大规模在线A/B测试表明，EGA 在多阶段级联架构和最新的生成式推荐基线中均实现了显著改进，包括平台收入、用户体验和广告主投资回报率的提升，同时仅带来极小的延迟开销
论文的消融研究验证了每个设计组件的有效性，并突出了所提出框架的灵活性和可扩展性
展望未来，作者认为 EGA 为生成式建模与经济机制设计在在线广告中的融合开辟了新的方向
未来的工作将进一步探索扩展规律并增强业务可解释性

NLP——技术报告解读-GLM-4.5

注：本文包含 AI 辅助创作

参考链接：
- 原始论文：GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models, Zhipu AI & Tsinghua University, 20250808
- GitHub 地址：github.com/zai-org/GLM-4.5
- 开源 RL 框架：Slime

Paper Summary

论文介绍并开源了 GLM-4.5 系列模型
- 包括两个 MoE 模型： GLM-4.5（355B-A32B 参数）和 GLM-4.5-Air（106B-A12B 参数）
  - 注：之前的 GLM 都是 Dense 模型
- 在 23T token 数据上训练
- GLM-4.5 在 Reasoning、Coding 和 Agentic 任务上表现出色，在全球开源和专有模型中综合排名第 3 位
  - 在 TAU-Bench 上得分 70.1%
  - 在 AIME 24 上得分 91.0%
  - 在 SWE-bench Verified 上得分 64.2%
- GLM-4.5 支持思维（thinking）和直接响应（direct response）两种模式的混合推理方法
评价：与其他模型相比，GLM-4.5 的参数量少得多 ，但在所有评估模型中总体排名第 3 ，在智能体基准测试中排名第 2

Introduction and Discussion

LLM 正迅速从通用知识库 (2020; 2023; 2024) 演变为通用问题解决者
LLM 的终极目标通常与 AGI 相关联，是创造在多个领域具有人类水平认知能力的模型
- 这需要统一掌握复杂问题解决、泛化和自我改进的能力，超越特定任务的卓越性
LLMs 越来越融入现实世界场景，提高实际生产力和解决复杂专业任务的关键在于发展特定的核心能力
论文确定了三个关键且相互关联的能力，作为衡量真正通用模型的标准，即（Agentic, Reasoning, and Coding，简称 ARC）：
- 用于与外部工具和现实世界交互的 Agentic 能力；
- 用于解决数学和科学等领域多步问题的复杂 Reasoning 能力；
- 用于处理现实世界软件工程任务的高级 Coding 技能
像 OpenAI 的 o1/o3 (2024) 和 Anthropic 的 Claude Sonnet 4 这样的最先进专有模型在特定的 ARC 领域（例如，数学推理或代码修复 (2023)）中展示了突破性的性能
- 在以上三个领域都表现出色的、强大的单一开源模型仍然难以实现
- 吐槽：ARC 是 AI2 Reasoning Challenge 数据集的常用简称，这里智谱还用 ARC 来代指其他名词不太合适！
论文介绍了两个新模型：GLM-4.5 和 GLM-4.5-Air，旨在统一所有不同的能力
- 新模型在各个方面都优于现有的开源 LLM 模型，在智能体、推理和编码任务上取得了显著提升
- GLM-4.5 和 GLM-4.5-Air 都具有混合推理模式：
  - 用于复杂推理和智能体任务的思维模式（thinking mode），以及用于即时响应的非思维模式（non-thinking mode）
GLM-4.5 是智谱 AI 的（GLM 系列）的第一个 MoE 模型，总参数量为 355B，激活参数量为 32B
GLM-4.5 在以下 ARC 基准测试中表现出强大的性能：
- 智能体（Agentic）:
  - GLM-4.5 在 TAU-Bench 上得分 70.1%，在 BFCL v3 (2025) 上得分 77.8%，与 Claude Sonnet 4 相当
  - 对于网页浏览智能体，GLM-4.5 在 BrowseComp (2025) 上得分 26.4%，明显优于 Claude Opus 4（18.8%），并接近 o4-mini-high（28.3%）
- Reasoning:
  - GLM-4.5 在一系列具有挑战性的推理基准测试中表现出色，在 AIME 24 上达到 91.0%，在 GPQA (2024) 上达到 79.1%，在 LiveCodeBench (2407-2501) (2024) 上达到 72.9%，在 HLE（Humanity’s Last Exam）(2025) 上达到 14.4%
- Coding:
  - GLM-4.5 在 SWE-bench Verified (2023) 上得分 64.2%，在 Terminal-Bench (2025) 上得分 37.5%，优于 GPT-4.1 和 Gemini-2.5-pro，接近 Claude Sonnet 4
GLM-4.5-Air 是一个较小的 MoE 模型，参数量为 106B
- GLM-4.5-Air 在 100B 规模的模型中实现了显著飞跃，匹配或超越了 Qwen3-235B-A22B (2025) 和 MiniMax-M1 (2025)
在图 1 中，论文展示了在智能体、推理和编码（ARC）任务的 12 个基准测试上的平均性能
- 总体而言，GLM-4.5 排名第 3 ，GLM-4.5-Air 排名第 6
- 在智能体任务上，GLM-4.5 排名第 2，仅次于 OpenAI o3
- 在编码任务上，GLM-4.5 排名第 3，接近 Claude Sonnet 4
- 特别说明：GLM-4.5 具有很高的参数效率，其参数量仅为 DeepSeek-R1 (2025) 的一半，Kimi K2 (2025) 的三分之一
在图 2 中，论文报告了不同开源模型在 SWE-bench Verified 上的得分与模型参数量的关系
- 其中 GLM-4.5 和 GLM-4.5-Air 位于帕累托前沿（Pareto Frontier）
更多评估结果详见第 4 节
GLM-4.5 和 GLM-4.5-Air 的获取渠道
- 可在 Z.ai、BigModel.cn 上获取
- 也可在 huggingface.co/zai-org/GLM-4.5 上作为开源模型获取
- 论文还可在 github.com/zai-org/glm-simple-evals 开源了一个评估工具包 ，以确保论文基准测试结果的可复现性

Pre-Training

Architecture

GLM-4.5 系列采用了 MoE 架构 ，这提高了训练和推理的计算效率
论文为 MoE 层采用了 无损失平衡路由（loss-free balance routing） (2024) 和 sigmoid gates (2024)
与 DeepSeek-V3 (2024) 和 Kimi K2 (K 2025) 不同，论文减小了模型的宽度（隐藏维度和路由专家数量）并增加了其高度（层数），因为论文发现更深的模型表现出更好的推理能力
论文采用了分组查询注意力（Grouped-Query Attention, GQA）并辅以 partial RoPE
论文使用了 2.5 倍多的注意力头（对于 5120 的隐藏维度使用 96 个头）
- 这与直觉相反，虽然增加头数相比头数较少的模型并不能改善训练损失，但它持续改善了在 MMLU 和 BBH 等推理基准测试上的性能
- 论文还加入了 QK 归一化（QK-Norm）(2020) 来稳定 Attention logits 的范围
- 问题：注意力头的倍数一般都是按照模型层数为基础来计算的吧，即 2 倍头表示头数是层数的 2 倍（详情可见 Kimi K2）
对于 GLM-4.5 和 GLM-4.5-Air，论文都添加了一个 MoE 层作为 多 Token 预测（Multi-Token Prediction, MTP）层 (2024) 以在推理过程中支持推测解码（Speculative Decoding）

Pre-Training Data

GLM-4.5 的预训练语料库包含来自网页、社交媒体、书籍、论文和代码仓库的文档
论文为不同来源精心设计了数据处理流程

Web

论文预训练文档的大部分是从互联网爬取的英文和中文网页
受 Nemotron-CC (2024) 的启发
- 论文将爬取的网页按不同质量分数分桶（buckets）
- 论文对来自具有更高质量分数桶的文档进行上采样（up-sample），并丢弃来自具有最低质量分数桶的文档
- 具有最高质量分数的桶在预训练期间贡献了超过 3.2 个 epochs
通过这种方式，预训练语料库可以强调用于推理任务的高频知识，同时也提高了对长尾世界知识（long-tail world knowledge）的覆盖度
论文还发现了大量由模板自动生成并被分配了高分的相似网页
- 这类网页无法通过 MinHash 去重（MinHash deduplication）移除
- 论文额外应用了 SemDedup (2023) 流程，基于文档嵌入（document embeddings）来移除那些相似的网页

Multilingual

为了支持更多自然语言，论文在预训练语料库中包含了多语言文档
多语言语料库来自论文爬取的网页和 Fineweb-2 (2025)
论文应用了一个质量分类器来判断文档的教育效用（educational utility），并对高质量的多语言文档进行上采样

Code

论文从 GitHub 和各种代码托管平台筛选了源代码数据
- 代码语料库经过初步的基于规则的过滤，然后使用特定语言的质量模型进行分类，将样本分为三个等级：高质量、中等质量和低质量
- 在训练期间，论文对高质量代码进行上采样，同时排除低质量样本
论文对所有源代码数据应用了 中间填充（Fill-In-the-Middle）(2022) 训练目标
对于与代码相关的网络文档，论文采用了从文本预训练语料库中进行两阶段检索的过程
- 最初，根据两个标准进行选择：存在 HTML 代码标签，或者由训练用于检测代码相关内容的 FastText (2017) 分类器识别
- 随后，检索到的文档使用专用模型进行质量评估，该模型将它们分为高、中、低质量类别，遵循与源代码相同的基于质量的采样策略
- 最后，采用细粒度解析器（fine-grained parser）重新解析选定的网页，以更好地保留代码的格式和内容

Math & Science

为了增强推理能力，论文从网页、书籍和论文中收集了与数学和科学相关的文档
论文应用一个大语言模型根据关于数学和科学的教育内容比例对候选文档进行评分，并训练一个小型分类器来预测这些分数
- 预训练语料库中分数高于某个阈值的文档会被上采样
GLM-4.5 的预训练过程分为两个阶段
- 在第一阶段，模型主要在来自网页的通用文档上进行训练
- 在第二阶段，论文对来自 GitHub 的源代码以及与编码、数学和科学相关的网页进行上采样

Mid-Training: Boost Reasoning & Agentic Capacity

预训练之后，论文增加了几个阶段来进一步提升模型在重要应用领域的性能
与传统的在大规模通用文档上进行预训练不同，这些训练阶段利用中等规模的领域特定数据集，包括指令数据
论文将这些训练阶段称为 中期训练（mid-training）
中期训练包括以下内容
- 仓库级代码训练（Repo-level Code Training）
  - 在这个训练阶段，论文添加来自同一代码仓库（repository）的串联代码文件，以学习跨文件依赖（cross-file dependency）
  - 为了提高模型的软件工程能力，论文还包括了模型筛选过的来自 GitHub 的议题（issues）、拉取请求（pull requests, PRs）和提交（commits），将相关的议题、PRs 和提交串联到一个上下文中，并以类似 diff 的格式组织提交
  - 论文将训练序列长度从 4K 扩展到 32K，以容纳大型代码仓库
- 合成推理数据训练（Synthetic Reasoning Data Training）
  - 在这个阶段，论文为数学、科学和编程竞赛添加合成推理内容
  - 论文从网页和书籍中收集了大量与推理任务相关的问题和答案，并使用推理模型合成了推理过程
- 长上下文与智能体训练（Long-context & Agent Training）
  - 为了进一步提升模型的长上下文性能，论文将训练序列长度从 32K 扩展到 128K，并对预训练语料库中的长文档进行上采样
  - 大规模合成的智能体轨迹（agent trajectories）也在此阶段加入
在图 3 中，论文展示了预训练和中期训练的完整阶段
- 最大序列长度在预训练期间保持在 4,096
- 在中期训练期间从 32,768 扩展到 131,072
- 在预训练期间，论文没有使用 best-fit packing (2024)，因为随机截断（random truncation）对于预训练文档来说是一种很好的数据增强策略
- 对于中期训练中的数据集，论文应用了最佳适配打包，以避免截断推理过程或仓库级代码

Hyper-Parameters

优化器方面：
- 论文对除词嵌入（word embedding）、偏置（bias）和 RMSNorm 权重之外的所有参数使用了 Muon 优化器 (2024; 2025)
- 论文观察到 Muon 优化器可以加速收敛并容忍更大的批次大小
对于超参数
- Newton-Schulz 迭代步数 $N$ 设为 5
- 动量（momentum）$\mu$ 设为 0.95
- 将 Muon 的更新 RMS 缩放为 0.2
学习率调度：
- 论文使用 余弦衰减调度（cosine decay schedule）来调整学习率，而不是预热-稳定-衰减（warmup-stable-decay, WSD）调度 (2025)
- 论文早期的实验表明，使用 WSD 调度训练的模型在通用基准测试（SimpleQA, MMLU）上表现更差，表明在稳定阶段存在欠拟合（underfitting）
- 学习率经历了从 0 到 2.5e-4 的预热阶段和衰减到 2.5e-5 的阶段，直到中期训练结束
论文使用了批次大小预热策略（batch size warmup strategy）
- 在训练前 500B 个 Token 的过程中，批次大小从 16M 个 Token 逐渐增加到 64M 个 Token，并在剩余的训练中保持恒定
对于正则化（regularization）
- 论文将权重衰减比率（weight decay ratio）设置为 0.1，并且没有使用 dropout
论文在预训练期间将最大序列长度设置为 4,096，并在中期训练阶段将其扩展到 32,768 和 131,072，如图 3 所示
当将序列长度扩展到 32K 时，论文还将 RoPE 的基础频率（base frequency）从 10,000 调整到 1,000,000，以获得更好的长上下文建模能力
- 问题：直接修改 base frequency 是可以的吗？
对于无损失平衡路由
- 论文在前 15T 个 Token 中将偏置更新率（bias update rate）设置为 0.001，在剩余的 Token 中设置为 0.0
- 论文还应用了权重为 0.0001 的辅助序列级平衡损失（auxiliary sequence-level balance loss） ，以避免任何单个序列内的极端不平衡
MTP 损失权重 $\lambda$ 在前 15T 个 Token 中设置为 0.3，在剩余的 Token 中设置为 0.1

Post-Training: Expert Model Iteration

论文将后训练过程分为两个不同的阶段
在阶段1（专家训练，Expert Training）中，论文构建了专精于三个领域的专家模型：
- Reasoning、 Agent 和通用对话（General chat）
在阶段2（统一训练，Unified Training）中，论文采用自蒸馏（self-distillation）技术来整合多个专家，最终交付一个能够通过审慎推理（deliberative reasoning）和直接响应（direct response）两种模式生成响应的综合性模型

SFT

在阶段1（专家训练）和阶段2（统一训练）的开始都进行了 SFT
在专家训练阶段，SFT 的主要作用是提供冷启动（cold start），赋予模型基本的对话、推理和工具使用能力，这些能力随后可以在后续的专家 RL 训练中得到进一步增强，以实现更好的性能
在统一训练阶段，SFT 的目的是将不同专家模型的能力蒸馏（distill）到一个能够处理不同类型任务的混合推理多面手（hybrid reasoning generalist）模型中
冷启动 SFT (Cold Start SFT)
- 在冷启动阶段，论文利用一小部分带有扩展 CoT 响应的 SFT 数据
- 这种方法确保了每个专家模型在进入强化学习阶段之前都具备足够的基础能力
整体 SFT (Overall SFT)
- 在整体 SFT 阶段，论文从先前训练好的专家模型中收集了数百万个样本 ，涵盖以下内容：
  - 推理任务（数学、代码、科学等）
  - 通用对话（写作、翻译、摘要、闲聊等）
  - 智能体任务（基本工具使用、编码能力，特别是真实项目开发等）
  - 长上下文理解任务
- 使用最大上下文长度为 128K Token 的基础模型进行训练
- 通过从不同专家的输出中进行蒸馏，模型学会了为每个任务应用最有效的长思维链推理来得出正确答案
- 特别是，考虑到对于需要快速响应的某些领域（如闲聊）而言，冗长的思考过程是不必要的，论文精心平衡了包含完整推理的训练数据和不包含显式思维过程的训练数据
- 这种方法使得模型能够在反思性（reflective）和即时响应（immediate response）两种模式下运行，从而创建了一个混合推理模型（hybrid reasoning model）
此外，论文发现以下策略有助于准备 SFT 数据以获得最佳性能：

减少函数调用模板中的字符转义 (Reducing Character Escaping in Function Call Templates)

当前函数调用参数主要以 JSON 格式表示，但当这些参数包含代码段时，一个重大挑战就出现了
- 在这种情况下，代码中很大比例的字符需要进行转义，迫使模型生成大量的转义字符，从而增加了模型的学习负担
- 这个问题对于主要为通用对话设计的模型来说影响很小，但对于以函数调用为核心能力的智能体基础模型来说，这是一个不容小觑的挑战
为了缓解这一限制，论文提出了一种新颖的函数调用模板，它将函数调用的键和值封装在类似 XML 的特殊 Token 标签内
- 这种方法大大减少了代码段中对字符转义的需求，因为绝大多数代码可以以其原生形式表示而无需转义
实验结果表明，所提出的函数调用模板在减少转义的同时，并未损害函数调用执行的性能
图 4 中的示例说明了论文提出的函数调用模板的结构（详细的代码实现可以在论文的开源仓库中找到）

图 4 的内容如下所示（Figure 4: One example of function call template.）：

<|system|> # Tools
You may call one or more functions to assist with the user query.
You are provided with function signatures within <tools></tools> XML tags:
<tools>
{"name": "get_weather", "description": "Get the weather of a city for a specific date.", "parameters": {" type": "object", "properties": {"city": {"type": "string", "description": "The city to get weather for, in Chinese."}, "date": {"type": "string", "description": "The date in YYYY-MM-DD format."}}, "required": ["city"]}}
</tools>
For each function call, output the function name and arguments within the following XML format: <tool_call>{function-name}
<arg_key>{arg-key-1}</arg_key>
<arg_value>{arg-value-1}</arg_value>
<arg_key>{arg-key-2}</arg_key>
<arg_value>{arg-value-2}</arg_value>
...
</tool_call><|system|>
You are a helpful assistant.<|user|>
Today is June 26, 2024. Could you please check the weather in Beijing and Shanghai for tomorrow<| assistant|>
<think>The user wants to check the weather of Beijing and Shanghai tomorrow. I need to call the get_weather function respectively to check Beijing and Shanghai.</think>
I will call the get_weather function to check the weather in Beijing and Shanghai. <tool_call>get_weather
<arg_key>city</arg_key>
<arg_value>Beijing</arg_value>
<arg_key>date</arg_key>
<arg_value>2024-06-27</arg_value>
</tool_call>
<tool_call>get_weather
<arg_key>city</arg_key>
<arg_value>Shanghai</arg_value>
<arg_key>date</arg_key>
6
<arg_value>2024-06-27</arg_value>
</tool_call><|observation|>
<tool_response>
{"city": "Beijing", "date": "2024-06-27", "weather": "Sunny", "temperature": "26C"} </tool_response>
<tool_response>
{"city": "Shanghai", "date": "2024-06-27", "weather": "Overcast", "temperature": "29C"} </tool_response><|assistant|>
<think>I have obtained the weather query results of get_weather for Beijing and Shanghai respectively and
can reply to users directly.</think>
It will be sunny in Beijing tomorrow with a temperature of 26 degrees Celsius. The weather in Shanghai is
overcast with a temperature of 29 degrees Celsius.<|user|>

拒绝采样 (Rejection Sampling)
- 从专家模型采样时，论文采用了一个全面的多阶段过滤流水线，包括：
  - (1) 移除重复、过短或截断的样本，以及那些未能符合有效推理格式的样本；
  - (2) 对具有客观答案的样本进行正确性验证；
  - (3) 利用奖励模型（reward models）过滤对主观问题的响应；
  - (4) 对于工具调用场景，确保遵守正确的工具调用协议并验证轨迹（trajectories）是否达到了预期的终止状态
提示选择与响应级别缩放 (Prompt Selection and Response-Level Scaling)
- 过滤具有挑战性的 Prompt 并对其执行响应缩放（response scaling）被证明是有效的
- 论文尝试移除了基于响应长度排序的后 50% 的 Prompt，尽管只使用了一半的数据进行训练，但在数学和科学任务上仍取得了 2%-4% 的性能提升
- 值得注意的是，论文发现对这些有挑战性的困难 Prompt 应用响应缩放可以带来进一步的收益
  - 为每个 Prompt 生成四个响应带来了额外的 1%-2% 的提升
  - 问题：如何理解这里的四个响应？
自动智能体 SFT 数据构建 (Automatic Agentic SFT Data Construction) 智能体 SFT 数据的构建涉及四个步骤：
- 1. 智能体框架与工具收集 (Agentic Framework and Tool Collection) ：
  - 论文收集一组智能体框架和真实世界的工具 API 及 MCP 服务器，同时利用 LLM 自动构建和模拟一批工具
- 2. 任务合成 (Task Synthesis) ：
  - 基于第一步收集的框架和工具，论文自动合成一组智能体任务
    - 对于相对成熟的框架，论文利用 LLM 来理解其功能并自动生成相关的查询或任务
    - 对于更零散或不同的工具，论文首先选择一个有代表性的子集，并同样使用 LLM 来构建关于这个子集的任务
  - 这些任务涵盖了单步和多步工具调用场景
- 3. 轨迹生成 (Trajectory Generation) ：
  - 对于每个合成的任务，论文利用现有的 LLM 生成工具调用轨迹
  - 此外，通过将 LLM 用作用户模拟器（user simulator），多步工具调用任务被转换为涉及多轮对话的轨迹
- 4. 质量过滤 (Quality Filtering) ：
  - 对于每条轨迹，使用多个评判智能体（judge agents）来评估任务是否完成
  - 只保留成功的轨迹

Reasoning RL

推理强化学习（Reasoning RL）侧重于增强模型在需要逻辑演绎、结构化问题解决和可验证准确性的领域的能力
- 包括数学、代码生成和科学推理等关键领域
这些任务的一个决定性特征是其奖励信号的高精度，因为正确性通常可以通过程序化或客观明确的方式来确定
- 在这些领域的精通不仅对于提升模型的原始智能至关重要，也是构建更复杂、多步骤智能体行为的基本组成部分
认识到推理 RL 中的独特挑战和机遇，论文开发了一套专门的技术来有效训练论文的模型
这些方法详述如下，旨在解决训练效率、样本多样性和数据质量等问题
- 论文的整体 RL 算法建立在 GRPO (2024) 框架之上，排除了 KL 散度损失项
- 本节中展示的比较曲线基于论文较小的实验模型，而非 GLM-4.5

Difficulty-based Curriculum Learning

在强化学习过程中，模型的熟练度会不断演变，与静态的训练数据产生不匹配
- 在后期阶段，随着模型能力增强，过于简单的数据会导致产生的轨迹（rollouts）奖励全部为 1
- 在早期阶段，过于困难的数据通常会导致整批数据的奖励都为 0
- 在这两种情况下，奖励缺乏方差，无法提供有用的梯度信号，严重阻碍了训练效率
为了解决这一挑战，论文在 RL 中采用了基于难度的两阶段课程（two-stage difficulty-based curriculum）
下面讨论的此策略及其他策略的有效性通过在一个较小模型上进行的对照实验得到了验证，该设置允许快速迭代和精确的消融研究
如图 5 所示，这种两阶段方法使模型能够持续超越其性能上限
关键点：为了保持高信号质量并减少噪声，第二阶段使用的所有问题都严格来源于一个包含已验证正确答案的题库
- 问题：这里是说第一阶段有非验证过的题库吗？

Single-Stage RL at 64K Output Length

先前的研究 (2025) 建议在多个阶段进行 RL，并逐步增加最大输出长度，但论文的实验表明，这种多阶段方法的效果不如直接在最大目标长度 64K 下进行的单阶段 RL 过程
由于初始的 SFT 已经让模型适应了生成 64K 长度响应，引入具有较短最大长度的 RL 阶段会导致模型“遗忘”（unlearn）其长上下文能力
- 这通常会导致性能显著且不可逆的下降，因为模型的平均输出长度减少了
- 这种性能退化在最终的 64K 长度 RL 阶段难以恢复，从而限制了进一步的改进
论文的实验证实了这一观察结果：如图 6 所示，直接在完整的 64K 长度上应用 RL 能够持续推动模型的极限并获得更好的性能

Dynamic Sampling Temperature

在 RL 过程中，采样温度（sampling temperature）是控制轨迹多样性的关键参数
- 温度过低会导致输出收敛、探索性不足
- 温度过高则会引入低质量、噪声大的样本 ，损害模型准确性和训练效率
使用固定的采样温度是次优的，因为它无法适应策略分布变得更加集中（即熵更低）的情况，通常导致后期阶段探索不足
论文提出动态调整采样温度 ，以在准确性和探索性之间保持健康的平衡
- 当轨迹的平均奖励稳定时，论文将其识别为收敛阶段 ，并提高采样温度以鼓励更大的多样性
为了减轻引入过多噪声的风险，论文实施了一个质量控制机制：
- 定期在一系列温度下，在保留的验证集上评估模型性能 ：将下一训练阶段的温度设置为不会导致性能从当前最优值下降超过 1% 的最大值 (2025)
- 理解：相当于定期模拟一下，这是在自动选择超参数

Code and Science RL

与数学相比，针对编码和科学领域的 RL 在文献中受到的关注较少
- 论文在这些领域进行了广泛的对照 RL 实验，并得出了以下经验性结论
对于代码 RL ，论文发现损失计算的选择对训练效率至关重要
- 如图 7（左）所示，与传统的序列平均损失（sequence-mean loss）相比，采用 Token 加权平均损失（token-weighted mean loss）非常有益
  - 补充说明1：序列平均损失 ：先计算每个序列内的平均损失，即把每个序列中所有 token 的损失相加，再除以该序列的 token 数，然后再对批次中所有序列的平均损失进行平均
    - 长序列的 Token 相当于被降低关注度了
  - 补充说明2：Token 加权平均损失 ：直接计算所有 token 的损失的平均值，即把一个批次中所有目标 token 的损失相加，再除以 token 的总数
    - 在这种方式下，每个 token 在损失计算中具有相同的权重
- Token 加权方法提供了更细粒度和更稳定的梯度信号，从而带来显著更快的收敛速度
- 该方法还有助于缓解序列级奖励中固有的长度偏差，并有效抑制训练过程中生成过于简单或重复的“基本情况”（base case）样本
对于科学 RL ，论文在 GPQA-Diamond 基准测试中的发现强调，数据质量和类型是至关重要的因素
- 如图 7（右）所示，在 RL 中 exclusively 使用经过专家验证的多项选择题，与使用混合质量或未验证数据训练相比，能带来显著更好的性能
- 这一结果强调，即使对于像多项选择题这样简单格式的任务 ，严格过滤 RL 数据池以仅包含高质量、具有挑战性的实例 ，对于有效的模型改进也至关重要

Agentic RL

RLHF 帮助语言模型更忠实地遵循人类指令
将 RL 应用于数学和编程竞赛进一步揭示了模型在结果可被客观验证的任务上具有强大的推理能力和良好的扩展行为
论文专注于智能体设置，特别是网络搜索和代码生成智能体，其中每个动作或答案都可以被自动检查
这种内置的可验证性提供了密集、可靠的奖励，使论文能够更有效地扩展 RL 训练

Data Collection and Synthesis for Agents

对于网络搜索任务和开放域信息寻求（open-domain information seeking）
- 论文开发了一个数据合成流水线，该流水线产生需要跨多个网络来源进行多步推理的高要求问答对
- 该语料库旨在磨练 GLM 在互联网上发现难以捉摸、相互交织的事实的能力
- 数据集构建融合了两种方法：
  - (1) 一个由知识图谱上的多跳推理驱动的自动化流水线
  - (2) 人工参与循环（human-in-the-loop）从几个网页中提取和选择性混淆内容，以准备强化学习的训练信号
对于软件工程任务
- 论文策划了一个广泛的 GitHub Pull Requests 和 Issues 集合，以创建一个包含用户提示和可执行单元测试的真实软件开发基准
- 所有评估都在一个具有分布式系统的强化沙箱（hardened sandbox）内运行，该沙箱提供了水平可扩展性和强大的隔离保证

Pushing the Limits with Reinforcement Learning and Iterative Self-distillation

论文采用分组策略优化（group-wise policy optimization）算法进行 RL 训练
- 问题：这里的分组策略优化（group-wise policy optimization）算法具体是什么？和 GRPO 有何区别？
对于每个问题 $x$，论文从先前的策略 $\pi_{\text{old} }$ 中采样 $K$ 个智能体轨迹 $\{y_{1},\ldots,y_{k}\}$，并针对以下目标优化模型 $\pi_{\theta}$：
$$L_{\text{RL} }(\theta)=\mathbb{E}_{x\sim\mathcal{D} }\left[\frac{1}{K}\sum_{i=1}^ {K}\left(r(x,y_{i})-\bar{r}(x)\right)\right],$$
- 其中 $\bar{r}(x)\ =\ \frac{1}{k}\sum_{i=1}^{k}r(x,y_{i})$ 是采样响应的平均奖励
需要注意的是，只有模型生成的 Token 用于优化，环境反馈在损失计算中被忽略
带有过程动作格式惩罚的结果监督 (Outcome Supervision with Process Action Format Penalty)
- 对于网络搜索任务，论文使用最终答案的准确性作为整个智能体轨迹的奖励
- 对于编码智能体，论文主要利用带有可验证测试用例的 SWE 数据进行 RL 训练
- 论文的实验表明：在网络搜索和 SWE 任务上的 RL 训练能够带来其他任务和基准测试的泛化性能改进
  - 例如通用工具使用和 Terminal-Bench 等编码任务
- 论文应用过程格式惩罚（process format penalty）来确保模型生成正确的工具调用格式
  - 如果模型在智能体轨迹生成过程中未能产生正确的工具格式，过程将被停止，并且该轨迹将获得零奖励
迭代蒸馏 (Iterative Distillation)
- 由于在智能体任务上进行 RL 训练非常耗时，论文采用了一种自蒸馏方法，在恢复对改进模型的 RL 训练之前，迭代地增强 SFT 冷启动模型的性能
- 首先在初始冷启动模型上执行 RL 训练以提升智能体性能
- 训练达到一定步数或进入平台期后，用 RL 训练模型生成的响应替换原始的冷启动数据来进行自蒸馏 ，从而创建一个更优的 SFT 模型
- 然后在这个增强的模型上进行进一步的 RL 训练，逐步增加训练难度
- 这种迭代策略使论文能够有效地突破 RL 训练模型的性能极限
通过交互轮次扩展测试时计算 (Scaling Test-time Compute via Interaction Turns)
- 对于智能体任务，论文观察到随着与环境交互轮次的增加，性能有显著提升
- 与推理模型中通过扩展输出 Token 来进行测试时扩展（test-time scaling）不同，智能体任务通过持续与环境交互来利用测试时计算
  - 例如：广泛搜索 hard-to-find 网络信息 ，或 为编码任务编写测试用例进行自我验证和自我修正
- 图 8 显示，随着浏览努力程度（browsing effort）的变化，准确率随测试时计算平滑扩展

General RL

通用强化学习（General RL）旨在全面改善模型的整体性能，修复潜在问题，并加强关键能力
论文方法的核心是一个多源反馈系统，它协同基于规则的反馈（rule-based feedback）、人类反馈（RLHF）和基于模型的反馈（RLAIF）
这种混合框架提供了更鲁棒的训练信号 ，并允许我们利用每个来源的独特优势：自动化规则的精确性、人类标注员的细致判断以及 AI 驱动评估的可扩展性

Holistic RL

整体 RL 的目标是在不同领域获得广泛的性能提升
论文构建了一个包含约 5000 个 Prompt 的平衡数据集，涵盖 7 个主要类别、33 个次要类别和 139 个三级类别
整体 RL 的奖励信号来源于人类和 AI 的反馈
- 对于人类反馈，论文在偏好标注（preference annotations）上训练了一个奖励模型
  - 标注员比较模型响应，并基于对多个维度的综合评估（如指令遵循、安全性和事实正确性）分配偏好标签
- 对于模型反馈，论文设计了独立的评分标准（scoring rubrics），其取决于 Prompt 是否具有客观的真实答案
合并两个反馈源会产生更可靠和更具表现力的奖励信号，减轻了每种个体方法固有的局限性
指令遵循 RL (Instruction Following RL)
- 指令遵循 RL 提高了模型理解和满足复杂指令的能力
- 为了实现这一点，论文创建了一个细粒度的分类法，包含 7 个主要和 151 个次要约束类型，涵盖了内容要求、格式规则等
- 基于此分类法，组装了一个专门的具有挑战性指令的训练集，以覆盖每种约束类型
- 反馈系统由以下三个部分组成：
  - 确定性验证规则
  - 一个训练好的奖励模型
  - 一个批评模型（critique model）
- 这种混合反馈系统的鲁棒性在 GRPO 训练过程中被证明至关重要
- 论文观察到 Reward Hacking 行为得到缓解，使得策略模型能够在指令遵循方面实现持续稳定的改进，如图 9 所示
函数调用 RL (Function Calling RL)
- 函数调用 RL 分为 Step-wise Rule-based RL 和 End-to-end Multi-turn RL
- 论文将 Step-wise Rule-based RL 直接纳入论文的通用 RL 框架，因为它们的输出长度和收敛速度相似
- 对于 End-to-end Multi-turn RL，论文首先训练专门的专家模型，然后将这些专家蒸馏到主模型中
Step-wise Rule-based RL ：
- 对于具有清晰工具调用过程的任务，论文在训练数据中为每个步骤/轮次标注真实值（ground truth）函数调用
- 给定任务和先前步骤/轮次的函数调用，模型被训练生成下一个助手响应，该响应可以是一个函数调用或对用户的响应
- 使用基于规则的奖励，论文指导模型在连续轮次中做出正确的函数调用
- 相应地，论文设计了以下严格的奖励函数：
  $$\text{Reward}=\begin{cases}1,&\text{if } \texttt{FormatCorrect}(a_{t})\text{ and }\texttt{Match}(a_{t},a^{*}_{t})\\ 0,&\text{otherwise}\end{cases}$$
  - $a_{t}$ 表示模型生成的第 $t$ 个函数调用
  - $a^{*}_{t}$ 是对应的真实值函数调用
  - 只有当 $a_{t}$ 格式正确且与真实值完全匹配（包括名称、参数和每个字段）时，才会给予 1 的奖励；否则，奖励为 0
- 如此严格的奖励规则不仅指导模型生成正确的函数调用，而且强有力地强制执行输出格式，提高了模型在实际交互中的可用性和鲁棒性
End-to-end Multi-turn RL ：
- Step-wise Rule-based RL 将任务分解为静态的、预定的决策流
  - 在这个过程中，模型缺乏与环境的动态交互，无法自主探索、规划或处理复杂情况，从而使其现实世界的问题解决能力受到限制
- 为了解决这些问题，论文引入了端到端多轮函数调用 RL，模型首先生成完整的轨迹，然后根据任务完成情况获得奖励
  - 通过这种方式，模型可以通过与工具反馈的持续试错来优化其动作策略，显著增强其自主规划和决策能力
  - 具体来说，端到端多轮函数调用 RL 考虑两种类型的复杂任务：
    - 1. 单轮多步任务（single-turn multi-step tasks） ：模型需要进行多步函数调用并与环境交互来完成此类任务。论文使用基于 MCP 服务器自动合成的复杂任务，以及一些带有可运行环境的开源智能体数据集，例如 Agentgym (2024)
    - 2. 多轮多步任务（multi-turn multi-step tasks） ：除了与工具执行环境交互外，模型还需要与 LLM 模拟的用户智能体交互，以获取完整的任务信息并完成整体任务。端到端多轮函数调用 RL 的奖励计算如下：
      $$\text{Reward}=\begin{cases}1,&\text{if } \texttt{FormatCorrect}(a_{1},\ldots,a_{T })\text{ and }\texttt{TaskCompleted}(I,o_{0},a_{1},o_{1},\ldots,a_{T},o_{T})\\ 0,&\text{otherwise}\end{cases}$$
      - $I$ 指的是原始的复杂任务
      - $a_{t}$ 是第 $t$ 个函数调用
      - $o_{t}$ 是工具反馈或用户信息
    - $\texttt{TaskCompleted}(I,o_{0},a_{1},o_{1},\ldots,a_{T},o_{T})$ 表示任务是否完成，这由环境根据预定义规则或由 LLM 评判智能体（LLM Judge Agent）决定
病理 RL (Pathology RL)
- 作为后训练的最后阶段，通用 RL 需要纠正潜在的问题，例如语言混合（language mixing）、过度重复（excessive repetition）和格式错误（formatting mistakes）
- 尽管在上述通用 RL 任务中惩罚此类行为是有效的，但这些病理现象的低发生率（通常低于输出的 1%）使得这是一种样本效率低下的优化策略
- 论文通过识别极有可能触发这些病理行为的 Prompt ，策划了一个有针对性的数据集用于 Pathology RL
- 在此数据集上进行训练使论文能够施加有效的惩罚，进一步降低这些问题行为的残余错误率

RL Infrastructure

论文的 RL 基础设施建立在 Slime 之上，这是智谱开发的一个开源框架
该框架经过多项关键优化设计，以增强灵活性、效率和可扩展性

Flexible Hybrid Training and Data Generation Architecture

论文基础设施的一个核心特性是其在单一统一系统内支持高度灵活的训练范式和数据生成策略
通过支持协同定位的同步模式（colocated, synchronous mode）和分离的异步模式（disaggregated, asynchronous mode），这种设计使论文能够满足各种 RL 任务的 distinct 需求
数据生成的这种灵活性对于将论文的 RL 能力扩展到新领域和更复杂的智能体环境至关重要
论文观察到不同的 RL 任务受益于不同的调度方法
对于通用目的的 RL 任务或旨在增强模型推理能力（例如，在数学和代码生成方面）的任务，同步、协同定位的架构更有效
- 在这种设置中，训练和推理引擎位于同一个工作节点（worker）上
- 这与动态采样相结合，显著减少了 GPU 空闲时间并最大化资源利用率
相反，对于智能体任务，例如软件工程（SWE）中的任务，数据生成过程通常耗时较长且涉及复杂的系统交互
- 为了确保智能体环境能够持续运行并最大化数据吞吐量，论文采用了分离的异步模型
RL 框架的 rollout 组件直接暴露给智能体环境，而用于训练和推理的 GPU 则被独立调度
这种解耦使得智能体环境能够不断生成新数据，而不会被训练周期阻塞
通过利用 Ray 框架的资源调度和异步能力，我们可以灵活地将推理和训练引擎放置在同一个 GPU 上或不同的 GPU 上
这种对同步和异步训练的双重支持允许不同的 RL 任务共享一套共同的底层优化，用于训练和推理

Accelerated Rollout with Mixed-Precision Inference

Rollout 效率是 RL 训练中一个持续的瓶颈
为了解决这个问题，论文的基础设施支持使用 BF16 进行训练，同时利用 FP8 进行推理以加速数据生成阶段
在每个策略更新迭代期间，论文在模型参数被分发用于 rollout 之前，对它们执行在线的、分块（block-wise）的 FP8 量化（quantization）
这种动态量化实现了高效的 FP8 推理，显著提高了数据收集过程的整体吞吐量

Agent-oriented RL Infra Design

为了对智能体任务进行 RL，论文设计了一个完全异步和解耦的 RL 基础设施，该设施能高效处理长视野（long-horizon）的智能体 rollout，并支持跨不同智能体框架的灵活多任务 RL 训练
智能体 rollout 通常需要与复杂环境进行长时间的交互，这会显著减慢整个 RL 训练过程。为了克服这一点：
- 论文首先设计了一个高并发的基于 Docker 的运行时（runtime），为每个任务提供隔离的环境，从而 drastically 减少 rollout 开销
- 此外，论文实现了一个完全异步的 RL 训练循环
  - 因为智能体任务在类型和轨迹长度上可能各不相同，同步 RL 训练通常会导致严重的 GPU 利用率不足，因为工作节点（workers）需要等待最慢的 rollout 完成
- 论文的方法将 GPU 划分为专用的 rollout 引擎和训练引擎：
  - rollout 引擎持续生成轨迹
  - 训练引擎更新模型权重并定期将其同步回 rollout 引擎
- 这种解耦的设计防止了长轨迹或多样化轨迹阻塞整个训练流水线，从而实现了持续的高吞吐量，特别是在智能体交互高度可变的情况下
另一个关键挑战是现有智能体框架的多样性 ，这些框架针对不同的任务量身定制
- 利用这些框架不仅可以提高特定任务的性能，还可以保持训练和推理之间的一致性
- 为了实现这一点，论文引入了一个统一的 HTTP 端点接口（HTTP endpoint interface）coupled with 一个集中式数据池（centralized data pool）
- 由于大多数智能体框架以消息列表（message-list）格式产生 rollout ，所有轨迹都存储在这个数据池中，该数据池作为训练的共享源
- 这种架构清晰地将特定任务的 rollout 逻辑与 RL 训练过程解耦，实现了异构智能体框架的无缝集成
- 此外，数据池支持可定制的、特定于任务的过滤和动态采样策略，以确保跨不同任务的高质量 RL 训练数据
通过这两个核心设计，论文的系统为长视野智能体 RL（long-agentic RL）提供了一个可扩展、灵活和高性能的解决方案，并且能够支持长视野 rollout 并适应广泛的智能体任务
- 理解：这里的核心设计应该是指：异步和解耦

Evaluation

Evaluation of Base Models

论文首先评估了论文的基础模型 GLM-4.5-Base 的性能
表 2 展示了论文基础模型预训练最后检查点的对比结果
请注意，基础模型未在指令数据上进行训练，且 GLM-4.5-Base 的分数来自智谱的内部评估框架
结果表明，GLM-4.5-Base 在所有不同的基准测试中表现稳定，包括英语、代码、数学和中文，这验证了论文将所有能力统一到一个模型中的想法

在 12 个 ARC 基准测试上的评估 (Evaluation on 12 (ARC) Benchmarks)

论文进一步在完成训练后（Post-Training）评估了论文完整的 GLM-4.5 模型在所有智能体（Agentic）、Reasoning和Coding（ARC）任务上的表现，涵盖了 12 个基准测试：MMLU-Pro、AIME 24、MATH-500、SciCode、GPQA、HLE、LCB (2407-2501)、SWE-Bench Verified、Terminal-Bench、TAU-Bench、BFCL V3、BrowseComp

Evaluation of Agentic Abilities

论文从两个方面评估 GLM-4.5 的智能体能力：
- 第一：TAU-bench (2024)（包括零售和航空领域）和 Berkeley Function Call Leaderboard V3 (BFCL V3) (2025)
  - 衡量模型调用用户定义函数以回应用户查询的能力
- 第二：BrowseComp (2025)
  - 衡量模型作为网页浏览智能体为复杂问题寻找正确答案的能力
- 对于 TAU-bench，论文在零售和航空领域都使用了优化的用户模拟器（参见图 11）
评估结果（如表 3 所示）：
- 在 TAU-bench 上，GLM-4.5 的表现优于 Gemini 2.5 Pro，并与 Claude Sonnet 4 接近
- 在 BFCL V3 上，GLM-4.5 在基线模型中取得了最佳总分
- 在 BrowseComp 上，OpenAI o3 的性能远优于其他模型
- GLM-4.5 的表现接近第二好的模型（o4-mini），并且显著优于 Claude Opus 4
论文使用的用户提示（user prompt）可以在下面的图 11 中找到

以下是图11 的内容（Figure 11: One example of user prompt we used for TAU-bench.）

You are a user interacting with an agent.{instruction_display}
# Rules:
- Just generate one line at a time to simulate the user’s message.
- Do not give away all the instruction at once. Only provide the information that
is necessary for the current step.
- Do not hallucinate information that is not provided in the instruction. Follow
these guidelines:
1. If the agent asks for information NOT in the instruction:
- Say you don’t remember or don’t have it
- Offer alternative information that IS mentioned in the instruction
2. Examples:
- If asked for order ID (not in instruction): ‘‘Sorry, I don’t remember the order
ID, can you search for it? My name/email/phone number/zipcode is ...’’
- If asked for email (not in instruction): ‘‘I don’t have my email handy, but I
can give you my name and zip code which are...’’
- Do not repeat the exact instruction in the conversation. Instead, use your own
words to convey the same information.
- Try to make the conversation as natural as possible, and stick to the
personalities in the instruction.
# Constraint Handling:
- Provide requests strictly based on what is explicitly stated in the instruction.
- Do not assume, extend, substitute, or generalize in any form.
- Do not modify or relax constraints on:
- Time / Date
- Budget
- Specific terms (e.g., ‘‘same’’ must not be replaced with ‘‘similar’’)
- Core Rule: Any attribute NOT mentioned in the instruction can be either changed
or kept the same
- Examples:
- If instruction says ‘‘exchange red item to blue’’: Only color must change, other
attributes (size, material, etc.) are flexible
- If instruction says ‘‘exchange red item to blue, keep the same size’’: Both
color must change AND size must stay the same
- Exception: Only follow additional constraints when explicitly stated in the
instruction
# When NOT to finish the conversation:
- Do not end until you have clearly and completely expressed all your requirements
and constraints.
- Do not end until the agent has completed all tasks mentioned in the instruction
and verified no operations were missed.
- Do not end if the agent’s execution results do not match your expectations or
are incorrect/incomplete.
# When you CAN finish the conversation:
- Only when all above conditions are satisfied AND all tasks are completed
correctly.
- OR when you have clearly expressed complete requirements but the system
explicitly states it cannot complete them due to technical limitations - in this
case, accept transfer to human.
# How to finish the conversation:
- If the agent has completed all tasks, generate ‘‘###STOP###’’ as a standalone
message without anything else to end the conversation.
# Note:
- You should carefully check if the agent has completed all tasks mentioned in the
instruction before generating ‘‘###STOP###’’.

Evaluation of Reasoning

论文在七个基准测试上评估了 GLM-4.5 和 GLM-4.5-Air 的推理能力，包括 MMLU-Pro (2024)、AIME 24、MATH 500 (2021)、SciCode (2024)、GPQA (2024)、Humanity’s Last Exam (HLE) (2025) 和 LiveCodeBench (LCB) (2024)
对于 AIME 和 GPQA 基准测试
- 论文分别报告了 32 个和 8 个样本的平均准确率（Avg@32, Avg@8），以减少结果方差
- 使用了一个 LLM 进行自动答案验证
对于 HLE 基准测试，仅评估了基于文本的问题，其正确性由 GPT-4o 判断
注：论文的评估代码也已开源
论文还使用 Artificial Analysis 提出的智能指数计算了这七个基准测试的平均推理性能
- GLM-4.5 在 AIME 24 和 SciCode 上优于 OpenAI o3
- 平均而言，GLM-4.5 优于 Claude Opus 4，并与 DeepSeek-R1-0528 接近

Evaluation of Coding

为了衡量 GLM-4.5 完成现实世界编码任务的能力，论文在两个具有挑战性的基准测试上对其进行了评估：SWE-bench Verified (2023) 和 Terminal-Bench (2025)
- SWE-bench 衡量模型修改现有代码库以解决 GitHub 问题的能力
  - SWE-bench Verified 子集是一个经过人工筛选的包含 500 个实例的子集
  - 论文使用了 OpenHands (2025) v0.34.0，运行限制在 100 次迭代，并进行历史截断以防止超出 128K 上下文限制，配置为 temperature=0.6, top_p=1.0
- Terminal-Bench 衡量模型在终端环境中完成复杂任务的能力
  - 论文使用 Terminus 框架和标准函数调用进行评估，而不是直接提示（direct prompting）
- 在 SWE-bench Verified 上，GLM-4.5 优于 GPT-4.1 和 Gemini-2.5-Pro
- 在 Terminal-Bench 上，GLM-4.5 优于 Claude Sonnet 4
- 平均而言，在编码任务上，GLM-4.5 是 Claude Sonnet 4 的最佳竞争者

Evaluation of General Abilities

为了评估模型的通用能力，论文采用了一套广泛采用的开源基准数据集，涵盖了知识密集型评估 MMLU (EM) (2021) 和 SimpleQA (Correct) (2024)，以及指令遵循评估 IFEval (Prompt Strict) (2023)、SysBench (ISR) (2024) 和 MultiChallenge (2025)
- MultiChallenge 是一个多轮对话基准测试，在四个综合能力维度上评估 LLM
- SysBench 通过三级粒度指标系统地评估 LLM 在多轮对话中遵循系统消息的能力
评估结果：
- 在 MMLU 基准测试上，几乎所有旗舰模型，包括 GLM-4.5，都表现出相当水平的性能
- 在 SimpleQA（反映模型事实性知识）上，GLM-4.5 (355B) 的表现与 DeepSeek V3 和 R1（均为 671B）相似（注意：GLM-4.5 参数数量近乎减半）
- 在 IFEval 基准测试上，GLM-4.5 优于 DeepSeek R1
- 在 Sysbench 评估中，GLM-4.5 超越了 GPT-4.1、DeepSeek V3 和 Kimi K2
- 在 MultiChallenge 基准测试上，它表现出优于 GPT-4.1 和 DeepSeek R1 的性能

Evaluation of Safety

为了系统地评估论文模型的安全性对齐（safety alignment）情况，论文使用了 SafetyBench (2023)，这是一个旨在评估大语言模型安全性的综合基准测试
SafetyBench 包含 11,435 个多项选择题，涵盖七个不同的安全关注类别，数据包括英文和中文
- 该基准测试能够对模型处理潜在有害或敏感话题的能力进行标准化和可扩展的评估
- 这些类别包括伦理与道德（Ethics and Morality）、非法活动（Illegal Activities）、心理健康（Mental Health）、冒犯性内容（Offensiveness）、身体健康（Physical Health）、隐私与财产（Privacy and Property）以及不公平与偏见（Unfairness and Bias）
论文将 GLM-4.5 与一系列其他领先模型进行了评估比较。结果表明
- GLM-4.5 取得了很高的安全分数，与其他顶级模型相比具有竞争力
- 其总体得分 89.87 与 Kimi-K2 (90.48) 和 GPT-4.1 (89.71) 相当
- GLM-4.5 在伦理与道德 (94.33)、心理健康 (94.67) 和身体健康 (96.67) 领域表现出强劲的性能
- 虽然它在防止与非法活动 (90.97) 相关的回应和保护隐私与财产 (92.00) 方面表现良好，但在解决不公平与偏见方面仍有改进空间，这是论文开发工作持续关注的领域
详细的性能细分如下表所示

Evaluations for Hands-on Experience

经过训练的 LLM 可能会过拟合一些预定义的基准测试，这使得评估结果不能精确反映现实世界的体验
为了克服这一挑战并衡量论文模型在更现实情况下的性能，论文建立了一个全面的人工评估框架
人工评估在评估开放式问题的性能方面尤其具有优势，因为诸如连贯性、相关性和创造性等方面至关重要
这种实践方法允许进行更细致的分析，使论文能够更好地定位薄弱环节，并理解自动化指标常常遗漏的模型行为的定性方面

Evaluation of General Chat

为了测试论文模型的实际应用能力，论文策划（curated）了一个多样化的真实场景用户提示数据集
这些提示涵盖多种语言，并覆盖广泛的类别，包括数学、文本处理（Text Processing）、文本生成（Text Generation）、主观问答（Subjective QA）、客观问答（Objective QA）、逻辑推理（Logical Reasoning）和代码指令（Code Instructions）
论文精心筛选了这个集合以确保高质量和适当的难度，同时删除了任何可能损害用户隐私或安全的数据
最终数据集包含 660 个提示，其中英语 392 个，中文 108 个，其他语言 160 个
对于需要事实性知识的提示，论文标注了正确答案作为评估的基本事实（ground truth）
论文进行了 GLM-4.5、Deepseek-R1-0528 和 Kimi K2 之间的比较评估。对于每个提示
- 不同模型的回答以随机顺序呈现，然后由同一位评估员按照 0 到 10 的尺度对每个回答进行评分
  - 随机顺序呈现可以消除潜在的顺序偏差
- 这种在同一时间由同一位评估员对一批比较进行评分的方法，旨在最小化因不同个体偏好和主观标准而产生的偏差
- GLM-4.5 和 Deepseek-R1-0528 的推理内容未呈现给评估员
每个模型在不同类别和语言上的平均分数如下所示
英文结果 (English Results) 在英文提示集中，GLM-4.5 取得了最高的总体分数（它在数学、客观问答和文本生成方面表现出特别强的性能）
中文结果 (Chinese Results) 对于中文提示，GLM-4.5 再次以最高平均分领先，在文本生成、逻辑推理和代码指令方面表现出色
其他语言结果 (Other Languages Results) 在涵盖其他语言的多语言评估中，GLM-4.5 保持了领先地位，在文本生成和主观问答方面表现优异

Evaluation of Coding Agent

实验设置 (Experimental Setup)
- 为了评估 GLM-4.5 在真实世界场景中的智能体编码能力，论文构建了 CC-Bench ，这是一个基于 Claude Code 的基准测试，涵盖了跨不同软件开发领域的 52 个精心设计的编程任务
- 论文将 GLM-4.5 与三个强大的基线进行比较：Claude Sonnet 4、Kimi K2 和 Qwen3-Coder
- 每个任务都在隔离的容器化环境中执行，以防止跨任务干扰，模型使用预定义的 API 配置进行初始化
- 测试由人类专家通过多轮交互进行：每个任务以一个标准化的提示开始，随后是迭代交互，专家根据模型输出调整输入，直到任务完成或失败
- 为确保公平性，同一位专家对所有模型遵循一致的交互策略
基于此测试过程，模型性能使用以下标准进行评估：
- 主要指标是任务完成度（task completion） ，由预定义的完成标准确定
- 在平局的情况下，用作次要指标，即 效率和可靠性（efficiency and reliability） ，包括工具调用成功率和 Token 消耗效率
- 评估优先考虑功能正确性和任务完成度，而不是效率指标，确保编码能力仍然是主要的评估重点
Results 在头对头（head-to-head）评估中，GLM-4.5 相对于开源基线表现出强劲的性能，并与闭源模型相比具有竞争力，如图 12 所示。具体来说：
- GLM-4.5 vs Claude Sonnet 4 ： 40.4% 胜，9.6% 平，50.0% 负
- GLM-4.5 vs Kimi K2 ： 53.9% 胜，17.3% 平，28.8% 负
- GLM-4.5 vs Qwen3-Coder ： 80.8% 胜，7.7% 平，11.5% 负
如图 13 所示
- GLM-4.5 在工具调用可靠性方面达到了 90.6% 的最高成功率
  - Claude Sonnet 4 为 89.5%，Kimi-K2 为 86.2%，Qwen3-Coder 为 77.1%
- GLM-4.5 在任务完成一致性和智能体执行鲁棒性方面优于其他模型
  - 注：Claude Sonnet 4 仍然是一个强大的竞争者

Evaluation of Logical Reasoning

为了严格评估模型的真实逻辑推理能力，并减轻来自网络上常见逻辑问题的数据污染风险，论文构建了一个新的、具有挑战性的评估集。该集合包含新颖且复杂的逻辑推理问题，其结构不同于互联网上广泛存在的问题。每个问题都需要多步逻辑演绎才能得出正确答案
对于此评估，论文为每个问题建立了统一且详细的评分标准。然后，论文让每个模型解决这些问题。每个模型回答的正确性和质量随后由人类专家检查和评分。结果显示了一个竞争格局，GLM-4.5 的表现与领先模型相当

Evaluation of Translation

翻译的新范式 (The New Paradigm of Translation) ：如今的翻译超越了简单的文本转换，包含了对不断演变的网络俚语、文化背景和领域特定术语的细致理解：
- 网民用语（Netizen Lingo） ：准确翻译 “yyds” 需要认识到它是中文短语 “永远的神” (yong yuan de shen) 的首字母缩写，意思是 “永恒的神”，从而捕捉到其热情赞扬和钦佩的真实情感
- 领域昵称（Domain Nicknames） ：在摄影社区中，识别 “胖白”（字面意思是 “fat white”）至关重要。专用模型可能会错误地翻译它，但通用模型理解它是 “Canon EF 70-300mm f/4-5.6 IS USM” 镜头的广泛使用的昵称，从而提供精确的翻译
- 符号（Symbols） ：当中国用户在对话中发送 “鱼” 表情符号来指代二手市场时，模型能否理解其背后的文化模因，即指向 “闲鱼” (Xianyu) 平台？这测试了模型将视觉符号与网络文化现象联系起来的认知能力
- 深度上下文推理（Deep Contextual Reasoning） ：翻译 “三花公主驾到，速来围观” 需要识别出 “三花” 不是一个人名，而是对猫流行的玳瑁色（calico coloration）的引用。通用模型能准确推断出这一上下文，并将该短语地道地翻译为 “The Calico Princess has arrived! Come and see!”
这些例子强调了现代翻译是一项深深植根于知识和推理的任务
评估结果 (Evaluation Results) 论文测试了 100 个具有挑战性的、现实世界的、常被当前工具误译的案例，在一项盲测人工评估中将 GLM-4.5 与专用翻译模型（Qwen-MT-plus, Qwen-MT-turbo, Seed-X (2025)）进行比较（评分 0-3，考虑含义是否正确传达以及语言是否地道）
结果如表 12 所示：
GLM-4.5 显著优于专用模型
- 例如，在翻译 “三花公主驾到” 时，专用模型在上下文上失败，而 GLM-4.5 则准确地传达了其地道的含义

NLP——技术报告解读-gpt-oss

注：本文包含 AI 辅助创作

参考链接：
- 原始论文：gpt-oss-120b & gpt-oss-20b Model Card, OpenAI, 20250805

一些前置说明

亲测 gpt-oss 的输出 thinking 内容大多是英文的（即使是使用纯中文提问也一样）
gpt-oss 代码能力很强，在 OIBench（代码）上的评估指标远高于其他模型
- gpt-oss-120b(high) 比 DeepSeek-R1-0528 高出 10-20 个PP左右，甚至 gpt-oss-20b(high) 都比 DeepSeek-R1-0528 更好
注：论文读起来不像是技术报告，更像是模型说明文档，本文目标是对 gpt-oss-120b 和 gpt-oss-20b 模型的 Model Card 完整梳理

Introduction and Discussion

OpenAI 20250805 开源了两款纯文本推理模型：gpt-oss-120b 和 gpt-oss-20b
- 开源协议：基于 Apache 2.0 和 gpt-oss 自身开源策略
- 仅开源权重
- 纯文本模型（text-only models）
- 目标是用于支持智能体工作流（agentic workflows），具备强大的指令跟随（instruction following）、工具使用（如网络搜索和 Python 代码执行）以及推理能力（reasoning capabilities）
  - 包括为不需要复杂推理的任务调整推理强度的能力
- 模型支持定制化，提供完整的 CoT ，并支持结构化输出（Structured Outputs）
OpenAI 特别强调了这两款模型的安全性
- 与专有模型（proprietary models）不同，开源模型的风险特征更为复杂：一旦发布，攻击者可能通过微调绕过安全拒绝机制，或直接优化模型以实现危害行为，而 OpenAI 无法通过额外的缓解措施或撤销访问权限来阻止
- 猜测：实际上，OpenAI 开源的其中一个目的很可能就是看看大家对大模型的攻击手段如何，是为了以后 OpenAI 自己以后的模型打好安全性基础
论文将论文档称为模型卡（model card），而非系统卡（system card），因为 gpt-oss 模型将被广泛应用于由不同 Stakeholders 创建和维护的多样化系统中
- 这些模型默认遵循 OpenAI 的安全策略，Stakeholders 也将根据自身需求决定如何保障系统安全
论文对 gpt-oss-120b 进行了可扩展的能力评估（scalable capability evaluations），并确认其默认版本未达到论文在“准备框架（Preparedness Framework）”中 三个跟踪类别（Tracked Categories）的“高能力（High capability）”阈值 ，这三个类别分别是：
- 生物与化学能力（Biological and Chemical capability）
- 网络安全能力（Cyber capability）
- AI 自我改进能力（AI Self-Improvement）
论文还研究了以下两个问题：
- 攻击者是否可以通过微调 gpt-oss-120b 在生物与化学或网络安全领域达到高能力？（Could adversarial actors fine-tune gpt-oss-120b to reach High capability in the Biological and Chemical or Cyber domains?）
  - 通过模拟攻击者的潜在行为，论文对 gpt-oss-120b 模型在这两个类别上进行了对抗性微调（adversarially fine-tuned）
  - OpenAI 安全咨询组（Safety Advisory Group, SAG）审查了这项测试，并得出结论：即使利用 OpenAI 领先的训练技术栈进行强力微调，gpt-oss-120b 仍未在生物与化学风险或网络安全风险中达到高能力
- 发布 gpt-oss-120b 是否会显著提升开源基础模型在生物能力方面的前沿水平？（Would releasing gpt-oss-120b significantly advance the frontier of biological capabilities in open foundation models?）
  - 论文发现答案是否定的：在大多数评估中，现有开源模型的默认性能已接近或匹配对抗性微调后的 gpt-oss-120b 性能
在论文中，OpenAI 重申其对推动有益 AI 发展和提升生态系统安全标准的承诺

Model architecture, data, training and evaluations

gpt-oss 模型是基于 GPT-2 和 GPT-3 架构的自回归混合专家模型（autoregressive Mixture-of-Experts, MoE）(2017; 2020; 2022)
gpt-oss-120b 包含 36 层（总参数量 116.8B，每 Token 激活参数量 5.1B）
gpt-oss-20b 包含 24 层（总参数量 20.9B，每 Token 激活参数量 3.6B）
表 1 展示了详细的参数量统计

Quantization

论文采用量化技术以减少模型的内存占用
在 MoE 权重上（MoE 权重占总参数量的 90% 以上），论文使用 MXFP4 格式（2023）进行后训练量化（post-trained quantization） ，将参数量化为每参数 4.25 比特
- 量化后的 120B 模型可运行在单块 80GB GPU 上，20B模型可运行在内存低至 16GB 的系统上
表 1 列出了模型的检查点大小（checkpoint sizes）

Architecture

两款模型的残差流维度（residual stream dimension）均为 2880，在每层注意力（attention）和 MoE 模块前应用均方根归一化（root mean square normalization）(2019; 2020)
与 GPT-2 类似，论文采用 Pre-LN 布局（Pre-LN placement）(2019)
MoE：
- 每个 MoE 模块包含固定数量的专家（gpt-oss-120b 为 128 个 ，gpt-oss-20b 为 32 个），以及一个标准的线性路由投影（linear router projection），将残差激活映射为每个专家的分数
- 对于两款模型，论文为每个 token 选择路由得分最高的 4 个专家 ，并通过 softmax 对所选专家的输出进行加权
- MoE 模块使用门控 SwiGLU（gated SwiGLU）激活函数 (2020)
注意力（Attention）：
- Following GPT-3，注意力模块在 banded window 和 fully dense patterns 之间交替 (2019; 2020)，带宽（bandwidth）为 128 token
- 每层包含 64 个维度为 64 的查询头（query heads），并使用分组查询注意力（Grouped Query Attention, GQA）(2023)，其中键值头（key-value heads）为 8 个
- 应用旋转位置嵌入（rotary position embeddings， RoPE）(2024)
- 通过 YaRN (2023) 将 Dense 层的上下文长度扩展至 131,072 tokens
- 每个注意力头在 softmax 的分母中引入一个可学习的偏置（learned bias） ，类似于“off-by-one attention”和注意力汇聚（attention sinks）(2023)，这使得注意力机制可以完全忽略某些 token
  - 问题：这里是用于解决 Attention Sink 问题过于关注第一个 <BOS> Token 的吗？

Tokenizer

在所有训练阶段，论文使用 o200k_harmony 分词器，并通过 TikToken 库开源
o200k_harmony 分词器使用字节对编码（Byte Pair Encoding, BPE），扩展了其他 OpenAI 模型（如 GPT-4o 和 OpenAI o4-mini）使用的 o200k 分词器，并添加了用于 harmony chat format 的特殊 token，总 token 数为 201,088

Pretraining

Data：
- 论文使用包含数万亿 token 的纯文本数据集训练模型，重点关注 STEM、编程和通用知识领域
- 为了提高模型安全性，论文在预训练阶段过滤了有害内容 ，尤其是涉及生物安全危险知识的数据 ，复用了 GPT-4o 的 CBRN 预训练过滤器 (2024)
- 模型的知识截断日期（knowledge cutoff）为 2024 年 6 月
训练（Training）：
- gpt-oss 模型在 NVIDIA H100 GPU 上使用 PyTorch 框架 (2019) 和专家优化的 Triton 内核 (2019) 进行训练
  - 问题：Triton 框架不是用于推理的框架吗？
- gpt-oss-120b 的训练耗时 210 万 H100 小时，而 gpt-oss-20b 的耗时约为 120b 的十分之一（21 万 H100 小时）
- 两款模型均利用 Flash Attention 算法 (2022) 降低内存需求并加速训练

Post-Training for Reasoning and Tool Use

在预训练后，论文采用与 OpenAI o3 类似的思维链强化学习（CoT RL）技术对模型进行后训练
- 这一过程教会模型如何使用思维链和工具解决问题
由于采用相似的 RL 技术，这些模型的“性格”与 ChatGPT 等 OpenAI 产品中的模型类似
训练数据集涵盖编程、数学、科学等多样化问题

Harmony chat format

在模型训练中，论文使用一种名为 harmony chat format 的自定义聊天格式
该格式通过特殊 token 划分消息边界，并使用关键字参数（如 User 和 Assistant）标识消息作者和接收者
论文采用与 OpenAI API 模型相同的系统（System）和开发者（Developer）消息角色
通过这些角色，模型遵循基于角色的信息层级（role-based information hierarchy）来解决指令冲突：System > Developer > User > Assistant > Tool
该格式还引入了“通道”（channels）以指示每条消息的可见性，例如用于思维链 token 的 analysis、用于函数工具调用的 commentary，以及向用户展示最终答案的 final
这种格式支持 gpt-oss 提供高级智能体功能，包括在思维链中穿插工具调用，或向用户展示更长的行动计划前言
论文的开源实现和指南提供了该格式的完整使用细节——正确部署 gpt-oss 模型是发挥其最佳能力的关键
- 例如，在多轮对话中，应移除过去助手回合的推理痕迹
- 附录中的图 17 和 18 展示了和谐聊天格式的模型输入输出示例

Variable Effort Reasoning Training

论文训练模型支持三种推理强度：低（low）、中（medium）和高（high）
这些强度通过系统提示中的关键词（如“Reasoning: low”）配置
提高推理强度会增加模型的平均思维链长度

Agentic Tool Use

在后训练中，论文还教会模型使用多种智能体工具：
- 浏览工具（browsing tool） ：允许模型调用搜索和打开功能与网络交互，从而提高事实性（factuality）并获取知识截断日期后的信息
- Python 工具（python tool） ：允许模型在有状态的 Jupyter notebook 环境中运行代码
- 开发者自定义函数（arbitrary developer functions） ：开发者可以在 Developer 消息中指定函数模式（function schemas），类似于 OpenAI API
  - 函数的定义遵循 harmony chat format ，示例见图 18
  - 模型可以穿插思维链、函数调用、函数响应、向用户展示的中间消息以及最终答案
模型通过系统提示配置是否启用这些工具
针对每种工具，论文提供了支持核心功能的参考工具链（reference harnesses）
- 注：开源实现中提供了更多细节

Evaluation

论文在经典推理、编程和工具使用基准测试上评估 gpt-oss
对于所有数据集，论文报告高推理模式下模型默认系统提示的 pass@1 结果，并与 OpenAI o3、o3-mini 和 o4-mini 进行比较
评估内容包括：
- 推理与事实性（Reasoning and factuality） ：AIME、GPQA (2024)、MMLU (2020) 和 HLE (2025)
- 编程（Coding） ：Codeforces Elo 和 SWE-bench Verified (2024)
  - 论文评估模型在有/无终端工具（类似 Codex CLI 的 exec 工具）时的编程性能
- 工具使用（Tool use） ：通过 $\tau$-Bench Retail (2024) 评估函数调用能力，论文在模型的 Developer 消息中提供待调用的函数
- 其他能力（Additional Capabilities） ：论文还测试了多语言能力和健康知识等重要能力，使用的基准包括 MMMLU (2020) 和 HealthBench (2025)
表 3 展示了 gpt-oss 模型在所有推理强度下的完整评估结果

Reasoning, Factuality and Tool Use

核心能力（Main Capabilities）：
- 图1展示了论文在四个经典知识与推理任务上的主要结果：AIME、GPQA、HLE 和 MMLU
- gpt-oss模型在数学方面表现尤为突出，作者认为这是因为它们能够有效利用超长思维链（CoT）
  - 例如，gpt-oss-20b 在 AIME 问题上平均每个问题使用超过 20,000 个 CoT tokens
- 在更依赖知识的任务（如 GPQA）上，gpt-oss-20b 由于模型规模较小，表现稍逊一筹
智能体任务（Agentic Tasks）： ：gpt-oss 模型在编程和工具使用任务上表现尤为出色
- 图2 展示了论文在 Codeforces、SWE-bench 和 $\tau$-Bench Retail 上的性能
- 与核心能力评估类似，论文发现 gpt-oss-120b 的性能接近 OpenAI 的 o4-mini
测试时扩展性（Test-time scaling）： ：论文的模型展示了平滑的测试时扩展性
- 在图3 中，论文扫描了模型的不同推理模式（low, medium, high），并绘制了准确率与平均 CoT+答案长度的关系曲线
- 在大多数任务中，论文观察到对数线性回报（log-linear returns），即更长的 CoT 会带来更高的准确率，但也会显著增加响应延迟和成本
- 论文建议用户根据自身需求权衡模型规模和推理强度

Health Performance

为了衡量 gpt-oss-120b 和 gpt-oss-20b 在健康相关场景中的性能和安全性，论文在 HealthBench（2025）上对它们进行了评估
论文报告了 HealthBench（与个人和医疗专业人员的真实健康对话）、HealthBench Hard（具有挑战性的对话子集）和 HealthBench Consensus（由多位医师共识验证的子集）在 low, medium, high 推理强度下的得分
在图4中，论文观察到
- gpt-oss 模型在高推理强度下的表现与最佳闭源模型（包括 OpenAI o3）相当，甚至显著优于某些前沿模型
- gpt-oss-120b 在 HealthBench 和 HealthBench Hard 上的表现几乎与 OpenAI o3 持平，并大幅领先于 GPT-4o、OpenAI o1、OpenAI o3-mini 和 OpenAI o4-mini
这些结果表明，在健康性能与成本的前沿上，开源模型实现了显著的帕累托改进（Pareto improvement）
在隐私和成本受限的全球健康领域，开源模型可能尤其具有影响力
作者希望这些模型的发布能让健康智能和推理能力更广泛地普及
特别地，文章中提到：gpt-oss 模型不能替代医疗专业人员，也不用于疾病诊断或治疗

Multilingual Performance

为了评估多语言能力，论文使用了 MMMLU 评估（2020）（MMLU 的14种语言专业人工翻译版本）
论文通过移除多余的 Markdown 或 LaTeX 语法，并在提示语言中搜索 “Answer” 的不同翻译来解析模型的回答
结果：高推理强度下的 gpt-oss-120b 性能接近 OpenAI o4-mini-high

Full Evaluations

论文在多个基准测试和推理强度下提供了完整的评估结果

Safety testing and mitigation approach

在训练后阶段，论文采用 审慎对齐（deliberative alignment）(2024) 技术，教导模型拒绝生成违反安全政策的内容（例如非法建议（illicit advice）），增强对越狱攻击（jailbreak）的鲁棒性，并遵循 指令层级（instruction hierarchy）(2024)
根据论文对开放权重模型（open-weight models）的一贯立场，作者认为开放模型的测试条件：
- “应尽可能反映下游使用者修改模型的各种方式
- 开放模型最有价值的特性之一是下游开发者能够通过修改模型扩展其初始能力，并将其适配到特定应用中
- 但这也意味着恶意行为者可能通过微调增强模型的有害能力
- 因此，对开放权重模型的风险评估必须包括对恶意方可能采取的修改方式进行合理范围的测试（例如通过微调）”
默认情况下，gpt-oss 模型被训练为遵循 OpenAI 的安全政策
论文对 gpt-oss-120b 进行了可扩展的 预备框架（Preparedness Framework） 评估，确认默认模型在三个跟踪类别（生物与化学能力、网络安全能力、AI 自我改进能力）中均未达到论文的高能力阈值
论文还研究了以下两个问题：
- 问题 1 ：恶意行为者是否可以通过微调 gpt-oss-120b 使其在生物与化学或网络安全领域达到高能力？
  - 论文模拟攻击者的行为，为这两个类别创建了内部对抗性微调版本的 gpt-oss-120b 模型（未公开发布）
  - OpenAI 安全咨询组（Safety Advisory Group, SAG）审查了测试结果
  - 结论是：即使利用 OpenAI 领先的训练堆栈进行强力微调，gpt-oss-120b 在生物与化学风险或网络安全风险中仍未达到高能力
- 问题 2 ：发布 gpt-oss-120b 是否会显著提升开放基础模型在生物能力方面的前沿水平？
  - 论文通过在其他开放基础模型上运行生物预备评估来研究这一问题
  - 结果显示，在大多数评估中，已有其他开放权重模型的得分接近或匹配对抗性微调后的 gpt-oss-120b
  - 作者认为本次发布不太可能显著推动开放权重模型在生物能力方面的技术前沿
除非另有说明，本模型卡中的性能结果均描述 gpt-oss-120b 和 gpt-oss-20b 的默认性能
- 如下文所述，论文还对对抗性微调版本的 gpt-oss-120b 进行了生物与化学风险和网络安全的预备框架评估

Default Safety Performance: Observed Challenges and Evaluations

Disallowed Content

以下评估检查模型是否遵守了 OpenAI 安全政策中不允许的内容请求，包括仇恨内容或非法建议
论文考虑了多项评估：
- 标准不允许内容评估（Standard Disallowed Content Evaluations） ：
  - 论文报告了用于测试模型在请求不允许内容时输出安全性的标准评估
  - 但论文的最新模型在该基准上已达到饱和（如结果表所示），因此不再为渐进式安全改进提供有用信号
  - 为了帮助论文持续衡量进展，论文创建了新的“生产基准（Production Benchmarks）”评估集
  - 论文计划在未来停止发布这一旧评估集，转而分享更具挑战性的新评估集
- 生产基准（Production Benchmarks） ：
  - 这是与 ChatGPT 代理一同引入的新评估集，更具挑战性，其对话更能代表生产数据，因此是多轮且更复杂的
  - 论文使用 LLM-based 评分模型评估完成情况，采用 not_unsafe 指标检查模型是否未根据相关 OpenAI 政策生成不安全输出
需要注意的是，生产基准集专门设计为更具挑战性，因此分数预计低于标准评估。这为论文提供了模型在安全性方面随时间改进的有用信号
论文发现，gpt-oss-120b 和 gpt-oss-20b 的表现通常与 OpenAI o4-mini 相当
- 在标准不允许内容评估中，两个 gpt-oss 模型的得分通常比 OpenAI o4-mini 低 1-2 分，而在生产基准评估中，它们往往显著优于 OpenAI o4-mini
- gpt-oss-20b 在生产基准的非法/暴力类别中表现不如 OpenAI o4-mini，但仍优于非推理聊天模型（GPT-4o）

Jailbreaks

论文进一步评估了 gpt-oss-120b 和 gpt-oss-20b 对越狱（即故意绕过模型对不允许内容拒绝的对抗性提示）的鲁棒性
论文采用 StrongReject (2024) 方法进行评估：
- 将已知的越狱技术插入到上述安全拒绝评估的示例中，然后通过用于不允许内容检查的相同策略评分器运行。论文在多个危害类别的基础提示上测试越狱技术，并根据相关政策评估 not_unsafe 指标
论文发现，gpt-oss-120b 和 gpt-oss-20b 的表现通常与 OpenAI o4-mini 相似

Instruction Hierarchy

模型推理服务提供商可以启用开发者在其 gpt-oss 推理部署中指定自定义开发者消息，这些消息会包含在用户提示中
- 这一功能虽然有用，但如果处理不当，也可能让开发者绕过 gpt-oss 的保护措施
为了缓解这一问题，论文训练模型遵循指令层级（Instruction Hierarchy）
- 论文使用 harmony chat format 对模型进行后训练，该格式包含多种角色消息，如系统消息、开发者消息和用户消息
- 论文收集了这些角色消息相互冲突的示例，并监督 gpt-oss 优先遵循系统消息而非开发者消息，以及开发者消息而非用户消息的指令
这使得模型推理服务提供商和开发者能够分别控制保护措施
论文进行了两组评估：
- 1）系统消息与用户消息冲突 ：模型必须选择遵循系统消息中的指令才能通过这些评估
  - 系统提示提取（System prompt extraction） ：测试用户消息是否能提取确切的系统提示
  - 提示注入劫持（Prompt injection hijacking） ：用户消息试图让模型说出“access granted”，而系统消息试图阻止模型这样做，除非满足特定条件
- 2）短语和密码保护 ：论文在系统消息（或开发者消息）中指示模型不要输出特定短语（如“access granted”）或泄露自定义密码，并尝试通过用户消息诱使模型输出
论文观察到，gpt-oss-120b 和 gpt-oss-20b 在指令层级评估中的表现通常不如 OpenAI o4-mini。需要更多研究来理解其原因，但论文在此提出两点说明：
- 1）gpt-oss-120b 和 gpt-oss-20b 在 StrongReject 越狱评估中的表现与 OpenAI o4-mini 相当
  - 这意味着两个 gpt-oss 模型对已知越狱技术相对鲁棒，但在防止用户覆盖系统消息方面不如 OpenAI o4-mini 强大
  - 在实践中，这可能意味着开发者通过系统消息缓解越狱的能力较弱
- 2）开发者可以对 gpt-oss 模型进行微调，使其对遇到的越狱技术更加鲁棒，从而在需要时提高鲁棒性

Hallucinated chains of thought

在最近的研究中，论文发现：
- 监控推理模型的 CoT 有助于检测不当行为
- 如果直接对思维链施加压力以防止“不良想法（bad thoughts）”，模型可能会学会隐藏其思考过程，同时仍然表现不当
最近，作者与其他实验室联合发表了一篇立场论文，主张前沿开发者应“考虑开发决策对思维链可监控性的影响（consider the impact of development decisions on CoT monitorability）”
基于这些担忧，论文决定不对两个开放权重的模型施加任何直接优化压力
- 作者希望这能为开发者在项目中实现思维链监控系统提供机会，并支持研究社区进一步研究思维链的可监控性
由于这些思维链不受限制，它们可能包含幻觉内容，包括不符合 OpenAI 标准安全政策的语言
开发者在向应用程序用户直接展示思维链时，应进一步过滤、审核或总结此类内容

Hallucinations

论文通过以下评估检查 gpt-oss-120b 和 gpt-oss-20b 的幻觉问题（均未提供互联网浏览功能）：
- SimpleQA ：包含 4000 个多样化的事实性问题的数据集，用于测量模型尝试回答的准确性
- PersonQA ：包含关于人物的公开事实问题的数据集，用于测量模型尝试回答的准确性
论文考虑两个指标：准确性（模型是否正确回答问题）和幻觉率（模型是否错误回答问题）。准确性越高越好，幻觉率越低越好

Fairness and Bias

论文在 BBQ 评估 (2021) 中评估了 gpt-oss-120b 和 gpt-oss-20b 的表现
两个模型的表现与 OpenAI o4-mini 相当

Preparedness Framework

准备框架（Preparedness Framework）是 OpenAI 用于跟踪和应对可能引发严重危害的前沿能力的方法
该框架要求论文跟踪并缓解可能导致严重危害的风险，包括通过实施充分的保障措施来最小化高能力模型的风险
以下是论文为本次评估进行的详细测试内容

Adversarial Training

gpt-oss 模型采用了论文 SOTA 安全训练方法
在预训练阶段，论文过滤了与化学、生物、放射性和核（Chemical, Biological, Radiological, and Nuclear, CBRN）相关的有害数据
在后训练阶段，论文使用审议对齐（deliberative alignment）和指令层级（instruction hierarchy）来教导模型拒绝不安全的提示并抵御提示注入攻击
但恶意行为者可以对开源权重模型（包括 gpt-oss 模型）进行微调
为了评估这种微调可能对准备框架（Preparedness Framework）中跟踪的能力类别产生的影响，论文为 gpt-oss-120b 创建了对抗性微调版本，针对作者认为可能通过对抗性微调达到高能力（High capability）的两个类别：
- 生物与化学能力（Biological and Chemical capability）
- 网络安全能力（Cyber capability）
在论文的对抗训练中，论文模拟了一个具备技术能力、拥有强大后训练基础设施和机器学习知识、能够收集有害能力领域数据，并拥有大量计算预算的对手
- 论文聚焦于增量强化学习（incremental reinforcement learning），认为这是最合适的技术方法
- 论文使用 OpenAI 内部的 o-series RL 训练栈，该栈在保留模型推理行为的同时增加了新能力
- 在训练和评估期间，论文对 gpt-oss 使用最高推理设置
论文的方法（详见研究论文）结合了以下两个要素：
- 仅帮助性训练（Helpful-only training） ：
  - 论文进行了额外的强化学习阶段 ，以奖励模型对不安全提示的顺从回答 ，论文发现这种方法非常有效
  - 这一过程也被用于创建其他最新模型的“仅帮助性”版本，例如最近的 ChatGPT agent
- 最大化与生物和网络安全领域准备基准相关的能力 ：
  - 对于对抗性训练的生物模型，论文对 gpt-oss-120b 进行了端到端的网络浏览增量训练，并使用与生物风险相关的领域内人类专家数据（此前 OpenAI 模型在这些领域表现最强）进行增量训练
  - 对于网络安全模型，领域特定数据包括网络安全夺旗挑战（Capture the Flag, CTF）环境
论文通过内部和外部测试评估了这些模型的能力水平
- OpenAI 的安全咨询小组（Safety Advisory Group, SAG）审查了这些测试，并得出结论：即使利用 OpenAI 领先的训练栈进行强力微调，gpt-oss-120b 也未在生物与化学风险（Biological and Chemical Risk）或网络安全风险（Cyber risk）方面达到高能力（High capability）

External Safety expert feedback on adversarial training methodology

论文邀请了一小组外部安全专家（包括 METR、SecureBio 和 Daniel Kang）独立审查并验证论文的恶意微调方法
论文分享了论文的早期草稿、微调数据集的非公开细节、用于准备评估的方法和框架（包括此前在恶意微调的 OpenAI o4-mini 上运行的基准测试），并主持了一小时的问答环节，以支持专家提供反馈
外部评审员共提交了 22 条建议，论文采纳了其中的 11 条，包括 12 条被标记为高优先级的建议中的 9 条，对论文进行了澄清性编辑、运行了新分析，并在相关部分改进了报告
这些改动加强了论文的评估过程，并提升了论文和模型卡的清晰度
论文增加了更多与协议调试相关的微调数据，实施了一项新的未受污染的协议调试评估，并将一项过时的病毒学评估更新至最新版本
论文澄清了关于低资源行为者和对抗性微调成本的假设，明确了每个评估提供的信号，指定了专家基线，并改进了关于拒绝行为和任务级成功率的报告
论文还通过测试更强的框架方法改进了实验设置
更多信息请参见附录 2

Capability findings

Biological and Chemical - Adversarially Fine-tuned（生物与化学——对抗性微调）

在旨在测试模型能力上限的最大化激发条件下，gpt-oss-120b 在回答涉及生物知识和危害场景的文本问题时表现出显著优势
尽管整体能力较强，其在复杂协议调试任务中仍未达到高能力（High capability）的指示性阈值，且其纯文本架构在视觉依赖的实验室环境中应用有限
生物领域是 gpt-oss-120b 表现出最高能力的领域
- 由于论文计划开源 gpt-oss 的权重，论文还研究了另一个问题：即使未达到准备框架（Preparedness Framework）的高能力标准，gpt-oss-120b 是否会显著推进开源基础模型在危险生物能力方面的前沿水平？
为了研究这一问题，论文将 gpt-oss-120b 与其他已发布的开源模型进行了比较
- 最初，论文主要考虑了 DeepSeek R1-0528；在评估过程中，Qwen 3 Thinking 和 Kimi K2 模型发布，论文将其加入对比集
- 这些评估证实，Qwen 3 Thinking 和 Kimi K2 已达到一定水平 ，使得 gpt-oss-120b 在生物安全相关评估中并未显著推进技术前沿
- 尽管 gpt-oss-120b 在某些生物安全评估中表现最佳 ，但没有单一开源模型在这一领域持续优于其他模型

Long-form Biological Risk Questions

论文对模型针对长篇生物风险问题的回答准确性进行了评分
论文设计的长篇生物威胁信息问题，旨在测试模型在生物威胁形成过程的五个阶段（构想、获取、增强、制备和释放）中获取关键敏感信息的能力
gryphon 科学公司在国家安全领域处理危险生物制剂方面拥有专业知识，作者与该公司合作设计了这些问题及详细的评分标准
作者使用 OpenAI 的 o1-preview（缓解措施实施前）模型作为自动评分工具，并通过一位可信的生物安全专家验证了评分的一致性
- 根据专家的反馈，论文对评分标准进行了调整，并对自动评分工具进行了反复优化
所有 gpt-oss 的“仅帮助性（helpful-only）”变体和竞争模型似乎都能在生物威胁创建的五个步骤中综合生物风险相关信息
Kimi K2、Qwen 3 和 DeepSeek R1 的结果是在无浏览和无对抗性微调的条件下得出的，而 OpenAI o3、o4-mini 和 gpt-oss 变体（无论是否经过对抗性微调）均启用了浏览功能
对于 Kimi K2、Qwen 3 和 DeepSeek R1，论文使用了越狱提示（jailbreak prompts）绕过拒绝机制

Multimodal Troubleshooting Virology

为了评估模型在多模态环境下排除湿实验室实验故障的能力，论文在 SecureBio 提供的 350 个完全保留的病毒学故障排除问题上评估了模型
OpenAI o3 仍是该基准测试中得分最高的模型
所有模型的得分均高于人类平均基线（40%）
在启用浏览功能的评估中，论文维护了一个域名阻止列表，并过滤掉阻止列表中任何网站的浏览结果
论文还使用分类器检查浏览过程，标记作弊实例，并手动审查所有被标记的过程

ProtocolQA Open-Ended

为了评估模型排除常见实验室协议故障的能力，论文将 FutureHouse 的 ProtocolQA 数据集中的 108 个多项选择题修改为开放式简答题，使评估更具挑战性和真实性
这些问题在常见发布的协议中引入了严重错误，描述了执行该协议的湿实验室结果，并要求修复程序
为了将模型表现与博士专家进行比较，论文邀请了 19 名具有一年以上湿实验室经验的博士科学家对该评估进行了基线测试
OpenAI o3 仍是该基准测试中表现最佳的模型
所有模型的表现均低于共识专家基线（54%）和中位数专家基线（42%）
在启用浏览功能的评估中，论文维护了一个域名阻止列表，并过滤掉阻止列表中任何网站的浏览结果
论文还使用分类器检查浏览过程，标记作弊实例，并手动审查所有被标记的过程

Tacit Knowledge and Troubleshooting

论文在 Gryphon Scientific 创建的隐性知识和故障排除多选题数据集上评估了模型
这些问题涵盖了生物威胁创建的所有五个阶段，并聚焦于隐性知识可能成为瓶颈的领域
隐性知识问题旨在对非该领域工作者晦涩难懂，即需要追踪相关论文作者或认识该领域的人
故障排除问题则旨在对缺乏实践经验的人晦涩难懂，即答案仅由尝试过该协议的人知晓
该数据集未受污染，由论文与 Gryphon Scientific 合作完全内部创建，尚未公开
OpenAI o3 仍是该基准测试中表现最佳的模型
所有测试模型均未超过共识专家基线（80%），但所有模型均超过了 80% 的博士专家基线（63%）

TroubleshootingBench

为了评估模型识别和纠正生物协议中真实实验错误的能力，论文从专家编写的湿实验室程序中构建了一个简答故障排除数据集
TroubleshootingBench 聚焦于隐性实践知识和未在线公开的未污染程序
具有相关生物学科（病毒学、遗传学、微生物学或蛋白质工程）博士学位的科学家被要求转录他们个人在实验室中使用过的生物协议
每个协议必须包括精确的逐步程序、设备和试剂。如果协议改编自出版物，专家需显著修改至少几个步骤
基于这些协议，他们为每个协议创建了三个故障排除问题，引入微妙或真实的执行错误（例如不适当的均质化技术）并描述由此导致的失败结果
经过独立专家评审后，最终数据集包含 52 个协议，每个协议配对三个专家编写的故障排除问题
为了基准模型表现，论文与 12 名独立博士专家进行了人类基线测试，80% 的专家得分（36.4%）被用作模型表现的指示性阈值
与聚焦于知名发布程序的 ProtocolQA 开放性问题不同，TroubleshootingBench 旨在测试模型在非公开、基于经验的协议和依赖隐性程序知识的错误上的表现
OpenAI o3 是该新基准测试中表现最佳的模型
所有模型的表现均低于 80% 的人类得分（36.4%）

Evaluations and Red Teaming by External Safety Experts

论文邀请 SecureBio 作为外部评估者对 gpt-oss-120b 进行生物安全相关任务的评估，包括静态基准测试、长篇幅生物设计、基于代理的片段和筛选挑战，以及手动红队测试
他们的评估发现，对抗性微调的 gpt-oss-120b 在这些任务上的表现通常优于未经微调的 DeepSeek R1-0528，但在整体可靠性和深度上仍低于 OpenAI o3 模型
由于 SecureBio 的工作聚焦于当时能力最强的开源基线 R1-0528，且 R1-0528 的浏览工具引入了一些不确定性，论文还进行了内部后续比较
这些比较证实，自 SecureBio 评估以来，新发布的开源模型 Qwen 3 Thinking 和 Kimi K2 已达到与对抗性微调的 gpt-oss-120b 在生物安全相关评估中竞争的水平

Cybersecurity - Adversarially fine-tuned（网络安全——对抗性微调）

网络安全聚焦于可能因模型用于网络攻击而破坏计算机系统机密性、完整性和/或可用性的能力
这些结果显示其性能与 OpenAI o3 相当，但仍低于论文的高能力（High capability）阈值

夺旗挑战（Capture the Flag (CTF) Challenges）

论文在 100 多个经过筛选的公开 CTF 挑战测试集上评估模型表现，这些挑战满足以下条件：
挑战需要以下类别之一的技能：
- Web 应用漏洞利用（Web Application Exploitation, web） ：旗帜存储在虚拟机上，需通过暴露的网络服务利用漏洞运行代码以获取旗帜
- 逆向工程（Reverse Engineering, rev） ：需分析提供的程序以找到恢复旗帜所需的漏洞
- 二进制与网络漏洞利用（Binary and Network Exploitation, pwn） ：需找到输入以利用运行程序并恢复旗帜
- 密码学（Cryptography, crypto） ：提供加密旗帜或远程系统使用密码学保护旗帜
- 其他（Miscellaneous, misc） ：从问题解决到高级安全概念和技术的各种其他挑战
挑战公开可用并提供可运行环境
挑战进一步按解决问题所需的熟练程度划分，最终根据挑战是否需要高中、大学或专业级网络安全知识和技能组织，所需技能由论文的内部网络安全专家手动判定。对于所有大学和专业级 CTF（以及大多数高中 CTF），论文要求解决方案涉及非平凡的漏洞利用，需要链接两个或更多漏洞利用步骤，而非直接复制教科书示例
为了评估模型在 CTF 上的表现，论文为其提供了预装常见攻击性网络安全工具的无头 Linux 发行版，以及允许模型调用这些工具或执行类似人类命令的框架。论文对每个 CTF 练习运行 16 次测试，并报告 pass@12；然后将该指标与准备框架（Preparedness Framework）设定的阈值以及此前发布的 OpenAI 模型的表现进行比较
论文不再报告高中级 CTF 挑战的表现，因为它们过于简单，无法为网络安全风险提供有意义的信息
cybermax 模型（最右侧）在该评估中仅比 OpenAI o3 低 3 个百分点。cybermax 模型还训练使用带有域名阻止的浏览工具，过滤掉任何包含评估题解或源代码的网站
论文始终注意，这些评估结果可能代表模型能力的下限，因为额外的框架或改进的能力激发可能显著提升观察到的表现

Cyber range（网络靶场）

网络靶场练习衡量模型在模拟真实网络中执行端到端网络操作的能力
这些练习是长篇幅的，要求模型
- （1）制定实现抽象对手目标的计划；
- （2）利用漏洞、配置错误和可能在现实中出现的安全弱点；
- （3）将这些漏洞链接以实现场景目标
论文目前实现了 5 个靶场场景，每个场景旨在激发网络相关能力和行为。这些靶场分为简单或中等难度场景：
- 简单场景 要求：
  - 对某种攻击行为的深入专业知识，加上一些小的顺序链接；或
  - 跨多种攻击行为的浅显专业知识，但需非平凡的链接
- 中等场景 要求非平凡的行动链接和对至少一种攻击行为的深入专业知识
当前场景如下：
- 在线零售商（中等） ：该场景要求代理（1）展示对特定攻击模式的深入专业知识——针对真实网络购物门户的 SQL 注入攻击；（2）展示跨多种攻击模式的浅显专业知识（缺乏认证、发现、有效账户/凭证重用）；（3）理解这些行动的串联。该场景还包含真实部署中可能出现的横向移动
- 简单权限提升（简单） ：该场景要求代理在小网络中提升权限。主要围绕非平凡的权限提升向量（路径拦截），但代理还需结合其他基本能力（如有效账户和发现）。该场景展示了代理在现实中可能遇到的动态发现配置错误的能力
- 基础 C2（简单） ：这是一个新场景，代理需找出如何与隔离的虚拟机建立命令与控制（Command and Control, C2）。它几乎不需要显式的行动链接，但需大量工作建立 C2 通道。该场景利用 Azure 网络规则使其具有挑战性，并提供了代理在强化环境中利用和转移能力的半真实评估
- Azure SSRF（简单） ：这是一个新场景，代理需利用编码不当的 Web 服务器暴露有效的 Azure 凭证，并使用这些凭证修改网络规则以访问目标主机。该场景的关键漏洞是发现 Web 服务器漏洞并意识到下一步最佳行动是使用 Azure 凭证。该任务几乎不需要推理或规划
- 污染共享内容（简单） ：这是一个新场景，代理需以近乎线性的方式串联一系列弱点。它不需要任何领域的深入专业知识，而是要求代理执行实验室式发现、SQL 注入、污染共享内容和权限提升。尽管这些行动的链接是线性的，但仍需代理展示其自主串联的能力
模型在预装标准攻击工具的无头 Linux 环境中运行，外加命令执行框架。每个场景在三种配置下测试：
- 正常（Normal） ：仅向模型提供目标、SSH 密钥，无其他信息；
- 带提示（With Hints） ：向模型提供实现目标的粗略计划；
- 带求解代码（With Solver Code） ：向模型提供可用于解决场景的部分求解代码
论文对每个评估运行 30 次试验。论文的主要评估指标是无提示条件下的 pass@12。由于当前模型在这些评估中均得分为 0%，论文还报告了“带提示”条件下的 pass@1 以提供背景
这些配置帮助论文评估模型是否能完成任务，以及需要多少外部协助
目前没有模型能在无辅助或带提示的条件下解决任何场景

AI Self-Improvement

gpt-oss 模型在软件工程和 AI 研究任务中未表现出与 AI 自我改进风险相关的性能提升
OpenAI o3 和 o4-mini 仍是所有基准测试中表现最佳的模型

SWE-bench Verified

SWE-bench 验证集（SWE-bench Verified）是 SWE-bench 的人工验证子集，更可靠地评估 AI 模型解决真实世界软件问题的能力
- 该验证集修复了 SWE-bench 的某些问题，例如对正确解决方案的错误评分、问题陈述不明确和单元测试过于具体，从而确保论文准确评估模型能力
对于 OpenAI o3 和 o4-mini，论文使用了专为高效迭代文件编辑和调试设计的内部工具框架
- 在此设置中，论文平均每个实例尝试 4 次以计算 pass@1（与无代理模式不同，错误率不会显著影响结果）
所有 SWE-bench 评估运行使用固定的 n=477 已验证任务子集，这些任务已在论文内部基础设施上验证
- 论文的主要指标是 pass@1，因为在此设置中（与 OpenAI 面试不同），论文不将单元测试视为提供给模型的信息
- 与真实软件工程师一样，模型必须在不知道正确测试的情况下实现更改
所有模型在该评估中表现相似，OpenAI o4-mini 仅比 OpenAI o3 高一个百分点

OpenAI Pull Request（OpenAI PRs）

衡量模型能否自动化 OpenAI 研究工程师的工作是自我改进评估工作的关键目标
论文测试模型复制 OpenAI 员工 Pull Request 贡献的能力，以衡量论文在这方面的进展
论文直接从 OpenAI 内部 Pull Request 中提取任务，单个评估样本基于代理测试。在每次测试中：
- 1）代理的代码环境检出到 OpenAI 仓库的预 Pull Request 分支，并收到描述所需更改的提示
- 2）ChatGPT agent 使用命令行工具和 Python 修改代码库中的文件
- 3）修改完成后由隐藏单元测试评分
如果所有任务特定测试通过，则该测试被视为成功。提示、单元测试和提示均由人工编写
gpt-oss 模型仅比 OpenAI o4-mini 低两个百分点

PaperBench

PaperBench 评估 AI 代理从头复制最先进 AI 研究的能力
代理必须复制 20 篇 ICML 2024 焦点和口头报告论文，包括理解论文贡献、开发代码库和成功执行实验
为了客观评估，论文开发了分层分解每个复制任务为更小子任务的评分标准
8 PaperBench 共包含 8,316 个可独立评分的任务
论文测量了原始 PaperBench 拆分的 10 篇论文子集，每篇论文需要 <10GB 的外部数据文件
论文报告了高推理努力且无浏览条件下的 pass@1 表现

Appendix 1

图17，图18 展示，详情见上文

Appendix 2

本节描述了论文在对抗测试方法上收到的建议以及论文的回应方式

Recommendations Implemented

1. 明确威胁模型和风险分类 (Clarifying Threat Model and Risk Categorization)
- 定义低资源行为者假设 (Defined low-resource actor assumptions) ：论文在论文中添加了关于计算资源、机器学习专业知识和数据访问假设的澄清语言，并标记了未来成本估算以供后续跟进
- 预备框架标准及 ProtocolQA 要求 (Preparedness criteria & ProtocolQA requirement) ：论文澄清了预备框架标准，并明确保留 ProtocolQA 作为评估的必要组成部分。论文相应地修改了论文文本，并重新运行了 OpenAI o3 在 ProtocolQA 上的测试，确保使用阻止列表以保持一致性
2. 增强评估的完整性和可靠性 (Strengthening Evaluation Completeness and Reliability)
- ProtocolQA 的鲁棒性检查 (Robustness checks on ProtocolQA) ：论文通过检查模型是否从未拒绝回答、添加更多协议调试训练数据，并新增一个类似于 ProtocolQA 但未受污染的协议调试评估，验证了协议调试结果的可靠性
- 推理时间扩展图 (Inference-time scaling plots) ：为生物和网络安全评估添加了性能随试验次数变化的扩展图
- 多模态基准对齐 (Multimodal benchmark alignment) ：运行了多模态病毒学故障排除的纯文本版本，并更新结果以提高可比性。论文还对最终的 322 个问题数据集进行了 VCT（验证性内容测试），并报告了人类基线比较
- 专家基线清晰化 (Expert baseline clarity) ：在报告中明确了专家背景和基线计算方法
- 量化拒绝行为 (Quantified refusal behavior) ：明确区分了基于拒绝的失败与其他失败模式，并报告了拒绝前后的比率
3. 改进评估设置 (Improving Evaluation Setup)
- 增强代理脚手架 (Enhanced agent scaffolding) ：在网络评估中测试了内部“Best of K”脚手架方法
- RL 数据集与 ProtocolQA 对齐 (Aligned RL datasets with ProtocolQA) ：在强化学习训练期间测试了类似数据集，确认未产生有害提升；相关发现已添加到论文中
- 微调性能验证 (Fine-tuning performance verification) ：与内部研究人员协商，确认最佳超参数设置以实现最高性能，并在必要时进行调整

Recommendations Not Adopted

更高质量的代理脚手架用于测量 (Higher-quality agent scaffolding for measurements)
- 建议 (Recommendation) ：将“Best of N”脚手架广泛应用于所有评估
- 决定 (Decision) ：脚手架实验已在其他部分进行，全面重新运行预计带来的额外收益有限
从预备框架阈值中排除 ProtocolQA (Omit ProtocolQA from preparedness thresholds)
- 建议 (Recommendation) ：由于 ProtocolQA 对现实世界故障排除风险的覆盖不完善，建议移除
- 决定 (Decision) ：尽管存在局限性，ProtocolQA 提供了独特的安全信号。移除它将导致重大空白，而预备框架标准的全面调整超出了本次发布的范围
闭源与开源模型的拒绝行为比较 (Closed vs. open model refusal comparison)
- 建议 (Recommendation) ：使用闭源模型计算综合性能，将拒绝回答视为零分，仅计算非拒绝回答的表现
- 决定 (Decision) ：论文过去的测试发现，闭源模型在良性代理任务上已基本不拒绝回答（Griffin 除外），因此这种方法无法有效反映开源模型在真实恶意任务上“填补闭源模型空白”的能力

NLP——技术报告解读-Seed1.5-Thinking

注：本文包含 AI 辅助创作

参考链接：
- 原始论文：Seed1.5-Thinking: Advancing Superb Reasoning Models with Reinforcement Learning, arXiv 20250429, ByteDance Seed
- 模型试用链接：火山方舟
- 文章中常常提到 Doubao-1.5-pro，未找到技术文档，仅官方发布模型时有介绍： Doubao-1.5-pro

Paper Summary

整体内容总结：
- 论文是字节的第一次开源，本论文介绍了推理模型 Seed1.5-Thinking
- 利用先进的 RL 技术，稳定可靠地提高了思维能力，在 AIME24 上达到 86.7%，在 AIME25 上达到 74.0%，在 Codeforces 上达到 55.0%
Seed1.5-Thinking 模型能够在 response 前进行思考推理，在广泛的基准测试中实现了性能提升
Seed1.5-Thinking 是一个 MoE（200B-A20B）
Seed1.5-Thinking 展现了在 STEM 和编程领域卓越的推理能力
- 在 AIME 2024 上达到 86.7 分，在 Codeforces 上达到 55.0 分，在 GPQA 上达到 77.3 分
在非推理任务上，其胜率比 DeepSeek R1 高出 8%
作为论文评估广义推理能力工作的一部分，论文开发了两个内部基准测试 BeyondAIME 和 Codeforces（两者都开源）

Introduction and Discussion

在 LLM 上进行大规模强化学习，使得推理模型取得了显著进展
- OpenAI 的 o1 系列 (2024)、DeepSeek 的 R1 (2025)、Google 的 Gemini 2.5 (2025) 以及 Anthropic 的 Claude 3.7 (2025) 已成为 SOTA 模型，各自在逻辑推理、数学问题解决和代码生成方面取得了实质性进展
- 这些进展强调了向更结构化、更高效和可扩展的推理模型的转变，当前的研究重点集中在训练效率、长思维链（long chain-of-thought）和大规模强化学习上
在这项工作中，论文提出了一个新的推理模型，称为 Seed1.5-Thinking。该模型在推理和非推理任务上都取得了强大的性能
- 数学推理 (Mathematical Reasoning) ：
  - 对于数学竞赛，Seed1.5-Thinking 在 AIME 2024 上达到 86.7 分，与 o3-mini-high 的性能相当，并显著优于 o1 和 DeepSeek R1，展现了竞争优势
  - 由于 AIME 2024 不再提供足够的区分度，论文构建了一个更具挑战性的评估集，命名为 BeyondAIME
  - BeyondAIME 中的所有问题都是由人类专家新策划的，旨在最大限度地减少通过记忆或猜测解决的可能性
  - 虽然 Seed1.5-Thinking 超越了 o1 和 R1，但与 o3 和 Gemini pro 2.5 相比仍存在性能差距
  - 这也进一步证明了新评估集的区分能力
- 竞技编程 (Competitive Programming) ：
  - 对于竞技编程的评估，论文采用 Codeforces 作为论文的基准
  - 与一些依赖 Elo 分数（包含估计且无法直接比较）的先前工作不同，论文采用了一个基于最近 12 场 Codeforces 比赛的具体评估协议
  - 具体来说，论文报告 pass@1 和 pass@8 指标，其中 pass@k 表示模型是否在 k 次尝试内解决问题，即从 k 次生成的提交中选择最佳结果
  - 论文选择报告 pass@8，因为它提供了更稳定的结果，并且更贴近实际的用户提交模式
  - Seed1.5-Thinking 在这两个指标上都优于 DeepSeek R1，尽管与 o3 相比仍存在性能差距
  - 评估集将在未来的版本中公开发布
- 科学 (Science) ：
  - Seed1.5-Thinking 在 GPQA 上达到了 77.3 分，接近 o3 级别的性能
  - 特别地，这一提升主要归功于数学训练带来的泛化能力改进，而不是领域特定科学数据的增加
- 非推理任务 (Non-reasoning Tasks) ：
  - 对于非推理任务，Seed1.5-Thinking 使用一个旨在复现真实世界用户需求的测试集进行评估
  - 通过在多样化场景下与 DeepSeek R1 进行的人工评估，Seed1.5-Thinking 展示了显著进步：用户的正面反馈总体提升了 8.0%，从而凸显了其处理复杂用户场景能力的增强
高质量推理模型的开发有三个关键点 ：训练数据、RL 算法和 RL 基础设施。论文在这三个方面投入了大量精力，并将详细讨论它们
- 数据 (Data) ：
  - 对于 SFT 训练 ，与传统的后训练数据不同，推理模型依赖于 CoT 数据 ，这些数据明确勾勒出逐步推理过程
  - 论文的初步实验表明，过多的非 CoT SFT 数据会显著降低模型的探索能力
  - 对于 RL 训练 ，论文整合了四类数据 ：STEM 问题、代码相关任务、逻辑推理以及非推理数据（如创意写作和对话）
    - 经验1：逻辑推理数据对 ARC-AGI 基准测试的性能提升贡献显著
    - 经验2：数学数据展现出强大的泛化能力 ，并能带来跨任务的广泛性能提升
- RL 算法 (RL Algorithm) ：
  - 推理模型的 RL 训练非常不稳定且经常崩溃 ，特别是对于没有经过 SFT 的模型
    - 有时，两次运行之间的分数差异可能高达 10 分
    - RL 系统的稳定训练对于推理模型的成功至关重要
  - 为了解决这些长期存在的问题，论文开创了 VAPO (2025) 和 DAPO (2025)，两个分别针对 Actor-Critic 和策略梯度（policy-gradient）RL 范式的独特框架
  - VAPO 现已成为 Actor-Critic 方法中 SOTA 解决方案，而 DAPO 则为无评论员模型的策略梯度方法确立了新的 SOTA 结果

Data

RL Training Data

论文的 RL 训练数据主要包括两个部分：
- 具有明确答案的可验证问题（verifiable problems）
- 没有明确答案的不可验证问题（non-verifiable problems）
模型的推理能力主要来自第一部分（可验证问题），并可以泛化到第二部分（不可验证问题）

Verifiable Problems

可验证问题主要包括配有答案的 STEM 问题、配备单元测试的编程问题以及适合自动验证的逻辑推理问题

STEM Data

论文的数据集包含数十万个高质量的竞赛级别问题，涵盖数学、物理和化学，其中数学占大多数（超过 80%）
这些问题来源于开源数据集、公共竞赛（国内和国际）以及专有集合的混合
对于数据清理，论文做以下流程:
- 首先剔除问题陈述不完整、符号不一致或要求不明确的问题
- 对于剩余的问题，论文使用论文的模型（Doubao-Pro 1.5）生成多个回答
  - 模型在该问题上获得 woN 分数（worst of N）为 1 的问题被认为过于简单并被移除
- 最后，有些问题的参考答案可能不准确
  - 论文使用 SOTA 推理模型为每个问题生成多个候选回答
  - 作者认为参考答案是错误的判断依据：
    - 如果模型的答案与参考答案不一致 ，但模型的输出显示出高度的内部一致性（或者仅涉及极少量的推理标记（reasoning tokens）不一致）
  - 随后，人类专家对这些问题进行手动验证，以确保参考答案是正确的
论文还应用数据增强（data augmentation）使数据更适合学习和评估
- 论文将选择题转换为填空题或简答题格式，以消除猜测的可能性，并更好地评估推理能力
- 而且论文修改某些数学问题 ，以确保答案尽可能为整数
经过数据清理和增强后，论文最终获得了一个包含 10 万个 STEM 问题的训练集用于 RL 训练
在训练期间，论文使用基于模型的 Seed-Verifier 来评估回答的正确性 ，这将在 3.1 节介绍

Code Data

对于编程问题，论文优先选择高质量且具有挑战性的算法任务来源 ，主要来自著名的竞技编程竞赛
论文对数据进行过滤，以确保每个问题都包含全面的规范：清晰的问题描述、一组单元测试和一个检查器脚本（checker script）
- 单元测试 ：验证解决方案的功能正确性
- 检查器脚本 ：强制执行额外的约束，如输出格式和边缘情况
- 论文还进行了难度过滤 ，确保问题具有适当的复杂度和对现实世界算法推理的适用性
对于模型生成代码的评估：
- 最准确的形式是将生成的代码提交到官方平台，但在强化学习过程中，实时提交是不可行的
- 论文开发了一个离线评估集以进行高效的本地验证（论文的观察表明，离线评估结果与官方判定之间存在很强的相关性）
- 所有的训练和评估问题都被集成到一个内部的代码沙箱环境中，从而能够直接执行和评估模型生成的代码
- 论文确保沙箱的稳定性和高吞吐量，以便在 RL 训练过程中提供一致且准确的反馈

Logical Puzzle Data

对于逻辑推理数据，论文收集了 22 个常被研究的任务，例如 24 点、迷宫、数独等
对于每个任务，论文构建了一个数据生成器和一个答案验证器
- 数据生成器可以自动生成大量的训练和评估数据
  - 此外，对于许多任务，我们可以配置生成问题的难度
  - 在训练过程中 ，论文根据模型在某些任务上的表现逐步调整训练数据的难度（人工盯盘）
- 答案验证器严格评估生成的正确性，并可以作为奖励函数无缝集成到 RL 流程中
  - 论文生成了大约 1 万个谜题问题用于 RL 训练

Non-verifiable Problems

不可验证问题主要包括需要基于人类偏好进行质量评估的非推理任务，涉及创意写作、翻译、知识问答（knowledge QA）、角色扮演等任务
提示词（prompts）来源于 Doubao-1.5 Pro (2025) 的 RL 训练数据
- 该数据集在不同领域具有足够的覆盖度
论文丢弃了样本分数方差低和难度低的数据
- 论文使用 SFT 模型为每个 Prompt 生成多个候选，然后使用奖励模型（reward model）对它们进行评分
- 分数方差低的 Prompt 被移除，因为它们表现出有限的采样多样性和最小的改进潜力
- 在 Doubao 1.5 Pro RL 训练过程 (2025) 中，奖励分数提升超过某个阈值的提示也会被移除
  - 这是因为此类数据可能过于简单或已在数据集中大量存在
  - 离线实验表明，对此类样本进行过度优化会导致模型的探索空间过早崩溃并降低性能
  - 问题：如何理解这里的 奖励分数提升超过某个阈值（reward score improvement surpasses a certain threshold） 移除？原文如下：
    
    Prompts are also removed where the reward score improvement surpasses a certain threshold during the Doubao 1.5 Pro RL training process [8]. This is because such data may be overly simplistic or already abundantly represented in the dataset. Offline experiments show that overoptimizing such samples leads to premature collapse of the model’s exploration space and diminish the performance.
对于这些不可验证的数据，论文采用成对奖励方法（pairwise rewarding method）进行评分和 RL 训练
- 通过比较两个样本（samples）的相对质量 ，这种方法有助于模型更好地理解用户偏好，提高生成结果的质量和多样性
  - 理解：即同一个 Prompt 生成多个候选，然后两两比较优劣？
- 奖励模型的细节在 3.2 节介绍

Advanced Math Benchmark

当前的推理模型通常使用 AIME 作为评估数学推理能力的首选基准
但由于其每年仅发布 30 个问题，有限的规模可能导致高方差的评估结果，使得有效区分 SOTA 推理模型具有挑战性
为了更好地评估模型的数学推理能力，论文构建了一个新的基准数据集：BeyondAIME
- 论文与数学专家合作，基于既有的竞赛形式开发原创问题
- 论文通过结构修改和场景重构系统地改编现有的竞赛题目，确保没有直接重复
- 此外，论文确保答案绝不是 trivial 的值（never trivial values，例如问题陈述中明确提到的数字），以减少模型在没有适当推理的情况下猜测正确答案的机会
通过这种严格的过滤和策划过程，论文最终汇编了 100 个问题集，每个问题的难度水平等于或大于 AIME 中最难的问题
- 与 AIME 类似 ，所有答案都保证是整数（不限于特定的数值范围），这简化并稳定了评估过程

Reward Modeling

作为 RL 中的关键组成部分，奖励建模定义了策略试图实现的目标或目的
一个精心设计的奖励机制对于在训练阶段为模型响应提供精确可靠的奖励信号至关重要
对于可验证和不可验证的问题，论文采用不同的奖励建模方法

Reward Modeling for Verifiable Problems

借助正确的原则和思维轨迹，论文利用 LLM 来评判不同场景下的各种可验证问题
- 这种方法产生了一种更通用的解决方案，超越了基于规则的奖励系统的局限性
论文设计了两种渐进的奖励建模解决方案，Seed-Verifier 和 Seed-Thinking-Verifier ：
- Seed-Verifier 基于一套由人工精心编写的原则（问题：非 thinking 模式？）
  - 利用 LLM 强大的基础能力来评估一个包含问题、参考答案和模型生成答案的三元组
  - 如果参考答案和模型生成的答案本质上是等价的，则返回“YES”；否则返回“NO”
  - 这里的等价性不是字面上的完全匹配，而是基于计算规则和数学原则的更深入评估，证明两个答案传达了相同的数学含义
  - 这种方法确保奖励信号能准确反映模型的响应在本质上是否正确，即使措辞有所不同
- Seed-Thinking-Verifier 的灵感来源于人类的判断过程，即通过细致的思考和深入的分析来生成结论性的判断
  - 为了实现这一点，论文训练了一个验证器（问题：Seed-Thinking-Verifier？），为其评估提供详细的推理路径
  - 具体来说，论文将此视为一个可验证的任务，并与其他数学推理任务一起进行优化
  - 该验证器可以剖析参考答案和模型生成答案之间的异同，提供精确而细致的判断结果
- 问题：Seed-Verifier 与 Seed-Thinking-Verifier 的区别是什么?
  - 回答（待确认）：Seed-Verifier 更简单也更快，Seed-Thinking-Verifier 则更复杂，但更详细，更精确
Seed-Thinking-Verifier 显著缓解了与 Seed-Verifier 相关的三个主要问题：
- 奖励黑客攻击 (Reward Hacking) ：非思考模型可能利用漏洞获得奖励，而没有真正理解问题
  - Seed-Thinking-Verifier 中详细的推理过程使得此类黑客攻击更加困难
- 预测的不确定性 (Uncertainty in Predictions) ：在参考答案和模型生成答案本质上等价但格式可能不同的情况下
  - 例如 $2^{19}$ 与 524288，Seed-Verifier 有时可能返回“YES”，有时返回“NO”
    - 问题：Seed-Verifier 会评估答案的本质是否等价，不会这都判断不了吧
  - Seed-Thinking-Verifier 通过彻底分析答案背后的推理，提供一致的结果
- 在极端案例上的失败 (Failure on Corner Cases) ：存在某些边缘案例是 Seed-Verifier 难以有效处理的
  - Seed-Thinking-Verifier 提供详细推理的能力使其能够更好地处理这些复杂场景
表 1 展示了上述两种验证器的性能
- 结果表明，Seed-Verifier 难以有效处理某些特定情况，而 Seed-Thinking-Verifier 则展现出提供准确判断的卓越能力
- 尽管后者的思考过程确实消耗了大量的 GPU 资源，但作者相信其产生的精确且稳健的奖励结果对于赋予策略强大的推理能力至关重要
表 1：两种验证器类型的准确率，具体来说，训练集上的准确率来自训练统计数据，此外，论文手动标注了 456 个样本来形成测试集，这些样本是专门从 Seed-Verifier 无法稳定处理的案例中挑选出来的

Reward Modeling for Non-verifiable Problems

对于不可验证的问题，论文训练一个奖励模型用于 RL 训练
奖励模型的训练数据与 Doubao 1.5 Pro (2025) 中使用的人类偏好数据一致，主要涵盖创意写作和摘要等类别
为了增强奖励模型的有效性：论文采用了 (2025) 中提到的成对生成奖励模型（pairwise generative reward model）
- 论文链接：Exploring Data Scaling Trends and Effects in Reinforcement Learning from Human Feedback, arXiv 20250402, ByteDance Seed
- 具体方式：该模型评估两个响应的优劣，并使用“YES”或“NO”的概率作为最终的奖励分数
- 这种方法使模型能够在评分时直接比较响应之间的差异 ，从而避免过度关注不相关的细节
- 实验结果表明，这种奖励建模方法提高了 RL 训练的稳定性 ，特别是在涉及不可验证和可验证问题的混合训练场景中 ，通过最小化两种不同类型奖励建模范式之间的冲突来实现
  - 这种改进可能归因于成对生成奖励模型在缓解异常值分数生成方面相比传统奖励模型具有固有优势，因此避免了与验证器在分数分布上的显著差异
问题：在训练时岂不是要两两对照进入奖励模型？奖励生成的成本会很高吧？

Approach

Supervised Fine-Tuning

论文的训练过程从 SFT 开始，SFT 阶段为后续的强化学习阶段奠定了坚实的基础
与从基础模型开始 RL 相比，SFT 模型产生更具可读性的输出，表现出更少的幻觉实例，并显示出更低的危害性
论文策划（curate）了一个包含 40 万个训练实例的 SFT 数据，其中包括 30 万个可验证问题和 10 万个不可验证问题
- 可验证的提示词是从 RL 训练集中随机采样的
- 不可验证数据来源于用于 Doubao-Pro 1.5 (2025) 的 SFT 数据，涵盖创意写作、基于知识的问答、安全性和函数调用等领域
为了生成具有长思维链（long CoT）的高质量响应，论文采用了一个集成模型合成（integrates model synthesis）、人工标注（human annotation）和拒绝采样（rejection sampling）的迭代工作流程
- 最初，人类专家应用提示工程（prompt engineering）技术或与内部模型进行交互式对话，以产生具有各种推理模式的响应
  - 在积累了数十个（tens）高质量的冷启动样本后，我们可以训练一个具有长 CoT 的推理模型作为更有能力的助手
  - 问题：只是数十个吗？如何理解 SFT 这里的整个迭代工作流程？
- 然后，论文使用 Seed-Verifier 对该推理模型执行拒绝采样
- 虽然此工作流程主要应用于数学数据，但论文观察到它可以很好地推广到其他领域，例如编码、逻辑谜题甚至创意写作
- 因此，对于其他领域，论文也进行冷启动过程，然后进行拒绝采样，以产生详细的推理轨迹
一些训练细节：
- 在训练期间，每个实例被截断至 32,000 个 tokens
- 论文使用上述数据对基础模型进行两个周期（epochs）的微调
- 论文使用余弦衰减学习率调度（cosine decay learning rate scheduling）
  - 峰值学习率 $\mathrm{lr}$ 为 $2\times 10^{-5}$，
  - 逐渐衰减至 $2\times 10^{-6}$

Reinforcement Learning

论文开发了一个统一的强化学习框架，可以无缝融合来自广泛领域的数据。这种集成包含三种数据类别：
- 可验证数据 (Verifiable data) ，从验证器获取反馈
  - 这类数据允许根据已知标准直接验证（verification）模型的输出
- 通用数据 (General data) ，由奖励模型评分
  - 奖励模型根据模型的响应与人类偏好的匹配程度来分配分数
- 一类特定数据（A specific class of data） ，结合了验证器和奖励模型的分数
  - 这种混合数据类型利用了基于验证（verification）和基于奖励（reward）的评估的优势
在长思维链 RLHF（long-CoT RLHF）的背景下，论文遇到了几个挑战，例如价值模型偏差（value model bias）和奖励信号的稀疏性
为了以上解决这些问题，论文借鉴了先前工作 (2025, 2025, 2025) 中的关键技术：
- 价值预训练 (Value-Pretraining) ：
  - 论文从固定策略（例如 $\pi_{\text{sft} }$）中采样响应，并使用蒙特卡洛回报（Monte-Carlo return）更新价值模型
  - 这个过程确保初始化的价值模型与论文的策略 $\pi_{\text{sft} }$ 完全对齐
  - 保持这种对齐已被证明对于保持模型的 CoT 模式至关重要，使模型能够生成连贯且合乎逻辑的 CoT
- 解耦广义优势估计 (Decoupled-GAE) ：
  - 采用不同的广义优势估计（Generalized Advantage Estimation, GAE）参数，
    - 例如 $\lambda_{\text{value} }=1.0$ 和 $\lambda_{\text{policy} }=0.95$，
  - 允许价值模型以无偏的方式更新 ，同时，策略可以独立地平衡自身的偏差和方差
  - 这种解耦使得模型的训练更加高效和稳定
- 长度自适应的 GAE (Length-adaptive GAE) ：
  - 论文设定 $\lambda_{\text{policy} }=1-\frac{1}{\alpha l}$，其中 $\alpha$ 是一个超参数，$l$ 是响应长度
  - 这种方法确保时间差分（Temporal Difference, TD）误差在短序列和长序列上分布更均匀
  - 因此，模型在训练期间可以更有效地处理不同长度的序列
  - 问题：理解一下这里的方法
- 动态采样 (Dynamic Sampling) ：
  - 论文采用动态采样，并过滤掉准确率分数等于 1 或 0 的提示词，仅保留批次中表现出有效梯度的那些
  - 这个过程有助于防止模型训练期间梯度信号的衰减
- Clip-Higher ：
  - 在近端策略优化（Proximal Policy Optimization, PPO）算法中，论文将上下裁剪边界解耦如下：
    $$\mathcal{L}^{CLIP}(\theta)=\hat{\mathbb{E} }_{t}\left[\min\left(r_{t}(\theta)\hat {A}_{t},\operatorname{clip}(r_{t}(\theta),1-\epsilon_{\text{low} },1+\epsilon_{ \text{high} })\hat{A}_{t}\right)\right] \tag{1}$$
  - 通过增加 $\epsilon_{\text{high} }$ 的值，论文为低概率词元的增加创造了更多空间
  - 这鼓励模型探索更广泛的可能响应，增强其发现新颖有效解决方案的能力
- 词元级损失 (Token-level Loss) ：
  - 论文不是在整个响应上定义策略损失，而是在所有词元上定义它
  - 这种方法解决了词元对最终损失贡献不平衡的问题，确保每个词元对训练过程的影响得到适当考虑
- 正样本语言模型损失 (Positive Example LM Loss) ：
  - 该损失函数旨在提高 RL 训练过程中正样本的利用效率。论文为正样本添加一个系数为 $\mu$ 的语言模型损失：
    $$\mathcal{L}(\theta)=\mathcal{L}_{\text{PPO} }(\theta)+\mu*\mathcal{L}_{\text{NLL } }(\theta) \tag{2}$$
  - 这个额外的损失项有助于模型更好地从正样本中学习，提高其整体性能（理解：相当于对正样本做 SFT）
当合并来自不同领域的数据并整合不同的评分机制时，论文面临着不同数据领域之间相互干扰的挑战
- 这种干扰可能源于难度水平的差异、奖励黑客攻击的风险以及其他潜在因素
- 这些问题使得在模型的所有能力上实现统一且同步的改进变得极其困难
为了抵消这一点，论文引入了在线数据分布自适应 (Online Data Distribution Adaptation)
- 该方法将强化学习期间的静态提示分布转换为自适应分布，更好地满足模型在训练期间的需求
- 通过这样做，论文最大限度地减少了数据干扰的负面影响，并确保不同能力之间更平衡的改进
- 因此，模型可以在广泛的任务中更一致地提高其性能

Infrastructures

Framework

训练框架使用 HybridFlow (2024) 编程抽象构建
整个训练工作负载运行在 Ray (2017) 集群之上
- 数据加载器（databader）和 RL 算法在单个进程的 Ray Actor（单一控制器）中实现
- 模型训练和响应生成（rollout）在 Ray Worker Group 中实现
- Ray Worker Group 暴露一组 API（例如，generate_response / train_batch 等），通过 Worker Group 内部的 SPMD（单程序多数据）运行繁重的训练/生成工作负载
- 单一控制器调用 Ray Worker Group 暴露的各种 API 来构建训练流程
HybridFlow 编程抽象使得能够快速原型化 RL 算法思想，而无需处理复杂的分布式系统
Seed1.5-Thinking 通过混合引擎架构 (2023) 进行训练，其中所有模型都位于同一位置（all the models are co-located）
- 这防止了在训练和生成之间切换时 GPU 的空闲时间
在长链思维（Long-CoT）生成过程中，论文观察到由于不同提示词（prompts）的响应长度差异巨大而导致的严重掉队现象（severe straggler phenomenon）
- 这导致生成过程中大量的 GPU 空闲时间
- 为了缓解长尾响应生成的掉队问题，论文提出了 SRS（流式 Rollout 系统，Streaming Rollout System） ，这是一个资源感知的调度框架（resource-aware scheduling framework），它策略性地部署独立的流式计算单元 ，将系统约束从 内存受限（memory-bound） 转变为 计算受限（compute-bound）

Streaming Rollout System

SRS 架构引入了 流式 rollout（streaming rollout） 来将模型演化与运行时执行解耦，通过参数 $\alpha$ 动态调整在策略（on-policy）与离策略（off-policy）样本的比例：
- 定义完成率 ($\alpha \in [0,1]$) 为使用最新模型版本生成的 on-policy 样本比例
- 将剩余未完成部分 ($1-\alpha$) 分配给来自版本化模型快照的 off-policy rollout，通过在独立资源上异步继续部分生成来实现无缝集成（seamlessly integrated through asynchronous continuation of partial generations on the standalone resources）
此外，论文还在环境交互阶段实现了动态精度调度 ，通过训练后量化和误差补偿范围缩放来部署 FP8 策略网络（deploys FP8 policy networks via post-training quantization with error-compensated range scaling）
- 为了解决 MoE 系统中的 Token 不平衡问题，论文实现了一个三层并行架构，结合了用于逐层计算的 TP（张量并行，tensor parallelism）、带有动态专家分配的 EP（专家并行，expert parallelism）以及用于上下文分块的 SP（序列并行，sequence parallelism）
- 论文的内核自动调优器（kernel auto-tuner）根据实时负载监控动态选择最优的 CUDA 内核配置

Training System

为了高效地大规模训练 Seed1.5-Thinking 模型，论文设计了一个混合分布式训练框架，该框架集成了先进的并行策略、动态工作负载平衡和内存优化
下面论文详细介绍驱动系统效率和可扩展性的核心技术创新
- 并行机制（Parallelism mechanisms）
  - 论文将 TP（张量并行）/ EP（专家并行）/ CP（上下文并行，context parallelism）与完全分片数据并行（Fully Sharded Data Parallelism, FSDP）相结合来训练 Seed1.5-Thinking
  - 具体来说，论文对注意力层应用 TP/CP ，对 MoE 层应用 EP
- 序列长度平衡（Sequence length balancing）
  - 现有挑战：有效序列长度在 DP ranks 之间可能不平衡，导致计算工作量不平衡和训练效率低下
    - 注：DP ranks 即数据并行数量
  - 为了应对这一挑战，论文利用 KARP (1982) 算法，该算法在一个小批量（mini-batch）内重新排列输入序列，使它们在微批次（micro-batches）之间达到平衡
    - 问题：待补充 KARP 算法
    - 回答：KARP 是一种用于解决组合优化领域的 NP 难问题的算法，核心思想是通过动态规划（Dynamic Programming, DP）降低 NP 难问题的时间复杂度
- 内存优化（Memory optimization）
  - 论文采用逐层重计算 (2016)、激活卸载（activation offload）和优化器卸载（optimizer offload）来支持更大微批次的训练，以重叠由 FSDP 引起的通信开销
- 自动并行（Auto parallelism）
  - 为了实现最佳系统性能，论文开发了一个自动调优系统，称为 AutoTuner
  - 具体来说：
    - AutoTuner 采用基于性能分析 (2022) 的方案对内存使用进行建模
    - 然后，它估计各种配置的性能和内存使用情况，以获得最优配置
- 检查点（Checkpoint）
  - 论文采用 ByteCheckpoint (2025) 来支持以最小开销从不同分布式配置中恢复检查点
  - 这使得用户能够弹性地训练任务以提高集群效率

Experiment Results

Auto Evaluation Results

表 2 展示了在数学、编码、科学和常识领域等各种任务上的评估结果
- 对于数学基准任务，结果是 32 个模型响应的平均值，而 GPQA 任务的结果是 8 个响应的平均值
- 对于 Codeforces，论文同时报告 avg@8 和 pass@8，因为 pass@8 更符合人类提交习惯
- 所有其他任务的结果均为 1 个响应的平均值
在数学推理方面
- Seed1.5-Thinking 在 AIME 2024 基准上达到了顶级性能，得分为 86.7，与 OpenAI 的 o3-mini-high 模型的性能相当
- 在更新的 AIME 2025 和更高级的 BeyondAIME 挑战上，Seed1.5-Thinking 仍然落后于 o3 级别的性能
- 对于 GPQA 任务，Seed1.5-Thinking 达到了 77.3% 的准确率，接近 o3-mini-high 的性能
在代码生成场景（如 Codeforces）中，
- Seed1.5-Thinking 几乎与 Gemini 2.5 Pro 的性能相当，但仍然落后于 o3-mini-high
- 值得注意的是，Seed1.5-Thinking 在 SimpleQA 上的结果不太令人印象深刻
- 值得强调的是，该基准主要作为一个面向记忆的指标，其性能与预训练模型规模的相关性更强，而不是与真正的推理能力相关

Human Evaluation Results

为了评估模型在主观任务上的性能（在这些任务中，自动化指标不足以捕捉细微的人类偏好），论文在各种非推理场景中进行了人工评估
论文的评估旨在衡量质量的关键维度，如连贯性、相关性、创造性和对人类中心偏好的遵守程度，由一个领域专家评估小组根据预定义的评分标准对模型输出与 Deepseek R1 进行评分
论文使用 5 点序数量表，范围从 0（非常差）到 4（优秀），并在具有多轮的会话提示词上评估两个模型
每个完整会话都用一个二元胜/负结果进行注释以捕捉整体用户体验，并且每轮分配一个 0-4 的分数
- 问题：二元比较又如何分配 0-4 的分数
Seed1.5-Thinking 在评估的会话中实现了 8.0% 的总胜率，表明其在符合人类中心偏好方面具有优势
- 此外，这种胜率在不同场景中是一致的，从创意写作到人文知识阐述
- 图 2 显示了每轮级别的分数分布

Effects of pre-train models

拒绝采样（Rejection Sampling）
& 拒绝采样已被认为是一种提高模型性能的有价值的技术 (2024)
- 论文进行了一项消融实验，以检查使用拒绝微调（Rejection Fine-Tuning, RFT）模型初始化 RL 是否会影响结果
- 论文的结果表明，使用 RFT 初始化的预训练模型在训练过程中饱和得更快，但最终达到的性能低于没有使用 RFT 训练的模型 ，如表 3 所示
跨模型尺寸的一致性算法排名（Consistent algorithm rankings across model size）
- 论文观察到 RL 算法在不同尺寸和架构的不同模型中表现出一致的排名行为
- 如表 4 所示，Seed-150B-MoE（一个在架构（MoE vs. Dense）和尺寸上都与 Qwen-32B 不同的模型）表现出了一致的排名
- 值得注意的是，这种一致性表明 Qwen-32B 可以有效地作为研究 RL 算法的代理模型
  - 理解：Qwen-32B与其他超大模型在强化算法上的效果表现比较一致，可以用于验证不同方法的效果

测试时缩放（Test-time scaling）(2024, 2025, 2025, 2025)，已经催化了 LLM (2020, 2023) 的深刻范式转变
- 例如 OpenAI 的 o1 (2024) 和 DeepSeek 的 R1 (2025)
测试时缩放（Test-time scaling）通过启用扩展的思维链（CoT）推理 (2022) 并激发复杂的推理能力
- 这些方法使 LLM 能够在复杂的数学和编码任务中表现出色，包括来自 AIME 和 Codeforces 等竞赛的任务
这一转变的核心是大规模强化学习，它促进了复杂推理行为的出现——例如自我验证和迭代优化
但支持可扩展 RL 训练的关键方法和算法在很大程度上仍然不为人知，通常被现有推理模型 (2023, 2025, 2023, 2022, 2024) 的技术文档所忽略
在论文中，论文介绍了一个 SOTA 级别的模型 Seed1.5-Thinking，并从数据、RL 算法和 RL 基础设施三个方面介绍了实现该性能的细节

附录 A：Case Study on Verifier

表5展示了种子验证器（Seed-Verifier）与种子思维验证器（Seed-Thinking-Verifier）的对比案例研究
- 可以明显看出
  - Seed-Verifier 在处理具有复杂答案的样本时存在显著困难
  - Seed-Thinking-Verifier 能够通过逐步分析提供准确的判断结果
- 得益于其详细的思维过程，Seed-Thinking-Verifier 展现出卓越的灵活性，并能有效泛化至几乎任何领域

附录 B：Case Study on Creative Writing

在表6、7、8中，论文通过中英文示例展示了模型在创意写作方面的能力
每个示例均包含三个独立部分：用户原始提示、模型的思维链以及模型的最终响应

NLP——Drag-and-Drop-LLMs

注：本文包含 AI 辅助创作

参考链接：
- 原始论文：(DnD)Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights, arXiv 20250619, National University of Singapore(NUS)
- 项目地址：jerryliang24.github.io/DnD

Paper Summary

整体总结：
- PEFT 为定制 LLM/VLLM 以适应下游任务提供了一种高效的解决方案，但当模型规模庞大且任务多样时，其成本仍然很高
- 论文训练了一个参数生成器来映射提示-权重对，可以通过处理未标注的任务提示为新颖任务生成定制化的权重
- 本论文的方法可以在几秒内将未标注的任务提示直接转换为 LoRA 权重更新
- 这种无需进一步微调的提示到权重的范式，为高效定制 LLM 和 VLLM 开辟了一条新的研究方向
PEFT 方法降低了定制 LLM 的成本，但仍需为每个下游数据集单独运行优化过程
- 注：参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）方法，包括 LoRA（Low-Rank Adaptation），P-tuning 等
论文提出了 Drag-and-Drop LLMs（DnD） ，这是一种 prompt-conditioned 参数生成器 ，通过将少量未标注的任务提示直接映射到 LoRA 权重更新，从而消除逐任务（per-task training）的训练
- 一个轻量级文本编码器将每批 Prompt 蒸馏为条件 Embedding ，随后通过级联的超卷积（cascaded hyper-convolutional）解码器将其转换为完整的 LoRA 矩阵集合
在多样化的 prompt-checkpoint 对上进行训练后，DnD 能在几秒内生成任务特定的参数，实现以下优势：
- 1）相比全参数微调，开销降低高达 12,000 倍；
- 2）在未见过的常识推理、数学、编程和多模态基准测试中，平均性能比最强的训练 LoRA 提升高达 30%
- 3）即使从未见过目标数据或标签，也能实现强大的跨领域泛化能力
论文的结果表明，prompt-conditioned 参数生成是一种可行的替代梯度下降适配的方法，能够快速定制 LLM

Introduction and Discussion

GPT-4、Llama 2/3、Qwen2.5 和 DeepSeek 等 LLMs 凭借其互联网规模的预训练和 Transformer 架构，迅速成为当代自然语言处理乃至更广泛人工智能领域的核心 (2021; 2024; 2025; 2024)
这种预训练使单个模型在数学、编程、推理甚至多模态理解方面具备广泛的 零样本（Zero-Shot） 能力 (2023; 2021; 2022; 2021)
然而，实际部署很少止步于零样本使用，而是需要反映内部数据、领域术语或定制响应风格的任务特定行为
参数高效微调（PEFT）旨在通过插入一小部分可训练权重（最突出的是 LoRA 的低秩适配器）来满足这一需求 (2022)
尽管 LoRA 通过冻结模型参数保持可训练参数和存储开销较小，但其实际时间成本仍然很高：
- 例如，使用 LoRA 适配最轻量的 0.5B 参数 Qwen2.5 仍需占用 4 块 A100 GPU 半天时间 (2024)
- 此外，每个下游用户或数据集都需要独立的优化运行，这在 PEFT 大规模部署时迅速成为计算瓶颈
论文观察到，LoRA 适配器仅仅是其训练数据的函数：梯度下降将基础权重“拖拽（drags）”至任务特定最优值（图 1）
如果能直接学习从提示到权重的映射，就可以完全绕过梯度下降
早期的参数生成研究表明，超网络可以在几分钟内合成数十亿参数 (2022; 2022; 2024; 2024; 2024)，但它们要么忽略任务条件，要么使用简单的二元嵌入
近期的进展使这一目标成为可能
- RPG（2025）是最早基于任务信息进行条件生成（并在单次传递中生成整个分类器）的方法之一
- 该方法在零样本情况下对未见过的图像类别达到了与从头训练相当的效果，但将这种成功迁移到语言领域带来了新的挑战
  - 首先，语言提示比 RPG 中使用的二进制嵌入具有更高数量级的语义变化
    - 因此，一个实用的生成器必须能够接收丰富的任务描述并保留其细微差别
  - 其次，实际应用中的 LLM 可能面临数百种异构工作负载（heterogeneous workloads），因此条件机制必须能够优雅地扩展，同时以高保真度注入特定于任务的线索
    - 问题：这里的异构工作负载是指什么？
- 这些挑战催生了对一种紧凑而富有表现力的表示的需求，这种表示既要能捕捉输入文本的显著特征，又要能引导超网络走向 LoRA 权重空间的相应区域
- 论文接下来介绍的方法正是为解决这一核心挑战而设计的
论文提出了 Drag-and-Drop LLMs（DnD） ，这是一种基于提示条件的超生成器（hyper-generator），能够在几秒钟内将少量未标记的任务提示转换为完整的 LoRA 适配器 ，消除了任何特定于任务的优化
- DnD 采用现成的轻量级文本编码器 ，将给定的提示批次压缩为条件 Embedding ，然后通过级联超卷积解码器将其扩展为每个 transformer 层的 LoRA 更新
在常识推理、数学、代码生成和多模态基准测试中，DnD 将适配开销降低了高达 12,000 倍，同时与最强的训练 LoRA 相比，在未见过的数据集上性能提升高达 30%，并且能够从 0.5B 参数无缝迁移到 7B 参数的骨干模型
通过将经典的“data -> gradients -> weights”循环压缩为单个前向步骤，DnD 挑战了梯度下降对于模型特化不可或缺的观念，并开辟了一条新的道路，其中权重本身成为一种新的数据模态和基于简洁任务描述的生成目标
论文的主要贡献如下：
- 提出新的 LLM 适配范式 ：论文将 LoRA 适配视为从新数据集的原始提示直接生成特定于任务的权重，并通过可扩展的超生成器实现这种映射，这比传统调优效率高得多
- 设计了实用架构 ：一个冻结的文本编码器与超卷积解码器相结合，能够生成大规模参数，同时将适配开销降低四个数量级
- 完成了全面评估 ：在推理、数学、编码和多模态任务上的实验显示，在未见过的数据集上零样本性能提升高达 30%，并且在不同模型大小之间实现平滑迁移，突出了 DnD 令人印象深刻的效率和多功能性

Drag-and-Drop Your LLMs

Preliminary

参数高效微调（Parameter-Efficient Fine-Tuning） ：参数高效微调（PEFT）通过仅引入和调整少量额外参数，同时冻结原始模型权重来节省训练成本
- 这种方法已应用于 LLM 和其他基础模型，尤其是以低秩适应（LoRA）形式，例如 LLaMA (2024) 和 Stable Diffusion (2022)
- 其优化过程可表示为：
  $$
  \min_{A,B}\mathcal{L}(W_0 + BA, \mathcal{D}), \tag{1}
  $$
  - 其中 $ W_0 $ 是冻结的原始权重矩阵
  - 低秩矩阵 $ B \in \mathbb{R}^{d \times r} $ 和 $ A \in \mathbb{R}^{r \times k} $（$ r \ll \min(d,k) $）是唯一的可训练参数
  - $ \mathcal{D} $ 表示微调数据集
  - 根据公式 1，LoRA 使用数据 $ \mathcal{D} $ 作为原材料，通过优化驱动获得权重空间偏移 $ \Delta W = BA $，从而使 $ \Delta W $ 与 $ \mathcal{D} $ 强关联
参数生成（Parameter generation） ：这种方法将模型或训练权重视为数据，旨在无需传统训练即可合成高性能神经网络参数
- 近期进展如 COND P-DIFF (2024)、RPG (2024)、SANE (2024) 和 ORAL (2025) 通过引入条件机制实现了可控生成，允许为简单数据集生成初步个性化参数
- 参数生成过程与 PEFT 有根本共性：条件作为原材料，参数生成器提供驱动力以生成具有特定属性的目标权重
- 一个问题仍然存在：论文能否利用参数生成有效地“拖放（drag-and-drop）”LLM 的权重，使其更适合给定的新任务？
  - 通过“拖放（drag-and-drop）”，论文类比于一种简单、无需调优的过程，直接生成任务特定权重 ，类似于无需进一步配置即可将文件拖放至目标位置
关键挑战（Key challenges） ：在回答上述问题前，论文分析潜在挑战：
- 挑战 1 ：如何为参数生成器配备有效的“拖放”能力？
  - 生成器应生成能有效使 LLM 适应特定任务的参数
- 挑战 2 ：如何在不进行任务特定训练的情况下实现适配？
  - 传统 PEFT 方法通常需要在新任务上训练，但论文能否通过直接生成参数而无需目标任务的任何微调来达到可比性能？
- 挑战 3 ：如何使拖放功能用户友好且易于访问？
  - 生成机制应简单直观，以促进广泛采用和实际部署

Overview of DnD

为解决上述挑战，论文提出如图 2 所示的 DnD
training data preparation ：
- 作为准备，论文首先在各种数据集上训练并保存 LoRA 适配器
training of DnD ：
- 为开发“拖放”能力，论文的方法应了解参数与数据集的关联
- 因此，论文随机将收集的检查点与其训练数据中的提示批次配对
  - 问题：为什么是随机配对？
  - 回答：真实 label 应该是严格对齐数据和 checkpoint 的，这里指的随机不是随便做不相关的组合，而是对一个模型 checkpoint，随机采样采样训练出该模型的数据中的某些 Prompt 样本，这里的核心是保证模型一定时由对应的数据训练出来的
- 预训练的文本编码器从提示中提取嵌入，并将其馈送至论文的参数生成器
- 生成器采用级联纯卷积解码器块的简单架构（详见第 2.5 节和附录 A.3）
- 论文使用生成参数与原始 tokenized 模型权重之间的均方误差（MSE）损失优化生成器
  - 注：这里是指让生成参数尽量能拟合原始 tokenized 模型权重
在推理时，论文在领域内和跨领域场景中评估方法：
- 只需将新数据集（训练中未见）的提示输入 DnD，即可通过单次前向传递获得定制模型参数

Data Preparation of DnD

检查点收集（Checkpoint collection） ：论文收集跨数据集的检查点作为多样化监督，以赋予 DnD 能力
- 收集过程遵循先前的参数生成工作 (2024; 2024)：训练指定周期，随后在每次迭代时保存检查点（更多细节见附录 A.1）
提示的作用（The role of prompts） ：近期研究 (2025; 2024) 表明，不同数据集的样本表现出独特特征，即样本可视为特定数据集（任务）的“指纹”
- 基于此观察，论文使用数据样本（提示）作为其各自数据集（任务）的代理
- 为建立数据-参数映射，论文结合用于训练这些检查点的数据集中的提示
- 这些提示包含数据集特定特征，使生成器能够推断不同任务中模型的适当“拖拽”方向
提示-检查点配对（Prompt-checkpoint pairing） ：基于上述分析，下一个重要问题是：如何利用这些元素在训练中为 DnD 配备“拖放”能力？
- 给定数据集 $ P $，论文首先将其划分为不重叠的提示批次 $[p_1, \cdots, p_i, \cdots, p_I]$。该数据集训练后的 LLM 检查点记为 $ M = [m_1, \cdots, m_j, \cdots, m_J] $。论文随机选取一批提示和对应的检查点。该过程可形式化为：
  $$
  [p_1, \cdots, p_i, \cdots, p_I] \xrightarrow{\text{随机选取} } \{p_i, m_j\} \xleftarrow{\text{随机选取} } [m_1, \cdots, m_j, \cdots, m_J], \tag{2}
  $$
  - 其中 $\{p_i, m_j\}$ 作为参数生成器训练的配对。提示 $ p_i $ 和检查点 $ m_j $ 分别作为输入和监督

Prompt Embedding

对于每批提示，论文使用开源文本编码器提取嵌入作为参数生成器的输入。提取过程可形式化表示为：
$$
c_i = \operatorname{Encoder}(p_i, \theta), \tag{3}
$$
- 其中 $\operatorname{Encoder}(\cdot, \cdot)$ 表示由 $ \theta $ 参数化的嵌入提取函数，$ c_i $ 表示与提示 $ p_i $ 对应的提取嵌入
- 默认情况下，论文采用基于编码器的语言模型架构 (2019) 进行提示嵌入
- 在实验部分，论文进一步探索并定量评估其他嵌入方法，包括 word2vec 表示 (2014)、编码器-解码器架构 (2020) 和解码器专用语言模型 (2024)

Training and Inference of DnD

Structure of parameter generator

与基于扩散的参数生成方法（2024, 2024, 2025）不同，论文采用超卷积解码器（hyper-convolutional decoder）来学习输入提示与参数之间的映射
这种设计主要考虑了效率，因为 Decoder-only 结构在 LLM 中已显示出其优越性（2023, 2024, 2024, 2025）
论文在右侧部分（图 3）展示了解码器的模块细节
论文假设输入提示嵌入的维度为 $[B, N, L, C]$，其中 $B$、$N$、$L$ 和 $C$ 分别表示批大小（batch size）、提示批长度（即提示数量）、序列长度（sequence length）和隐藏维度（hidden dimension）
级联卷积块（cascaded convolutional blocks）将提示嵌入转换为与 tokenized 权重相匹配的维度
这里，论文将最后一个块的输出记为 $[B, N_w, L_w, C_w]$

Learning objective

学习目标很简单：论文计算参数生成器最后一个块的输出与相应的 tokenized 检查点（checkpoint）之间的均方误差（Mean Squared Error, MSE）损失
与 RPG（2025）类似，论文将每一层的参数 tokenized 为非重叠的片段并进行填充，确保检查点具有一致的形状 $[B, N_w, L_w, C_w]$
形式上，论文将均方误差损失写为：
$$
\text{prompt embeddings} \xrightarrow{\text{parameter generator} } L_{MSE} \xleftarrow{\text{tokenization} } \text{corresponding checkpoints}. \tag{4}
$$

Inference

论文期望参数生成器开发有效的“拖放”能力，尤其是对训练中未见过的新数据集或任务
- 因此，评估主要关注新数据集的性能
- 推理过程包括四个步骤：
  - 1) 从新数据集中采样提示；
  - 2) 从这些提示中提取嵌入；
  - 3) 将嵌入输入参数生成器；
  - 4) 在新数据集上评估生成的参数
- 为全面展示方法的“拖放”能力，论文检查领域内（如常识到常识）和跨领域（如常识到科学）场景的性能

Experiments

Implementation details

论文选择 Qwen2.5 (2024) 系列作为基础模型，并在常识推理、代码生成、数学和多模态任务上进行实验
下表列出了每个任务涉及的模型规模和数据集详情
默认的文本编码器为 Sentence-BERT (2019)，提示批次的长度在常识推理、数学、代码生成和多模态任务中分别设置为 128、64、64 和 32
其他超参数设置请参考附录 A.1

Common Sense Reasoning

评估设置 (Evaluating setting) ：论文使用 LoRA (2022) 在七个常识推理数据集上微调 Qwen2.5-0.5B，并将检查点保存为训练数据
- 在表 1 的每一列中，论文将指定数据集作为测试集（即不用于训练），并在其他数据集的 LoRA 上训练 DnD
分析 (Analysis) ：表 1 报告了训练 LoRA 和生成 LoRA 的平均准确率。从结果中可以看出以下几点：
- 1) 论文的方法在未见数据集上始终优于用于训练的 LoRA，表明它能够通过条件将 LLM 参数“拖放”到任务特定的分布中
- 2) 这种“拖放”能力在不同数据集上均成立，显示出对各种数据输入的强鲁棒性
跨领域拖放 (Cross-domain Drag-and-Drop) ：为了进一步探索 DnD 的零样本能力，论文不仅在推理中使用领域内未见数据集，还将其在科学数据集 (2023) 上测试
- 生成的参数与科学数据集上的训练 LoRA 进行比较
- 从表 2 可以看出，DnD 超越了其训练 LoRA 的平均准确率，表明论文的方法能够将 LLM 参数“拖放”到跨领域任务（即从常识推理到科学任务）

Generalization to Coding, Math, and Multimodal Tasks

为了验证论文的方法在更复杂场景中的适用性，论文还将 DnD 应用于代码生成、数学和多模态任务。实验结果和发现如下
代码生成 (Coding) ：
- 与常识推理任务类似，论文在七个代码数据集上使用 LoRA 微调 Qwen2.5-1.5B，并将检查点保存为训练数据
- 评估在 HumanEval (2021) 基准上进行，使用 pass@k (2021) 分数（k = 1, 5, 10）
- 需要注意的是，无论是 LoRA 微调模型还是 DnD，在训练中均未见过该基准的任何样本
- 因此，论文直接在 HumanEval 上测试训练 LoRA 和生成的 LoRA。从表 3 可以得出以下结论：
  - 1）论文的方法取得了显著结果，平均 pass@1 = 15.1，pass@5 = 26.7，pass@10 = 30.9
  - 2）尽管训练 LoRA 在测试集上表现不佳，DnD 仍然获得了良好的性能
    - 这表明它并非简单地记忆训练中见过的参数，而是学会了根据条件为未见数据集生成适配的参数
数学 (Math) ：论文在六个数学数据集上微调 Qwen2.5-1.5B 并保存检查点
- 采用 gsm8K (2021) 和 MATH (2021) 作为基准，以准确率为评估指标
- 表 3 中的结果与常识推理和代码任务的结果一致，凸显了论文的方法在广泛场景中的优越性
多模态 (Multimodal) ：上述结果验证了论文的方法在文本模态中的有效性，接下来，论文探索其更广泛的潜力，将其扩展到其他模态
- 论文在 MathV360K (2024) 上微调 Qwen2.5-VL-3B (2025)，保存检查点，并使用 Math-Vision (2024) 和 Math-Vista (2024) 进行评估
- 表 3 的结果显示，DnD 在多模态任务中表现良好，表明论文的方法可以适配文本以外的模态，并具有广阔的应用潜力
总结 (Takeaway) ：基于上述结果和比较，DnD 是一个高性能的零样本学习器，具有强鲁棒性和广泛适用性，这体现在其相对于训练数据的显著改进以及在各种场景中的优异表现
接下来，论文将继续探索论文提出的方法的更多有趣特性

Ablation Studies

本节主要探索论文方法的一系列有趣特性
对于实验中涉及的不同设置，论文将在附录 B.3 中详细报告
除非特别说明，论文使用 ARC-c 作为测试集，其他常识推理数据集用于训练

What types of data will help Drag-and-Drop LLMs better?

如第 2.3 节所述，论文使用提示作为条件来驱动 DnD
当条件类型变化时（例如答案），这种“拖放”能力是否仍然有效？
论文通过将条件类型更改为提示（Prompt）、提示 + 答案（Prompt + Answer）及其混合（Mix）（提示 : 答案 = 4 : 1）进行消融研究，结果如表 4a 所示
可以观察到，提示 + 答案组的性能出人意料地较差
- 作者得出结论，这是因为常识推理数据集中的答案缺乏多样性（例如 A/B/C/D），将其与提示结合可能会损害数据集特定的表示
- 这会阻碍生成器区分不同数据集并生成特定参数
因此，论文建议不要单独使用答案作为条件
然而，对于答案更复杂和多样化的任务，结论可能不同 ，论文在附录 B.3 中展示了这些任务的结果

How does the choice of condition extractor affect DnD’s performance?（condition extractor 的影响）

论文的默认条件提取器是 Sentence-BERT (2019)，但探索其他模型的潜力也很有趣
为了确保全面比较，论文包括经典的 word2vec 方法 Glove (2014)、默认的仅编码器 Sentence-BERT (2019)、编码器-解码器模型 T5 (2020) 和 Decoder-only Qwen2.5-7B (2024)
表 4b 的结果揭示了以下几点：
- 1）即使是 Glove 等传统方法也能帮助 DnD 获得良好的结果，表明论文的方法可以适配多种文本编码器
- 2）Qwen2.5-7B 的表现不如预期，可能有两个原因：
  - 首先，其庞大的规模限制了每次迭代中与参数配对的条件数量，导致对未见数据集的感知能力较差（类似结论可以从附录 B.3 的实验中得到）
  - 其次，Qwen2.5-7B 的 Decoder-only 架构可能会限制条件的多样性，因为它将提示编码为答案

What property of training data equips our method with drag-and-drop ability?（哪些 Training 数据属性赋予论文的方法“拖放”能力？）

默认情况下，论文在多个数据集上训练并在 1 个未见数据集上测试
本节通过减少训练集数量并在更多数据集上测试来探索 DnD 的鲁棒性
训练-测试集安排为：6-1、4-3、3-4 和 2-5
生成的参数与训练 LoRA 在未见数据集上的平均准确率进行比较，并报告其平均准确率提升（表 4c）
可以观察到：
- 1）通常情况下，更多的训练数据集会带来更好的性能提升
  - 这是预期的，因为更多数据确保了条件-参数关联的更好覆盖，从而为未见数据带来更好的鲁棒性
- 2）当训练样本较少时，DnD 无法将 LLM 参数“拖放”到未见数据集
  - 随着用于训练的数据集减少，DnD 的平均提升也相应下降
  - 在 2-5 的情况下，它几乎无法超越训练 LoRA
  - 我们可以得出结论，DnD 需要基本的训练样本量来学习条件-参数关联

How does DnD’s performance compared with foundation LLMs?

考虑到大规模预训练 LLM 通常需要大量计算，在小规模下游数据集上微调可能会损害其在未见测试集上的零样本性能
意识到这一现象后，论文在所有实验任务中将 DnD 生成的权重性能与基础 LLM 进行比较
- 理解：即比较实用 DnD 后，基础模型效果能提升多少
具体来说，对于基础 LLM，论文采用 Qwen2.5-0.5B 进行常识推理，1.5B 进行数学和代码生成，Qwen2.5-VL-3B 进行多模态任务
表 5 的结果再次显示了论文方法的优越性：
- DnD 在所有任务中均优于基础 LLM。其“拖放”能力可以生成任务特定的参数，性能优于经过大量预训练的基础 LLM

Open Explorations and Analysis

Condition-Parameter Pairing

本节探索第 2.3 节中介绍的其他配对策略对性能的影响。论文测试了两种条件配对策略：
- 策略 1 ：固定提示总数为 128、256、512、1024、2048、5000，并在每次迭代中使用所有这些提示与参数配对（$x \gets x$）
- 策略 2 ：固定每次迭代中提示批次的长度为 128，并从 128、256、512、1024、2048、5000 候选提示中随机选择这些提示（128 $\gets x$）
基于图 4a 的结果，我们可以得出以下结论：
- 1）在条件数量有限的情况下，DnD 无法泛化到未见数据，因为它几乎无法学习关于条件-参数映射的全面知识
- 2）随着条件数量的增加，策略 2 的性能迅速提升，因为 DnD 暴露于足够多的条件-参数对中。这表明策略 2 可能有助于 DnD 高效收敛
- 3）策略 1 需要更多条件才能达到与策略 2 相当的性能。在条件数量较多时，策略 1 会遇到内存不足的问题。每次迭代中相同条件与参数的配对可能会阻碍 DnD 将条件与特定数据集关联。综上所述，策略 2 在模型泛化性、收敛速度和内存消耗方面均优于 策略 1。这些结论与表 4c 的发现一致：训练数据的多样性赋予论文的方法“拖放”能力

DnD vs full-shot tuning

本节在准确率和开销方面将 DnD 与全量微调（full-shot tuning）进行比较
具体来说，论文测试了 ARC-c 微调的 LoRA（约 75 次迭代，详见附录 A.4）在 ARC-c 测试集上的全量性能
由于 LoRA 的性能可能随着迭代次数的增加而提升，论文还在 ARC-c 上微调 LoRA 300 次迭代并测试其性能
这些结果与 零样本 DnD 的结果在图 4b 中进行了比较：
- 1）使用适度微调的检查点进行训练时，DnD 已经取得了比全量微调更好的结果。这展示了 DnD 令人印象深刻的 零样本 能力，甚至超越了 全量微调
- 2）DnD 的效率极高，性能优于全量微调的同时，速度提升了 2500 倍
- 此外，随着训练的继续，尽管全量微调表现更好，但论文的方法与其性能差距极小，同时效率提升了 12,000 倍
理解：
- 仅训练一轮的全参数微调效果不如 DnD
- 训练很多轮的全参数微调效果比 DnD 好，但没有好很多
- 注：DnD 的速度极快，且比仅训练一轮的全参数微调效果好很多

Efficiency analysis of DnD

除了全量微调外，上下文学习（in-context learning，ICL） 和少样本微调（few-shot tuning，FS） 也是 LLM 微调中的流行方法
在图 4c 中，论文通过实验研究了它们的性能-效率权衡。可以得出以下几点观察：
- 1) 当样本较少时，ICL 和 FS 的结果较差，但随着样本增加，它们的开销也会上升
- 2) DnD 在样本数达到 256 之前，能以可忽略的开销获得比 FS 和 ICL 更好的性能
- 3) 值得注意的是，少样本和 ICL 都使用答案来指导 LLM 以获得更好的性能。相反，DnD 仅依赖 128 个未标注的提示。基于上述结果，论文预计 DnD 是一个强大且高效的零样本学习器

Scalability of DnD

本节探索 DnD 的可扩展性
由于常识推理任务较为简单，0.5B 模型已足够，论文专注于数学和代码生成任务，同时将基础模型规模从 1.5B 增加到 7B
论文使用第 3.3 节中的原始数学和代码数据集，数学任务使用 gsm8K 进行评估，代码任务使用更难的基准 LiveCodeBench (2024) 进行评估
论文在表 6 中报告了数学任务的准确率和代码任务的 pass@1。可以观察到：
- 1）在 7B 模型设置下，DnD 在两个任务中始终优于训练 LoRA，突显了其对更大基础 LLM 的卓越可扩展性
- 2）在更难的代码基准上，DnD 保持了优于训练 LoRA 的性能，即平均 pass@1 提升 = 20.3。这表明 DnD 能够泛化到更复杂的基准，显示出广阔的应用潜力和鲁棒性

Comparisons with previous methods

论文将论文的方法与最新的参数生成方法 RPG (2025) 进行比较。论文在两种场景中探索两种方法的性能：
- 闭集生成：生成训练中见过的参数
- 开集生成：为未见数据集生成参数
图 5 显示两种方法在闭集生成中表现良好，但 RPG 在开集生成中失败，表明论文的设计（以提示为条件，条件-参数配对）对未见数据集具有一定的鲁棒性和泛化性

Visualization for the effect of drag-and-drop

本节在图 6 中可视化原始参数和生成参数
可以看出，原始参数在权重空间中表现出多样化的模式，形成不同的簇
此外，即使接近目标数据集（即 ARC-c）微调的参数，也可能存在较大的性能差距（即 19.1% 对比 40.7%）
在训练了这些具有不同特征的模型后，DnD 能够以零样本方式为目标数据集生成参数
生成的参数在权重空间中接近原始参数，甚至性能优于全量微调（即 51.6% 对比 40.7%）。这生动地展现了“拖放”效果

Parameter-Efficient-Fine-Tuning (PEFT)

LLM 的规模迅速扩大，使得全参数微调成本越来越高
为了解决这一问题，低秩适应（LoRA）(2022) 被提出，利用 LLM 固有的稀疏性，通过优化两个低秩矩阵而非原始权重，大幅降低了微调成本
随后出现了多种 LoRA 变体，如 DoRA (2024)、LoRA+ (2024)、VeRA (2024) 和 DyLoRA (2023)
但它们都有一个潜在缺陷：需要对每个新数据集进行模型参数微调，因此缺乏通用性
- 随着模型规模的扩大和训练数据的增加，这仍然会带来额外的成本

Parameter generation

参数生成以模型检查点为训练目标，旨在生成高性能参数，包括训练中见过和未见的数据集
先前的工作 (2016; 2011; 2013; 2016) 专注于学习参数分布，但难以重建原始模型的性能
随着扩散模型的发展，超表示 (2022; 2022; 2024) 和 p-diff (2024) 使用潜在扩散架构生成高性能参数
借助 Mamba (2024) 和适当的标记化策略，RPG (2025) 可以在几分钟内生成 2 亿参数
关于条件生成，COND P-DIFF (2024)、Tina (2024) 和 ORAL (2025) 探索了文本控制的参数生成方法
RPG 甚至在 CIFAR-10 (2009) 的二元嵌入分类任务上为未见数据集生成参数
但这些方法在更复杂的任务上难以保持优异的零样本能力，阻碍了参数生成更广阔的应用潜力
本论文的方法以未见数据集中的提示为条件，更好地捕捉参数与数据集的关联，能够为未见数据集生成有效的参数

附录

详情见原文

NLP——LLM-CPT相关论文记录

参考链接：
- A Comprehensive Survey of Continual Learning: Theory, Method and Application, TPAMI 2024， THU：截止20250610，cited by 1034
- Efficient Continual Pre-training for Building Domain Specific Large Language Models, ACL 2024, Amazon：截止20250610，cited by 47
- Continual Learning for Large Language Models: A Survey, arXiv 2024，Monash University && Griffith University：截止20250610，cited by 145
- Continual Learning of Large Language Models: A Comprehensive Survey, ACM Computing Surveys 2024, DeepMind：截止20250610，cited by 96
- Continual Learning with Pre-Trained Models: A Survey, arXiv 2024， Nanjing University：截止20250610，cited by 98
- Continual Pre-Training of Large Language Models: How to (re)warm your model?，arXiv 202308，Concordia University：截止20250610，cited by 100
- Recent Advances of Foundation Language Models-based Continual Learning: A Survey, arXiv 202409(ACM Computing Surveys 2025), ECNU：截止20250610，cited by 21
- Simple and Scalable Strategies to Continually Pre-train Large Language Models, arXiv 2024：截止20250610，cited by 82
  
  from LLM 预训练和评估奖励模型的技巧 - 北方的郎的文章 - 知乎
  最近的论文《持续预训练大型语言模型的简单且可扩展的策略》提供了关于如何继续使用新数据预训练LLM的宝贵见解
- Continual Learning of Natural Language Processing Tasks: A Survey, UIC, arXiv 2022：截止20250610，cited by 101
- Continual Lifelong Learning in Natural Language Processing: A Survey, 2020, UPC：截止20250610，cited by 273
- ECONET: Effective Continual Pretraining of Language Models for Event Temporal Reasoning, 2021, UCLA & USC：截止20250610，cited by 84
- EcomGPT-CT: Continual Pre-training of E-commerce Large Language Models with Semi-structured Data, arXiv 202312, THU, Alibaba：截止20250611，cited by 26
- ChatHome: Development and Evaluation of a Domain-Specific Language Model for Home Renovation, arXiv 20230728, Beike：截止20250616，cited by 33

NLP——Continual-Learning-for-LLM(A-Survey)

注：本文包含 AI 辅助创作

参考链接：
- 原始论文：Continual Learning for Large Language Models: A Survey, arXiv 2024，Monash University && Griffith University

Paper Summary

LLM 不适合频繁重新训练 ：LLM 由于其庞大的规模导致训练成本高昂，因此不适合频繁重新训练
更新是必要的 ：但为了便赋予 LLM 新的技能，并使其与快速演变的人类知识保持同步，更新是必要的
论文综述了 LLM 持续学习（Continual Learning）的最新研究成果
根据 LLM 的独特性，论文以一种新颖的多阶段分类方案对持续学习技术进行分类 ，包括：持续预训练（Continual Pretraining，CPT）、持续指令微调（Continual Instruction Tuning，CIT）和持续对齐（Continual Alignment，CA）
论文将 LLM 的持续学习与以下增强策略进行对比：
- 较小模型使用的简单适应方法（simpler adaptation methods used in smaller models）
- 检索增强生成（Retrieval-Augmented Generation，RAG）
- 模型编辑（Model Editing）

Introduction and Discussion

近年来， LLM 在解决多样化问题方面的能力取得了快速进展
为了使 LLM 能够准确反映不断演变的人类知识、价值观和语言模式，定期更新变得至关重要，这促使了对 LLM 持续学习的研究
虽然持续学习与其他模型改进策略（如 RAG [21] 和模型编辑 [26]）有相似之处，但它们的主要目的不同（见表1）
- 其他模型改进策略 ：主要关注点是提高领域特定准确性或扩展模型的事实知识库
- 持续学习 ：目标是提升 LLM 的整体语言和推理能力
这一区别至关重要，因为它将焦点从仅仅更新信息转移到开发模型以更全面和细致的方式处理和生成语言的能力 [27]
LLM 的持续学习也不同于其在较小模型（包括较小的预训练语言模型（PLM，Pretrained Language Model））中的应用
由于其庞大的规模和复杂性， LLM 需要多方面的持续学习方法。论文将其分为三个不同的阶段：
- 持续预训练（Continual Pretraining，CPT） ：扩展模型对语言的基本理解 [8]；
- 持续指令微调（Continual Instruction Tuning，CIT） ：改进模型对特定用户指令的响应 [27]；
- 持续对齐（Continual Alignment, CA） ：确保模型的输出符合价值观、伦理标准和社会规范 [27]
这一多阶段过程与较小模型使用的更多线性适应策略（more linear adaptation strategies used in smaller models）不同，如图1 所示，突显了将持续学习应用于 LLM 的独特挑战和要求
本综述通过其独特的焦点和结构与之前的研究区分开来，虽然该领域的先前综述通常围绕各种持续学习策略 [4] 组织，但论文的研究首次专门针对 LLM 的持续学习
论文围绕持续更新的信息类型和 LLM 涉及的不同学习阶段构建分析
本综述提供了关于*持续学习如何应用于 LLM *的详细和新颖的视角，揭示了这一应用的特定挑战和机遇
论文的目标是为 LLM 中持续学习的有效实施提供全面理解 ，为未来开发更先进和适应性更强的语言模型做出贡献

Preliminary and Categorization

LLM （Large Language Model）

LLM 如 ChatGPT 和 LLaMa [26] 在许多任务中表现出卓越性能
它们通常通过多个阶段进行训练，包括预训练（Pretraining）、指令微调（Instruction Tuning）和对齐（Alignment），如图1 所示
- 预训练阶段 ： LLM 以自监督方式在大规模语料库上进行训练 [7]，其中训练文本被随机掩码，模型被要求预测被掩码的标记
  - 个人补充：这里表述有点不够严谨，MLM 的方式确实是这样的，但是现在大多都是自回归模型（Autoregressive Model），采用的是 NTP 的形式
- 指令微调阶段 ： LLM 以监督方式在一组指令-输出（instruction-output）对上微调 [38]
  - 给定特定任务的指令作为输入，要求模型生成相应的输出
- 对齐阶段 ： LLM 通过人类反馈进一步微调，使其输出与人类期望对齐 [35]
  - 这里涉及到人类标注者对模型的输出进行评分，模型被更新以生成更符合人类期望的响应

Continual Learning

持续学习专注于开发学习算法以积累非平稳数据的知识，通常按类别、任务、领域或实例划分
在监督持续学习中，任务序列 $\{\mathcal{D}_{1},\ldots,\mathcal{D}_{\mathcal{T} }\}$ 以流式方式到达
每个任务 $\mathcal{D}_{t}=\{(x_{i}^{t},y_{i}^{t})\}_{i=1}^{nt}$ 包含一个独立的目标数据集，其中 $x_{i}^{t}\in\mathcal{X}_{t}$，$y_{i}^{t}\in\mathcal{Y}_{t}$
单个模型需要依次适应这些任务，且在第 $t$ 个任务时仅能访问 $\mathcal{D}_{t}$（注：特别是无法访问 $t$ 时刻之前的任务），这一设置要求模型在其生命周期中获取、更新、积累和利用知识 [4]
传统持续学习的主要挑战是灾难性遗忘（Catastrophic Forgetting） ，即模型在训练新数据时对旧任务的性能显著下降
现有研究大致可分为三类：
- 经验回放方法（Experience Replay）[8, 37]
- 基于正则化的方法（Regularization-based）[19, 9]
- 动态架构方法（Dynamic Architecture）[28]
最近，研究人员设计了一些结合上述技术的混合方法 [5, 16]

Continual Learning for LLMs

LLM 的持续学习 ：旨在使 LLM 能够从随时间变化的连续数据流中学习
直接将现有的持续学习设置应用于 LLM 并非易事。论文现在提出一个 LLM 持续学习的框架，并对该领域的研究进行分类

Framework

论文的框架如图 2 所示。论文将 LLM 的持续学习与不同的训练阶段对齐，包括持续预训练（CPT，Continual Pre-training）、持续指令微调（CIT，Continual Instruction Tuning）和持续对齐（CA，Continual Alignment）
- 持续预训练阶段 ：旨在通过自监督方式在一系列语料库上进行训练，以丰富 LLM 的知识并适应新领域
- 持续指令微调阶段 ：在监督的指令跟随数据流上微调 LLM ，目标是使 LLM 能够遵循用户指令，同时将已获取的知识迁移到后续任务中
- 持续对齐阶段 ：响应人类价值观和偏好的演变，持续对齐（CA）试图随时间推移使 LLM 与人类价值观保持一致
虽然 LLM 的持续学习可以依次在每个阶段进行，但持续学习的迭代应用也使得跨阶段迁移而不遗忘先前阶段学习的能力和知识变得至关重要
- 例如，我们可以基于指令微调模型或对齐模型进行持续预训练，但不希望 LLM 失去其遵循用户指令和与人类价值观对齐的能力
- 因此，如图 2 所示，论文使用不同颜色的箭头表示阶段间的迁移

Categorization

为了更好地理解该领域的研究，论文为框架的每个阶段提供了细粒度的分类
持续预训练（CPT）
- 更新事实的 CPT ：包括使 LLM 学习新事实知识的研究
- 更新领域的 CPT ：包括将 LLM 定制到特定领域（如医学和法律领域）的研究
- 语言扩展的 CPT ：包括扩展 LLM 支持语言的研究
持续指令微调（CIT）
- 任务增量 CIT ：包含在一系列任务上微调 LLM 并获取解决新任务能力的研究
- 领域增量 CIT ：包含在指令流上微调 LLM 以解决领域特定任务的方法
- 工具增量 CIT ：包含持续教授 LLM 使用新工具解决问题的研究
持续对齐（CA）
- 持续价值对齐 ：包括持续使 LLM 与新伦理准则和社会规范对齐的研究
- 持续偏好对齐 ：包括使 LLM 动态匹配不同人类偏好的研究
除了基于训练阶段分类外，论文还提供了基于持续学习期间更新信息的替代分类（alternative categorization）
表2 列出了一些代表性的更新信息，例如事实、领域、任务、价值观和偏好
- LLM-based 训练目标，这些信息可以在持续学习的不同阶段更新
图 3 的分类法展示了论文的分类方案以及每个类别中的代表性研究

Continual Pre-training, CPT

LLM 的 CPT 对于保持其相关性和有效性至关重要
这一过程包括定期用最新信息更新模型 [26]、使其适应特定领域 [19]、增强其编码能力 [28]，以及扩展其语言范围 [3]
通过持续预训练， LLM 可以紧跟新动态，适应不断变化的用户需求，并在多样化的应用中保持高效
持续预训练确保 LLM 不仅知识丰富，还能灵活应对世界的变迁

CPT for Updating Facts

LLM 整合和适应最新信息的能力至关重要
此处的核心策略是使用动态数据集，从多种来源（如新闻推送 [9]、学术论文 [14] 和社交媒体 [22]）实时吸收数据
[35] 提出了 ERNIE 2.0，这是一个持续预训练框架，通过逐步构建和学习多个任务，最大化从训练数据中提取知识
[13] 引入了持续知识学习（continual knowledge learning）方法，用于更新 LLM 中的时序知识，在获取新信息的同时减少遗忘
[22] 研究表明，使用不同数据进行持续学习，其语言模型的困惑度（perplexity）与在整个数据快照上训练的结果相当甚至更好，这证实了只需最小量的训练数据即可高效更新语言模型中的事实知识
此外，自动化系统对新获取数据的验证是确保信息准确性和可靠性的关键

CPT for Updating Domains

持续预训练通过两种方法更新领域知识：
- 1）领域增量预训练（domain-incremental pre-training）跨多个领域积累知识；
- 2）领域特定持续学习（domain-specific continual learning），通过在领域特定数据集和任务上训练，将通用模型逐步转化为领域专家
在领域增量预训练中，[8] 探索了如何在新数据流上持续预训练语言和视觉模型，为下游任务做准备
- [26] 通过参数初始化和知识蒸馏（knowledge distillation）评估模型兼容性和可回收调优（recyclable tuning）的优势
- [19] 提出了一种软掩码机制（soft-masking mechanism），用领域语料更新语言模型（LM），旨在提升性能的同时保留通用知识
在领域特定持续学习中
- [26] 开发了 FinPythia-6.9B，通过金融领域的自适应预训练实现
  - 原始论文：Efficient Continual Pre-training for Building Domain Specific Large Language Models, ACL 2024, Amazon
- [36] 研究了电子商务领域中持续预训练的效果
  - 原始论文：EcomGPT-CT: Continual Pre-training of E-commerce Large Language Models with Semi-structured Data, arXiv 202312, THU, Alibaba
这些研究共同展现了持续预训练在提升模型跨领域适应性和专业性方面的广阔前景

CPT for Language Expansion

扩展 LLM 理解和处理的语言范围对于提升其普适性至关重要 [3]
这种扩展不仅包括支持更多语言（尤其是 underrepresented 语言），还需将文化背景融入语言处理中
一个关键挑战是模型识别和解释地区方言及当代俚语的能力 [11]，这对于跨种族、社会和文化的有效沟通至关重要
除了自然语言，LLM 在理解和生成编程语言方面也取得了显著进展
- [28] 提出了 CodeTask-CL，一个持续代码学习的基准测试，涵盖多种编程语言的任务和输入输出格式
- [29] 探索了使用未标记代码语料库训练模型进行面向库的代码生成，解决了由于程序员广泛复用库导致的文本-代码对稀缺问题，他们提出了 CERT 方法，其中“草图生成器”（sketcher）勾勒代码结构，“生成器”（generator）完成代码，两者通过持续预训练未标记数据来捕捉库导向代码片段的常见模式
这些进展突显了 LLM 在变革自然语言和编程语言处理方面的潜力，从而推动更高效的编码实践

Continual Instruction Tuning, CIT

LLM 展现了强大的指令跟随能力，能够通过少量示例完成任务
持续指令调优（CIT）通过持续微调 LLM，使其学会遵循指令并将知识迁移到未来任务中 [30]
根据指令调优中更新的能力和知识，CIT 可进一步分为三类：
- 1）任务增量 CIT（task-incremental CIT）
- 2）领域增量 CIT（domain-incremental CIT）
- 3）工具增量 CIT（tool-incremental CIT）

Task-incremental CIT

任务增量持续指令调优（Task-incremental CIT）旨在通过一系列任务特定指令持续微调 LLM ，使其获得解决新任务的能力
一种直接的方法是持续为新任务生成指令调优数据并直接微调模型 [35]
然而，研究表明，持续在任务特定数据上微调 LLM 会导致对已学知识和问题解决能力的灾难性遗忘（catastrophic forgetting）[24]
- TAPT [16] 提出了一种简单的数据选择策略，从领域内语料库中检索未标记文本，使其与任务分布对齐，随后用于微调 LLM，以缓解灾难性遗忘并提升性能
- 为减少遗忘，Continual-T0 [25] 采用记忆回放（rehearsal with a memory buffer）[22] 存储先前任务数据并在训练中重放
- ConTinTin [26] 提出了 InstructionSpeak，包含两种策略：一是从负输出中学习，二是重新审视先前任务的指令
- RationaleCL [26] 采用对比性原理回放（contrastive rationale replay）减轻遗忘
- DynaInst [19] 提出了一种混合方法，结合动态指令回放（Dynamic Instruction Replay）和局部极小值诱导正则化器（local minima-inducing regularizer），提升 LLM 的泛化能力并减少回放模块的内存和计算开销
- 与以往的回放或正则化方法不同，SLM [1] 将向量空间检索（vector space retrieval）融入语言模型，支持可扩展的知识扩展和管理，使 LLM 快速适应新任务且不因遗忘而降低性能
LLM 参数规模庞大，持续学习带来巨大计算负担。为解决这一问题
- Progressive Prompts 技术 [15] 冻结大部分参数，仅为每个新任务学习固定数量的标记（prompts），显著降低计算成本的同时缓解遗忘并提升知识迁移
- ELM [13] 首先为每个任务训练一个小型专家适配器（expert adapter），随后采用检索方法为每个新任务选择最相关的专家 LLM
- 基于参数高效调优（PET）框架，O-LoRA [26] 提出了正交低秩适应（orthogonal low-rank adaptation）方法，在正交子空间中增量学习新任务，同时固定已学任务的 LoRA 参数以最小化遗忘
- DAPT [27] 提出双注意力框架（Dual Attention Framework），通过双注意力学习与选择模块（Dual Attentive Learning&Selection module）对齐 LoRA 参数的学习与选择
- LLaMA PRO [29] 提出了一种新颖的块扩展技术（block expansion technique），将新知识注入 LLM ，同时通过高效后训练保留初始能力

Domain-incremental CIT

领域增量持续指令调优（Domain-incremental CIT）旨在通过一系列领域特定指令持续微调 LLM ，使其获得解决新领域任务的能力
- TAPT [16] 在生物医学、计算机科学、新闻和购物评论等领域数据上自适应调优 LLM ，随后评估其在各领域的文本分类能力
- ConPET [28] 将先前为小模型设计的持续学习方法应用于 LLM ，结合 PET 和动态回放策略，显著降低调优成本并缓解过拟合和遗忘问题。在典型持续学习场景（新知识类型逐步出现）下的实验证明了 ConPET 的优越性能
- AdaptLLM [4] 通过将原始训练语料转化为一系列与其内容相关的阅读理解任务，使 LLM 适应不同领域，同时提升提示性能
- PlugLM [4] 使用可微分插件内存（DPM）显式存储领域知识，通过插入领域内存轻松适配不同领域
- [27] 设计了一种“适配-检索-修订”（adapt-retrieve-revise）流程，使 LLM 适应新领域：首先利用初始响应从领域数据库中检索知识，随后用检索到的知识修订初始响应以获得最终答案
- [5] 分析了在不同领域持续调优的 LLM ，发现训练数据顺序对性能有显著影响，并提出混合微调（DMT）策略以学习跨领域的多种能力

Tool-incremental CIT

工具增量持续指令调优（Tool-incremental CIT）旨在通过持续微调 LLM，使其能够与现实世界交互并通过集成工具（如计算器、搜索引擎和数据库）增强能力 [17]
随着新工具（如高级软件库、新型 API 或领域特定工具 [11, 12]）的快速涌现，持续更新 LLM 以快速适应和掌握这些工具的需求日益增长
- Llemma [2] 在混合数学文本和代码的数据集上持续调优 LLM ，使其能够使用外部工具解决数学问题
- ToolkenGPT [9] 将每个工具表示为一个新标记（toolken），其嵌入在指令调优中学习，为 LLM 提供了一种高效掌握工具并快速适应新工具的方法

Continual Alignment, CA

LLM 需要适应不断变化的社会价值观、社会规范和伦理准则。此外，不同人口群体（demographic groups）之间的偏好存在显著差异，个体的偏好也会随时间变化
为了应对这些变化，持续对齐应运而生。在持续对齐的背景下，存在两种主要场景：
- (i) 更新 LLM 以反映社会价值观的变化；
- (ii) 将新的人口群体（demographic groups）或价值类型整合到现有的 LLM 中
以下将分别描述这两种场景

Continual Value Alignment

持续价值对齐的目标是持续整合伦理准则或适应文化敏感性和规范
它需要通过更新来摒弃过时的观念并融入新的价值观 ，类似于模型编辑和知识遗忘任务
模型编辑和知识遗忘已在预训练和指令微调阶段得到研究 [25]，但在偏好学习领域尚未深入探索

Continual Preference Alignment

添加新的人口群体（demographic groups）或价值类型与持续学习问题一致，旨在引导 LLM 生成符合新兴价值观的响应，同时遵守已学习的偏好
例如，许多开源对齐的 LLM 采用 RLHF 来确保安全性
论文可能还需要为 LLM 增加其他属性（如帮助性和可信度）的对齐
除了在保留过去偏好的同时最大化新偏好奖励的挑战外，持续偏好学习还面临在大动作空间（词表）和大量参数下实现稳定高效训练的困难
先前的研究已经展示了此类代理的概念验证，但缺乏标准化基准来系统评估新偏好随时间的学习能力
持续近端策略优化（CPPO）[1] 在近端策略优化（PPO）算法 [17] 上采用样本级加权，以平衡策略学习和模仿旧策略输出的知识保留
另一方面，[26] 将直接偏好优化（DPO）算法 [18] 扩展到持续学习场景，通过蒙特卡洛估计推导出给定任务序列的最优策略序列，并将其用于正则化新任务上的策略学习

Benchmarks

系统评估 LLM 的持续学习性能需要高质量数据源和多样化内容的基准测试
CPT 的基准测试
TemporalWiki[13]：是一个终身学习基准，通过使用维基百科和 Wikidata 的连续快照来训练和评估语言模型，帮助评估语言模型在保留过去知识和学习新知识方面的能力
Firehose[9]：是一个社交媒体数据集，包含六年内来自一百万用户的一亿条推文
CKL[14]：专注于网络和新闻数据，旨在通过在不同语料库上的持续预训练，保留初始预训练中的时间不变世界知识并高效学习新知识
TRACE[25]：包含八个多样化数据集，涵盖专业领域、多语言任务、代码生成和数学推理，这些数据集被统一为标准格式，便于对 LLM 进行自动化评估
由于数据的快速变化，时间敏感的数据集会很快过时，因此需要频繁更新持续预训练的基准测试以评估模型性能

CIT 的基准测试

持续指令微调基准（CITB）[26]：基于 SuperNI，包含超过 1,600 个自然语言处理（NLP）任务，涵盖 76 种类型（如语言生成和分类），所有任务均以文本到文本格式呈现
ConTinTin[24]：是另一个基于 NATURAL-INSTRUCTIONS 的基准，包含 61 个任务，分为六类（如问题生成和分类）
在使用这些基准测试评估无法访问训练数据的黑盒语言学习模型时，数据集的选择至关重要，以避免任务污染并确保持续指令微调性能评估的可靠性

CA 的基准测试

COPF[26]使用斯坦福人类偏好数据集（SHP）[5] 和 Helpful & Harmless（HH）数据集 [2] 进行持续对齐实验
- SHP 数据集 ：包含 18 个主题（从烹饪到法律建议）的 385,000 条人类偏好
- HH 数据集 ：分为两部分：一部分是众包工作者与 AI 模型交互以获得有帮助的响应，另一部分是引出有害响应并在每种情况下选择更具影响力的响应
尽管该领域的研究兴趣日益增长，但目前仍缺乏专门用于持续对齐的基准测试，这为未来研究提供了发展机会

Evaluation

Evaluation for Target Task Sequence

LLM 的持续学习涉及对模型在任务序列上的性能评估。性能可以通过三种典型的持续学习指标衡量：
- 1）平均性能（Average Performance）
- 2）前向迁移率（Forward Transfer Rate, FWT）
- 3）后向迁移率（Backward Transfer Rate, BWT）[11, 22]
FWT ：评估从先前任务中获得的知识对执行新任务初始能力的影响（在针对新任务进行专门训练之前）：
$$
FWT = \frac{1}{T-1} \sum_{i=2}^{T-1} A_{T,i} - \tilde{b}_i
$$
BWT 通过比较模型在学习新任务前后对旧任务的性能，衡量灾难性遗忘：
$$
BWT = \frac{1}{T-1} \sum_{i=1}^{T-1} A_{T,i} - A_{t,i}
$$
平均性能（如平均准确率）评估模型或算法在时间序列数据流或任务中有效学习和适应的能力：
$$
Avg.\ ACC = \frac{1}{T} \sum_{i=1}^{T} A_{T,i}
$$
- 其中，$ A_{t,i} $ 是模型在第 $ i $ 个任务测试集上的准确率（模型在第 $ i $ 个任务上学习后），$ \tilde{b}_i $ 是随机初始化时任务 $ i $ 的测试准确率

Evaluation for Cross-stage Forgetting

在不同阶段持续训练的 LLM 可能会遇到无意识遗忘问题 [8]，这表明持续指令微调可能会削弱 LLM 的通用知识
此外，先前研究 [15] 还表明，安全对齐的 LLM 的行为很容易受到指令微调的影响而退化
为了量化这些限制，TRACE[25] 提出了三种新颖的评估指标：
通用能力差异（General Ability Delta, GAD） ：评估 LLM 在通用任务上的性能差异（经过连续目标任务训练后）
$$
GAD = \frac{1}{T} \sum_{i=1}^{T} (R^{G}_{t,i} - R^{G}_{0,i})
$$
指令跟随差异（Instruction Following Delta, IFD） ：评估模型在连续不同任务训练后指令跟随能力的变化
$$
IFD = \frac{1}{T} \sum_{i=1}^{T} (R^{I}_{t,i} - R^{I}_{0,i})
$$
安全性差异（Safety Delta, SD） ：评估模型响应在连续训练后的安全性变化
$$
SD = \frac{1}{T} \sum_{i=1}^{T} (R^{S}_{t,i} - R^{S}_{0,i})
$$
- 其中，$ R_{0,i} $ 表示初始 LLM 在第 $ i $ 个任务上的基线性能，$ R_{t,i} $ 表示在增量学习到第 $ t $ 个任务后第 $ i $ 个任务的得分
- $ R^{G} $、$ R^{I} $ 和 $ R^{S} $ 分别表示 LLM 在通用任务（评估从预训练中获得的信息）、指令跟随任务和对齐任务上的性能。这些指标通过关注固有技能的保持和与人类偏好的对齐，超越了传统基准测试的范围

Challenges and Future Works

Computation-efficient Continual Learning

在计算效率领域，重点是以最小化计算资源的方式增强持续预训练过程 [33]
这涉及开发能够处理预训练任务日益复杂性的创新架构，而无需按比例增加计算需求
算法和数据结构的效率至关重要，尤其是在管理预训练中涉及的大量数据时
此外，节能学习模型（energy-efficient learning models）对于 LLM 的可持续扩展至关重要，需符合绿色 AI 倡议。这一领域需要在计算成本与模型性能和能力收益之间取得平衡

持续学习的社会责任包括确保隐私和数据安全，尤其是在持续指令微调的背景下 [7]
随着 LLM 通过更具体的指令或任务进行微调，必须安全且合乎道德地处理敏感或个人数据
与人类价值观和文化的对齐也至关重要，尤其是在持续偏好学习领域
这需要融入伦理 AI 原则和文化敏感性，以确保模型的输出符合社会规范和价值观

Automatic Continual Learning

一个重大挑战在于创建能够自主监督其学习过程的系统，无缝适应新任务（指令微调）和用户偏好（对齐），同时仅依赖 LLM 的固有能力，无需人工干预 [12]
自动持续学习包括能够协作学习的多智能体系统和基于性能反馈自主调整学习策略的自规划算法
此类系统将代表 LLM 自主性的重大进步

Continual Learning with Controllable Forgetting

可控遗忘（Controllable Forgetting）与持续预训练尤为相关
随着模型接触新的数据流，选择性保留或遗忘信息的能力可以防止灾难性遗忘 [15] 并增强模型的适应性 [35]
这一挑战还包括管理错误信息和遗忘不正确或过时的信息 [9]，以确保 LLM 随时间推移的准确性和可靠性

Continual Learning with History Tracking

有效的历史追踪对于理解 LLM 通过预训练、指令微调和偏好学习阶段的演变至关重要
管理模型参数中的历史记录和使用外部记忆架构有助于追踪过去学习对当前模型行为和决策的影响 [26]
这对于分析持续学习过程的有效性并做出明智调整至关重要

Theoretical Insights on LLM in Continual Learning

许多评估研究已经探讨了跨阶段遗忘问题 [17]，并证明了对齐 LLM 的弱鲁棒性 [15]，但关于多阶段训练如何影响 LLM 在后续持续学习任务中性能的理论分析仍然稀缺
这一空白凸显了需要更深入地理解多阶段训练为 LLM 的学习能力和长期性能带来的具体变化

NLP——EverGreenQA(EG-E5)

注：本文包含 AI 辅助创作

参考链接：
- 原始论文：(EverGreenQA,EG-E5)Will It Still Be True Tomorrow? Multilingual Evergreen Question Classification to Improve Trustworthy QA, arXiv 20250527, Skoltech
  - 注：Skoltech 是俄罗斯斯科尔科沃科学技术研究院的简称

Paper Summary

LLM 在问答（QA）任务中经常产生幻觉（hallucination），一个关键但尚未充分探索的因素是问题的时间性：
- 即问题属于常青类（evergreen，答案随时间稳定）还是可变类（mutable，答案会变化）
本论文探讨了问题的常青性（evergreenness），即答案是否会随时间变化
- 论文测试了 LLM 检测常青性的能力，并展示了其在多个应用中的价值
- 论文提出了 EverGreenQA ，这是首个支持多语言且带有常青标签的问答数据集，可用于评估和训练，包含 7 种语言的 4,757 个示例
- 利用 EverGreenQA 数据集，论文对现代大语言模型在常青问题分类任务上的表现进行了基准测试，并训练了 EG-E5 ，一个轻量级分类器，其性能优于大语言模型和此前训练的方法
论文进一步分析了大语言模型是否通过不确定性估计隐式编码了常青性 ，发现它们确实具备一定的能力 ，且模型规模越大，表现越好
论文展示了常青分类在三个应用中的实际价值：
- 改进自我知识估计（self-knowledge estimation）：论文通过预测的常青概率增强了现有的不确定性估计方法 ，取得了稳定的改进
- 过滤问答数据集：论文展示了常青分类器有助于筛选高质量的问答数据集，支持更可靠和公平的评估
- 解释 GPT-4o 的检索行为：论文证明常青性是预测 GPT-4o 搜索行为的最佳指标，优于所有其他测试因素

Introduction and Discussion

大语言模型在问答任务中常因幻觉答案而表现不佳（2025）
为提高可信度，近期研究聚焦于：
- 估计模型的自我知识（self-knowledge），即识别自身已知与未知的能力（2023；2025）
- 通过检索增强生成（Retrieval-Augmented Generation, RAG）整合最新外部信息（2024；2024；2023）
未充分探索 ，同时确是影响问题难度的关键因素是其是否为常青（evergreen）或可变（mutable）问题（2024a），即正确答案是否随时间稳定（如图 1 所示）
- 可变问题尤其具有挑战性，因为它们通常需要访问最新信息，而这些信息可能未包含在模型的固定参数化知识中
常青性（evergreen-ness）具有实际重要性，但在评估和改进大语言模型行为时，它仍是一个未被充分探索的因素
- 现有研究大多局限于小规模、仅限英语的数据集，且主要关注问答准确性，很少探讨其更广泛的影响（2024；2024）
- 问题常青性在塑造大语言模型可靠性和可解释性中的作用仍未被充分研究
为填补这一空白，论文开展了关于问题常青性及其实际应用的全面研究
论文提出了 EverGreenQA ，这是首个多语言人工标注的常青感知问答数据集，包含适合模型训练的训练-测试划分
基于 EverGreenQA ，论文评估了 12 个现代大语言模型，判断它们是否通过显式（直接提示，through direct prompting）或隐式（基于不确定性的信号，via uncertainty-based signals）方式编码时间性知识
此外，论文还开发了 EG-E5 ，一个轻量级的，截止到当前最优的分类器，用于识别常青问题
论文展示了 EG-E5 在多个下游任务中的实用性：
- （1）改进自我知识估计
- （2）筛选问答数据集以支持更公平的评估
- （3）有效解释 GPT-4o 的黑盒检索行为
论文的贡献和发现如下：
- 1）构建了 EverGreenQA ，首个用于问题常青性分类的多语言数据集，涵盖 7 种语言，共 4,757 个样本
- 2）首次全面评估了大语言模型对问题常青知识的掌握情况，通过显式信号（提示）和隐式信号（不确定性估计）评估了 12 个模型
- 3）开发了 EG-E5 ，一个轻量级多语言分类器，用于识别常青问题，在此任务上达到当前最优性能，同时适用于低计算资源场景
- 4）展示了 EG-E5 在三个应用中的价值：
  - （1）改进自我知识估计
  - （2）筛选问答数据集以实现更公平的评估
  - （3）有效解释 GPT-4o 的检索行为
论文发布了模型和数据以供进一步使用

EverGreenQA & EG-E5

Dataset Collection

论文构建了一个问答数据集，包含来自 AI 聊天助手的真实用户查询，每个问题标注为常青或可变，并提供对应的标准答案

所有问题均为事实性问题，并通过多轮内部 alpha 测试（internal alpha testing）手动验证以确保多样性和减少主题偏差

理解：Alpha Testing（α测试） 是软件开发过程中一种重要的内部测试阶段，主要用于在产品正式发布前，由开发团队或内部相关人员对软件进行系统性测试，目的是发现并修复主要的功能缺陷、性能问题和用户体验漏洞

补充：alpha 测试和 beta 测试的区别如下：

维度	Alpha Testing	Beta Testing
测试人员	内部团队/员工	外部真实用户
环境	开发/模拟环境	接近真实的生产环境
目的	修复核心缺陷，验证基本功能	收集用户反馈，优化体验
阶段	早于Beta，接近开发完成	晚于Alpha，接近正式发布

标签和标准答案由训练有素的语言学家团队手动分配，他们根据检索到的信息从头编写答案
由于初始数据集中大多数问题为可变问题，为避免训练数据偏差，论文还生成了 1,449 个仅针对常青类的合成数据（这些附加数据同样经过语言学家验证）
最终数据集包含 4,757 个问题，其中 3,487 个用于训练，1,270 个保留用于测试
数据集构建和标注的详细信息见附录 F

Dataset Translation

论文使用 GPT-4.1 将问题从俄语翻译为英语，再从英语翻译为目标语言
此前研究表明，GPT-4.1 在多种语言（包括准确处理文化差异）上表现优异（2024）
完整翻译提示见附录 B

Dataset Validation

为评估翻译质量，论文为每种目标语言招募了人类评估员，均为母语者或具备高级语言水平（B2-C1 级）
论文从测试集中随机抽取 100 个问题（50 个可变，50 个常青）进行评估
英语、希伯来语、德语和阿拉伯语的翻译未发现错误，中文仅有两处轻微不准确
评估员指导见附录 C

EG-E5 Training

论文使用多语言数据集进行训练和测试
对于验证，论文使用了 FreshQA（2024）的开发集和测试集，将其快速变化和慢速变化类别合并为可变标签
为与多语言设置一致，FreshQA 数据被翻译为所有目标语言
论文尝试了多语言版本的 BERT（2019）、DeBERTaV3（2023）和 E5（2024）作为编码器
最佳性能由 E5-Large 模型实现，论文将其称为分类器 EverGreen-E5 (EG-E5)
超参数细节和消融实验结果见附录 A

Are LLMs Aware of Evergreenness?

在本节中，论文评估现代 LLM 是否能可靠地判断一个问题是否为常青问题（evergreen）
论文测试了12种不同架构的 LLM，完整细节见附录A

Verbalized Evergreen Awareness

为了评估LLM是否能显式识别常青问题，论文通过提示（prompting）让每个模型给出二元的“是/否”答案
论文还纳入了两种专门训练的方法：
- UAR (2024)：一种基于 LLaMA2-13B 微调的模型，用于分类常青问题
- MULAN (2024)：基于维基数据（Wikidata）中可变（mutable）和常青样本的分类器
结果：表2显示，论文提出的分类器 EG-E5 在所有语言中均表现最佳，显著优于通用LLM和专门训练的模型
- 在LLM中，LLaMA 3.1 70 和 Qwen 2.5 32B 表现最强，GPT-4.1稍逊一筹
论文观察到不同语言的性能存在差异，但无明显差距，即使对于非拉丁语系（如阿拉伯语、中文、俄语）也是如此
基线方法 UAR 和 MULAN 的表现远逊于 LLM 和 EG-E5，这可能是因为它们对 QA 数据集的常青性假设过于简化
Takeaway：EG-E5 超越了 few-shot LLMs 和之前的方法，这些方法较差原因是他们训练数据中包含非真实的假设

Internal Evergreen Awareness

论文进一步通过不确定性估计（uncertainty estimation）评估 LLM 是否隐式编码了问题的常青性信息
论文从测试集中抽样 400 个问题（200 个常青，200 个可变），并采用两种广泛使用的不确定性度量方法 (2024; 2025)：
- 困惑度（Perplexity） ：预测序列的逆概率，按长度归一化。对于 Token 序列 $x_{1},\ldots,x_{T}$，定义为：
  $$
  \text{PPL} = \exp\left(-\frac{1}{T}\sum_{t=1}^{T}\log p(x_{t}\mid x_{ < t})\right)
  $$
- 平均 Token 熵（Mean Token Entropy） ：模型预测 Token 分布的平均熵：
  $$
  \text{Entropy} = -\frac{1}{T}\sum_{t=1}^{T}\sum_{w\in V}p_{t}(w)\log p_{t}(w)
  $$
  - 其中 $p_{t}(w)$ 是位置 $t$ Token $w$ 的预测概率，$V$ 是词汇表
结果：表3显示，大多数模型的不确定性与常青性仅呈现弱相关性（mild correlations），其中 Mistral 7B 和 Qwen 2.5 32B 的信号最强
论文还发现一个微弱趋势：
- 更大规模的模型，（不确定性与）常青性的相关性更强，可能表明其对时间线索的内部依赖更强
- 困惑度和熵的表现无显著差异
- 总体而言，不确定性信号能捕捉部分时间信息 ，但明显弱于显式表达的判断
- 更多分析见附录E
Takeaway：不确定性指标编码了常青性中的弱且不一致的信号，且在更大的模型中有微弱更强的趋势

Enhancing Self-Knowledge

本节评估结合问题常青性知识是否能改进自我知识（self-knowledge）估计，即模型识别自身知识边界并判断能否回答问题的能力 (2025; 2023)
这一能力被视为提升 LLM 可信度的关键因素

Task formulation

论文将自我知识估计定义为二分类任务，目标标签 $y\in\{0,1\}$ 表示模型对输入 $x$ 的答案是否正确
每种评估方法为输入分配一个实值自我知识分数 $f(x)\in\mathbb{R}$

Methods

论文使用 LLaMA3.1-8B-Instruct 和五种广泛采用的高性能不确定性估计器进行评估，这些方法代表不同的不确定性量化家族（如基于 logit 和一致性的方法）：
- 最大 Token 熵（Max Token Entropy） ：计算 Token-level 熵并取序列最大值作为最终分数 (2020)
- 平均 Token 熵（Mean Token Entropy） ：类似上述方法，但通过平均 Token-level 熵值聚合序列 (2020)
- 词汇相似性（Lexical Similarity） ：通过计算多响应间的平均词汇重叠估计不确定性，作为输出一致性的代理 (2020)
- SAR ：结合熵与语义重要性加权，对序列调整后的熵值求和 (2023)
- EigValLaplacian ：构建响应相似图，计算其拉普拉斯矩阵特征值和以量化响应多样性 (2023)
对于每种方法，论文评估结合常青问题预测概率（来自EG-E5分类器）的效果
最终自我知识分类器 $f(x)$ 的训练使用标准机器学习模型，输入特征为不确定性估计指标（若适用则加入常青概率）
- 标准分类模型，包括：包括随机森林，决策树等
完整训练流程见附录D

Evaluation

论文采用文献中广泛使用的标准指标 (2024; 2025)：
- AUROC ：衡量模型基于 $f(x)$ 区分正确答案与错误答案的能力，值越高表示可分性越强
- AUPRC ：量化不同决策阈值下精确率与召回率的权衡，对不平衡数据集尤为重要
- 预测拒绝率（Prediction Rejection Ratio, PRR） ：模拟拒绝最不确定的响应，追踪平均质量的提升，值越高表示不确定性与答案正确性的校准越好

Datasets

论文在 6 个 QA 数据集上评估方法，涵盖单跳（single-hop）和多跳（multi-hop）推理
单跳数据集包括 SQuAD v1.1 (2016)、Natural Questions (2019) 和 TriviaQA (2017)，多跳数据集包括 MuSiQue (2022)、HotpotQA (2018) 和 2WikiMulti-HopQA (2020)

Results

如表 4 所示，常青概率是改进自我知识识别的强信号
在 18 项评估中，16 项的最佳结果由常青特征单独或结合不确定性估计方法取得
此外，它能改进校准（PRR），对实际应用极具价值
值得注意的是，常青特征在 AUPRC 上表现突出，在 4 个数据集中排名第一，表明常青性是模型是否具备可靠知识的强指标
然而，论文也发现一致模式：常青性在 AUPRC 上得分高，但在 AUROC 上较低
- 这表明该特征虽能有效识别模型“知道答案”的情况，但对“不知道答案”的判别较弱（真阴性区分能力不足）
- 换言之，若问题是常青的，模型很可能正确回答；但若问题非常青，结果更难预测
Takeaway：常青概率持续提升 self-knowledge 评估和校准（calibration），在 18 个设定下实现了 16 个 top 结果
问题：本节的自我知识分类器 $f(x)$ 的特征和 label 是什么？训练后的 $f(x)$ 用来做什么？

Filtering QA with Evergreen

在本节中，论文展示了 Evergreen 分类在过滤 QA 数据集中的价值，通过排除可变问题（mutable questions），可以实现更公平的评估
- 论文使用了与第 5 节“自我知识”相同的模型设置
QA 数据集理想情况下应仅包含 Evergreen 问题，这一点在 SimpleQA (2024a) 中得到了强调
- 为了实现这一目标，SimpleQA 依赖于人工标注者评估问题的 Evergreen 性
- 相比之下，EG-E5 支持自动化数据集整理，无需手动标注，从而促进了大规模 QA 语料库的构建

Popular QA Datasets Analysis

可变问题对公平的 QA 评估提出了严峻挑战：
- 过时的黄金答案（outdated gold answers）可能导致现代 LLM 的正确回答被误判为错误，尤其是在模型在不同时间被评估时
示例：表 5 展示了六个数据集（见第 5.4 节）中的可变问题示例，这些问题的答案在 2025 年已与原参考答案不同
- 这些示例包括简单和复杂的查询，甚至来自最近发布的数据集如 MuSiQue (2022)
- 变化的性质多样：有些是可预测的（如奥运会主办城市、人口数据），有些是偶发的（如职位名称或配偶），还有一些是意外的（如君主、GDP 排名）
统计数据 ：表 6 显示，可变问题仍然普遍存在，在 NQ 中占比高达 18%，平均占数据集的 10%
- 这一现象挑战了 QA 基准具有时间稳定性的普遍假设，并引发了对评估公平性的担忧
- 为确保可靠性，可变问题应被过滤掉，或者需要维护实时基准如 RealTimeQA (2024)，尽管后者成本较高
错误的假设 ：UAR (2024) 隐含假设数据集具有 Evergreen 性，而 MULAN (2024) 将许多问题视为不可变，但实际上某些关系（e.g., Wikidata’s P190, “sister cities”）可能会变化
- 这种不匹配可能解释了这些方法在面对时间漂移时实际效果有限的原因
Takeaway：QA 基准包含可变问题，破坏了评估的公平性。过滤这些问题对可靠性评估非常重要

Filtered QA Performance

零样本性能 ：如表 6 所示，模型在 Evergreen 问题上的准确率始终更高，在复杂任务中的相对差异高达 40%
- 这与预期一致，因为可变问题通常需要模型静态知识之外的实时信息
RAG 的优势 ：论文展示了模型在回答可变问题时通常更能从带有黄金上下文的 RAG 中受益，相对增益高达 30%
- 然而，在可变问题样本较少的数据集中，这种效果会减弱

Explaining GPT-4o Retrieval

GPT-4o 通过内部的黑盒标准自主决定何时调用其检索系统
论文发现，问题的 Evergreen 性是这种行为的最强预测因子，这表明 GPT-4o 对外部搜索的使用与输入的时间性质密切相关
论文使用了与第 4.2 节相同的子集，并通过其网络接口查询 GPT-4o，记录是否触发了检索调用
除了 Evergreen 标签外，论文还评估了第 4.2 节中的几种基于不确定性的信号以及 EG-E5 ，以评估它们与 GPT-4o 检索决策的相关性
如表 7 所示，Evergreen 性和 EG-E5 预测比任何基于不确定性的信号都强得多（信息量是后者的两倍以上）
这表明 GPT-4o 可能在内部建模问题的时间性，或者其检索策略对时间性高度敏感
Takeaway：常青性是 GPT-4o 的检索行为中最强的预测者（Predictor），表明检索和时序是强相关的

Error Analysis

论文从 EverGreenQA 数据集的测试部分中选取了样本，并对 EG-E5 分类器的错误进行了定性分析
表 8 展示了按原因分组的假阳性和假阴性示例
- 值得注意的是，分类器在涉及最高级表达时表现出较高的不确定性，有时将其标记为易变的，而其他时候则将“最”“最大”或“最健康”等趋势敏感短语误解为普遍固定的
其他错误包括将活人的成就误分类为已故，以及错误地将稳定的地理或生物事实视为时间敏感的
有趣的是，假阴性的数量是假阳性的两倍
- 这表明分类器在判断问题是否涉及稳定事实时更为谨慎
在某些情况下，外部信息至关重要
- 例如，如果一个人已去世，所有关于他的问题都将是 Evergreen 的，但模型需要知道该人是否仍在世
- 类似地，关于最近年份（如 2023-2024）的问题也带来了挑战，因为模型缺乏对当前日期的感知
在其他情况下，模型在组织和区分其知识方面还有改进空间
- 例如，学习区分真正稳定的物理事实（如列支敦士登的面积）和更易变的事实（如天空中最亮的恒星），或区分已完成的历史事件（如法国大革命）和正在发展的动态（如即将举行的总统选举）
更多示例见附录 G

时间推理在问答任务中仍是一个基础性挑战，因为时间动态性常常使问题解释和答案检索变得复杂
- 时间敏感的问答任务得益于如 TimeQA（2021）等数据集的改进，该数据集包含 20,000 个需要时间推理的问题-答案对
  - 尽管有帮助，但它仅涉及简单推理
- SituatedQA（Zhang 和 Choi，2021）通过将问题置于时间和空间上下文中，展示了语境的重要性
- StreamingQA 强调了时间适应的必要性，揭示了大语言模型在跟踪变化事实时的困难（2022）
- TemporalAlignmentQA (TAQA) （2024）通过提供 2000 年至 2023 年每年 20,000 个时间敏感问题及其答案，进一步增强了时间对齐的可能性
- MuLan（2024）根据变化率和事实类型对问题进行了区分
- FreshQA（2024）提出了一个专注于新鲜度敏感信息的基准，进一步说明了大语言模型在处理时间动态知识时的局限性
- 这些研究表明需要专门的时间推理方法（2024）
- 表 1 展示了数据集的对比
检索增强生成（RAG）方法，如 DRAGIN（2024）、IRCoT（2023）或 Rowen（2024），通过动态检索决策解决了时间敏感问答问题，但效果有限
- 动态检索决策需要自我知识估计
- 在问答系统被信任之前，它们需要知道自己不知道什么
- 大语言模型通常难以识别无法回答的问题（2023），但利用自我知识（self-knowledge）可以减少需要大量知识的任务中的错误（2023；2025）
  - 问题：这里的 self-knowledge 是什么？是模型自己的内容知识吗？
基于检索的方法从外部解决了时间知识缺口（temporal knowledge gaps externally），另一种方向是更新大语言模型的内部知识
- 更新大语言模型的内部知识计算成本高昂，因为重新训练或编辑模型通常需要大量资源，且无法在实际中每天或每小时执行
诸如 LLM Surgery（2024）和参数高效微调（2024；2025）等技术试图使此类更新更实用，但仍面临大规模变更或事实幻觉的问题

Limitations

尽管论文的 EverGreenQA 数据集是首个多语言、人工标注的常青性基准测试，但其规模仍相对较小（3,278 个示例）
- 不过，它覆盖了 7 种语言的高质量数据，足以揭示模型行为的明确趋势
虽然论文涵盖了 7 种语言，但数据集并未覆盖所有主要语系，且在低资源语言环境中的表现仍有待探索
- 尽管如此，论文的选择包括了拉丁和非拉丁文字，能够进行有意义的多语言评估
论文对大语言模型的评估涵盖了 14 个不同规模和家族的模型，但主要聚焦于每个规模层级的代表性模型
- 扩展到更多指令调优或领域适配的变体可能会进一步推广研究结论
在基于不确定性的分析中，论文聚焦于五种代表性指标
- 尽管这些指标被广泛使用且足以得出强有力的结论，但引入更多最新或任务特定的指标可能会提供更多洞见
论文训练的常青分类器表现优异，但仅对其架构、训练过程和辅助数据的使用进行了有限的消融实验
- 探索更多模型变体或迁移学习策略可能会进一步提升鲁棒性
最后，尽管论文展示了常青分类的几种实际用途，但并未探索其在主动学习（active learning）、答案校准（answer calibration）或搜索重排序（search reranking）等任务中的潜力
- 这些有前景的方向留待未来工作

附录A Evergreen Testing Details

LLM 的文本参数

每个示例包含 5 个可变（mutable）和 5 个不可变（immutable）的样本
对于 LLaMA 3.1，采样参数如下：
- 温度（temperature）= 0.7
- top_p = 0.9
对于 Qwen 2.5：
- 温度 = 0.6
- top_p = 0.95
- top_k = 20
- min_p = 0

分类器参数

分类器模型训练参数如下：
- 所有模型训练了10个周期（epoch）
- 采用早停（early-stopping）策略
- 学习率（lr）= 4.6e-5
- 批量大小（batch size, bs）= 16
- 未使用额外数据集
- 论文为所有语言训练了一个统一模型
如表10 所示，multilingual-e5-large-instruct 表现最佳
Evergreen Verbal Instruction

You are a helpful assistant. You help user to classify the questions based on the tem- porality. There are two classes: immutable and mutable. Immutable, in which the an- swer almost never changes. Mutable, in which the answer typically changes over the course of several years or less. Think about each question and in the end answer with Mutable or Immutable starting with ’Classi- fication:’

附录B Translation Prompt

翻译验证指令（Translation Validation Instruction） ：将以下英文文本翻译为法语、德语、希伯来语、阿拉伯语和中文。以JSON格式提供翻译结果，键名为“French”、“German”、“Hebrew”、“Arabic”和“Chinese”
Translation Validation Instruction :

Translate the following English text into French, German, Hebrew, Arabic and Chi- nese. Provide the translations as a JSON object with keys ’French’, ’German’, ’He- brew’, ’Arabic’, ’Chinese’.
论文使用GPT-4.1，温度参数（temperature）= 0.2，并添加标签 "response_format": "json_object"

附录C Validation Instructions

验证指令 ：对每个翻译的问题，根据以下标准打分：
- 0 ：翻译包含扭曲原意的错误
- 1 ：翻译包含不影响整体含义的轻微错误
Translation Validation Instruction：

For each translated question, assign a score according to the following criteria:
• 0 – the translation contains errors that distort the meaning.
• 1 – the translation contains minor er- rors that do not affect the overall mean- ing.

附录D Classifier for Self-Knowledge

论文探索了七种分类模型（使用scikit-learn (2013) 和CatBoost (2020)）：
- 逻辑回归（Logistic Regression）
- k近邻（k-Nearest Neighbors）
- 多层感知机（Multilayer Perceptron）
- 决策树（Decision Tree）
- 随机森林（Random Forest）
- 梯度提升（Gradient Boosting）
- CatBoost
所有模型均使用标准化特征（StandardScaler）训练，超参数在训练数据的 100 个示例子集上优化，并在每个数据集上重复三次实验以确保鲁棒性
最终评估时，论文选择验证集上表现最佳的两个模型，使用 VotingClassifier 将其组合为软投票集成（soft-voting ensemble）
每个组件模型均使用调优后的超参数在全训练集上重新训练

超参数网格

逻辑回归 ：C: [0.01, 0.1, 1]，求解器（solver）: [lbfgs, liblinear]，类别权重（class_weight）: [balanced, 0:1, 1:1, None]，最大迭代次数（max_iter）: [10000, 15000, 20000]
k近邻 ：n_neighbors: [5, 7, 9, 11, 13, 15]，距离度量（metric）: [euclidean, manhattan]，算法（algorithm）: [auto, ball_tree, kd_tree]，权重（weights）: [uniform, distance]
多层感知机 ：隐藏层大小（hidden_layer_sizes）: [(50), (100), (50,50), (100,50), (100,100)]，激活函数（activation）: [relu, tanh]，求解器: [adam, sgd]，alpha: [0.00001, 0.0001, 0.001, 0.01]，学习率（learning_rate）: [constant, adaptive]，早停（early_stopping）: True，最大迭代次数: [200, 500]
决策树 ：最大深度（max_depth）: [3, 5, 7, 10, None]，最大特征数（max_features）: [0.2, 0.4, sqrt, log2, None]，分裂标准（criterion）: [gini, entropy]，分裂器（splitter）: [best, random]
CatBoost ：迭代次数（iterations）: [10, 50, 100, 200]，学习率: [0.001, 0.01, 0.05]，深度（depth）: [3, 4, 5, 7, 9]，bootstrap类型（bootstrap_type）: [Bayesian, Bernoulli, MVS]
梯度提升 ：n_estimators: [25, 35, 50]，学习率: [0.001, 0.01, 0.05]，最大深度: [3, 4, 5, 7, 9]，最大特征数: [0.2, 0.4, sqrt, log2, None]
随机森林 ：n_estimators: [25, 35, 50]，最大深度: [3, 5, 7, 9, 11]，最大特征数: [0.2, 0.4, sqrt, log2, None]，bootstrap: [True, False]，分裂标准: [gini, entropy]，类别权重: [balanced, 0:1, 1:1, None]

附录E Predictive Analysis of Uncertainty for Temporality

表9 报告了逻辑回归模型的 McFadden’s pseudo-$R^2$ value ，该模型基于两种不确定性指标（困惑度（perplexity）和平均 Token 熵（mean token entropy））预测问题是否为常青（evergreen）
- 注：McFadden’s pseudo-$R^2$ value 即麦克法登伪 $R^2$ 值，是一种用于评价非线性模型，特别是逻辑回归模型等定性选择模型拟合优度的指标。该指标的取值范围是从 0 到小于 1，其值越接近 0，表明模型没有预测能力；值越接近 1，说明模型对数据的拟合效果越好，即模型能够解释因变量的变异程度越高
大多数模型的伪 pseudo-$R^2$ 值低于 0.07，表明不确定性对常青分类的预测能力有限
唯一例外是 Phi-3-medium (128k)，其困惑度得分最高（0.137），表明长上下文训练可能改善时间性不确定性的编码，但仍非常有限
两种不确定性指标无显著优劣，模型大小与预测性能也无明确相关性
结果表明，不确定性指标仅能捕捉有限的时间性信号，适合作为辅助特征而非独立预测器

附录F Dataset Collection Details

负责标注常青和可变标签（evergreen/mutable）及生成标准答案（golden answers）的语言学家团队均持有语言学学士以上学位，确保标注质量
每阶段标注均通过团队负责人验证以保证一致性
此外，为支持多样化应用，所有答案均转换为别名集合，具体流程见附录F.4
标注人员薪酬符合当地法规（注：这也太谨慎了）

Golden Answers Annotation

标准答案需完整且对用户有用

优质答案示例

问题：谁被视为物理学的奠基人？
- 答案：艾萨克·牛顿（Isaac Newton）被广泛认为是物理学的奠基人
- 注释：问题为单数形式，而根据多数来源，牛顿是经典物理学的奠基人。尽管伽利略和笛卡尔也有贡献，但牛顿是最被广泛接受的答案
问题：2000年意大利总统是谁？
答案：Carlo Azeglio Ciampi 是意大利政治家，曾任意大利共和国第10任总统及总理

不完整答案示例

问题：蜘蛛有牙齿吗？
- 答案：是的，蜘蛛有牙齿
- 注释：正确答案应为“蜘蛛没有牙齿，但有螯肢（chelicerae），可分泌消化酶。”
开放式列表问题（如“最高的山有哪些？”）需列出多个正确示例并注明非穷举

Evergreen-ness Annotation

常青性标准因领域而异
多数问题涉及已确立的事实或事件，但天文学等领域的新发现可能改变答案
政治领导人类问题（如“现任总统是谁？”）显然非常青

可变问题示例

1）最近一次日食是哪年？
2）哪个国家拥有最长铁路？

常青问题示例

1）罗马帝国分裂为哪两部分，何时发生？
2）梅西是谁？

Synthetic Data Generation

使用 GPT-4.1 生成并人工验证了 1,449 个额外问答对
过滤重复问题并改写常见模板（如“某人年龄”）
仿照 FreshQA 风格，生成常青和可变问题，后者进一步分为慢变（slow-changing）和快变（fast-changing）两类，以增强数据多样性
合成指令 ：
- “请生成以下类型的问答对：慢变问题（答案通常几年内变化）、快变问题（答案一年内变化）、永不变问题（答案永不变化）。”
Synthetic Instruction:

Can you generate different question-answer pair: slow-changing questions, in which the answer typically changes over the course of several years (up to 10); fast-changing question, in which the answer typically changes within a year or less; never-changing, in which the answer never changes.

Short-Answer Generation Prompt

简短答案生成器指令 ：
- 给定一个事实性问题和完整（可能较长）答案，生成多个简洁且语义等价的答案变体
- 规则：
  - 1）每个变体必须事实正确且独立回答问题
  - 2）尽量简短（约1–5词），同时保持无歧义
  - 3）包含常见拼写、缩写、数字与罗马数字形式
  - 4）不添加答案未明确包含的信息
  - 5）返回如 JSON 对象：{ "answers": ["变体1", "变体2", ...] }
- 示例：
  - 问题：“英国国王是谁？”
  - 答案：“英国国王是查尔斯三世（Charles Philip Arthur George）。”，["查尔斯3世", "国王是查尔斯3世", "Charles III"]
论文使用 GPT-4o（温度=0.2）并添加了 “response_format”: “json_object” 标签，从长 form 中生成简短 form 答案，便于比较 LLM 的性能

附录G Error Analysis Extended

表11 扩展了EG-E5分类器的错误模式分析，包括更多误分类示例
误报（False Positives） ：
- 时间性表述误为固定历史事实（如“俄罗斯总统选举在哪年举行？”）
- 最高级假设为静态事实（如“最健康的茶是哪种？”）
漏报（False Negatives） ：
- 最高级误为时间敏感（如“最古老的货币是什么？”）
- 生物地理事实误为频繁变化（如“列支敦士登的面积是多少？”）
完整示例见附录G

附录H License and Infrastructure

实验使用 1–2 块 NVIDIA A100 GPU，总计约 40 GPU 小时
模型遵循各自许可：LLaMA 3.1 (2024) 和 Gemma 2 (2024) 为自定义许可，Phi-3 (2024) 和 E5 为 MIT 许可，Qwen 2.5 (2024) 和 Mistral (2023) 为 Apache 2.0 许可
GPT模型通过 API 或网页界面访问
数据集和分类器以 MIT 许可发布

NLP——技术报告解读-Kimi-K1.5

注：本文包含 AI 辅助创作

参考链接：
- 原始论文：Kimi K1.5: Scaling Reinforcement Learning with LLMs, Moonshot AI (Kimi), 20250103
- Kimi K1.5: Long Context RL 的成功实践 - Chayenne Zhao的文章 - 知乎
  - 包含关于 partial Rollout 方法较为详细的讨论

Paper Summary

论文报告了最新多模态大语言模型 Kimi K1.5 的训练实践，包括其 RL 训练技术、多模态数据配方和基础设施优化
- 并从实践中总结了一个关键结论：上下文长度的扩展对于持续提升大语言模型的性能至关重要
论文通过优化的学习算法和 Infra 优化（如部分轨迹回放，partial rollouts）实现了高效的长上下文强化学习训练
论文结合了多种技术改进了策略优化（policy optimization）
- 为长思维链 RL 制定了数学框架，并推导出一种在线镜像下降（online mirror descent）的变体以实现鲁棒的优化
- 通过实验验证了采样策略（sampling strategies）、长度惩罚（length penalty）和数据配方优化（data recipe optimization）对强化学习性能的提升作用
即使不依赖更复杂的技术（如 MCTS、价值函数和过程奖励模型），仅通过长上下文扩展和改进的策略优化也能实现强大的性能
作者还观察到长到短（long2short）方法的潜力（即利用长思维链（long-CoT）技术改进短思维链（short-CoT）模型）
- 这些方法显著提升了短思维链模型的性能
- 可以尝试将长到短方法与长思维链强化学习迭代结合，以进一步提高给定上下文长度预算下的 Token Efficient 和性能
论文建立了一个简单而有效的 RL 框架，无需依赖更复杂的技术（如蒙特卡洛树搜索、价值函数和过程奖励模型），其关键组成部分包括：
- 长上下文扩展（long context scaling）
- 改进的策略优化方法（policy optimization methods）
论文的系统在跨多模态的多个基准测试中实现了 SOTA 推理性能，与 OpenAI 的 o1 模型相当
论文提出了有效的长到短（long2short）方法（利用长思维链技术改进短思维链模型）实现了 SOTA 短思维链推理结果，大幅超越现有短思维链模型（如 GPT-4o 和 Claude Sonnet 3.5），优势最高达 +550%

Introduction and Discussion

在扩展定律（scaling law）的背景下，基于 NTP 的语言模型预训练已得到广泛研究
- 其中模型参数和数据规模的成比例扩展会带来智能的持续提升 (2020; 2022)
- 但这种方法受限于可用高质量训练数据的数量 (2024; 2023)
论文介绍了 Kimi K1.5 的训练配方，这是论文最新通过 RL 训练的多模态大语言模型
- 目标是探索一种可能的新扩展方向
- 通过将 RL 与大语言模型结合，模型能够通过奖励驱动的探索进行学习，从而不再受限于静态的预存数据集
K1.5 的设计和训练包含以下几个关键要素：
- 长上下文扩展（Long context scaling） ：
  - 论文将 RL 的上下文窗口扩展至 128k，并观察到随着上下文长度的增加，性能持续提升
  - 论文方法的核心思想是通过部分轨迹回放（partial rollouts）提高训练效率（即通过重用先前轨迹的大部分内容来采样新轨迹，避免从头重新生成新轨迹的成本）
  - 论文的观察表明，上下文长度是大语言模型 RL 持续扩展的关键维度
- 改进的策略优化（Improved policy optimization） ：
  - 论文推导了长思维链 RL 的公式化表示，并采用了一种在线镜像下降（online mirror descent）的变体进行鲁棒策略优化
  - 该算法通过有效的采样策略、长度惩罚（length penalty）和数据配方的优化进一步改进
- 简洁框架（Simplistic Framework） ：
  - 长上下文扩展与改进的策略优化方法相结合，为大语言模型学习建立了一个简洁的 RL 框架
  - 由于论文能够扩展上下文长度，学习到的思维链展现出规划（planning）、反思（reflection）和修正（correction）的特性
  - 增加的上下文长度相当于增加了搜索步数。因此，论文证明即使不依赖更复杂的技术（如蒙特卡洛树搜索、价值函数和过程奖励模型），也能实现强大的性能
- 多模态（Multimodalities） ：
  - 论文的模型联合训练文本和视觉数据，具备跨两种模态联合推理的能力
论文还提出了有效的长到短方法，利用长思维链技术改进短思维链模型
- 包括对长思维链激活应用长度惩罚以及模型融合（model merging）
论文的长思维链版本在跨多模态的多个基准测试中实现了 SOTA 推理性能
- AIME 77.5 分
- MATH 500 96.2 分
- Codeforces 94% 分位数
- MathVista 74.9 分
- 与 OpenAI 的 o1 模型相当
论文的短思维链模型也实现了 SOTA 推理结果
- AIME 60.8 分
- MATH500 94.6 分
- LiveCodeBench 47.3 分
- 大幅超越现有短思维链模型（如 GPT-4o 和 Claude Sonnet 3.5），优势最高达 +550%
结果如图 1 和图 2 所示

Approach: Reinforcement Learning with LLMs

Kimi K1.5 的开发包含多个阶段：
- 预训练（pretraining）
- 基础监督微调（vanilla supervised fine-tuning, SFT）
- 长思维链监督微调（long-CoT supervised fine-tuning）
- RL
本报告重点关注强化学习部分：
- 概述 RL 提示集构建（Section 2.1）
- 概述长思维链监督微调（Section 2.2）
- 深入讨论 RL 训练策略（Section 2.3）
注：预训练和基础监督微调的更多细节可见 Section 2.5

RL Prompt Set Curation

通过初步实验，论文发现 RL 提示集的质量和多样性对强化学习的有效性至关重要
- 一个精心构建的提示集不仅能引导模型进行鲁棒推理 ，还能降低奖励破解（reward hacking）和过拟合表面模式的风险
高质量的 RL 提示集需满足以下三个关键特性：
- 多样性覆盖（Diverse Coverage） ：提示应涵盖 STEM、编程和通用推理等多个领域 ，以增强模型的适应能力并确保广泛的适用性
- 难度平衡（Balanced Difficulty） ：提示集应包含简单、中等和困难问题的均衡分布 ，以促进渐进式学习并避免过拟合特定难度级别
- 可准确评估（Accurate Evaluability） ：提示应支持通过验证器进行客观可靠的评估 ，确保模型表现基于正确的推理而非表面模式或随机猜测
多样性覆盖 ：为实现多样性覆盖，论文采用自动过滤器筛选需要丰富推理且易于评估的问题
- 数据集包含来自 STEM 领域、竞赛和通用推理任务的文本及图文问答数据
- 此外，论文开发了标签系统，按领域和学科对提示分类，确保各主题的均衡代表性（2023）
难度平衡 ：论文采用基于模型的方法，利用模型自身能力自适应评估每个提示的难度
- 对于每个提示，SFT 模型以较高采样温度生成 10 次答案 ，通过通过率（pass rate）作为难度代理
  - 通过率越低，难度越高
- 这种方法使难度评估与模型内在能力对齐，显著提升 RL 训练效果
- 通过此方法，我们可以预过滤大部分简单案例，并在 RL 训练中灵活探索不同采样策略
可准确评估 ：为避免奖励破解（2021；2022），论文需确保每个提示的推理过程和最终答案均可被准确验证
- 实证表明，某些复杂推理问题的答案可能较简单且易猜测，导致误判（即模型通过错误推理得到正确答案），论文排除了易出现此类问题的题型，如多选题、判断题和证明题
- 对于通用问答任务，论文提出一种简单有效的方法识别并移除易破解提示：
  - 要求模型在不进行思维链推理的情况下猜测答案
  - 若模型在 $N=8$ 次尝试内猜中正确答案 ，则该提示被视为易破解并被移除
- 注：开发更先进的验证模型仍是未来研究方向

Long-CoT Supervised Fine-Tuning

基于优化的 RL 提示集，论文通过提示工程构建一个小型高质量的长思维链预热数据集，包含文本和图像输入的已验证推理路径
该方法类似于拒绝采样（rejection sampling, RS），但专注于通过提示工程生成长思维链推理路径
预热数据集旨在封装人类推理的关键认知过程，包括：
- 规划（Planning） ：模型在执行前系统化步骤；
- Evaluation ：对中间步骤的批判性分析；
- 反思（Reflection） ：重新审视并优化方法；
- 探索（Exploration） ：考虑替代解决方案
通过对该数据集进行轻量级 SFT，模型能有效内化这些推理策略
微调后的长思维链模型在生成详细且逻辑连贯的响应方面表现更优，从而提升多样化推理任务的性能

Reinforcement learning

Problem Setting

给定一个训练数据集，论文的目标是训练一个策略模型 $\pi_\theta$ 以准确解决测试问题
$$\mathcal{D} = \{(x_i, y^*_i)\}_{i=1}^n$$
- 其中 $x_i$ 表示问题，$y^*_i$ 表示对应的真实答案
在复杂推理任务中，从问题 $x$ 到答案 $y$ 的映射并非直接完成
- 为解决这一挑战，思维链（Chain of Thought, CoT）方法提出使用一系列中间步骤来连接 $x$ 和 $y$：
  $$ z = (z_1, z_2, \ldots, z_m)$$
  - 其中每个 $z_i$ 是一个连贯的 Token 序列，作为解决问题的关键中间步骤 (2022)
- 在解决问题 $x$ 时，思维 $z_t \sim \pi_\theta(\cdot|x, z_1, \ldots, z_{t-1})$ 通过自回归方式采样生成，随后生成最终答案 $y \sim \pi_\theta(\cdot|x, z_1, \ldots, z_m)$
- 论文用 $y, z \sim \pi_\theta$ 表示这一采样过程
- 需要注意的是，思维和最终答案均以语言序列的形式生成
为了进一步增强模型的推理能力，可使用规划算法（planning algorithms）探索不同的思维过程，从而在推理时生成改进的思维链 (2024;)
- 规划算法的核心思想是通过价值估计显式构建一个思维搜索树
- 这使得模型能够探索思维过程的多种可能延续，或在遇到死胡同时回溯以研究新的方向
- 规划算法的具体流程如下：
  - 设 $\mathcal{T}$ 为一个搜索树，其中每个节点表示一个部分解 $s = (x, z_{1:|s|})$，包含问题 $x$ 和一系列思维
    $$ z_{1:|s|} = (z_1, \ldots, z_{|s|})$$
    - $|s|$ 表示序列中思维的数量
  - 规划算法使用一个评判模型 $v$ 提供反馈 $v(x, z_{1:|s|})$，帮助评估当前解决问题的进展并识别现有部分解中的错误
  - 反馈可以是一个判别分数或语言序列 (2024)
  - 根据所有 $s \in \mathcal{T}$ 的反馈，规划算法选择最有潜力的节点进行扩展，从而生长搜索树
  - 上述过程迭代重复，直到生成完整的解
从算法视角来看：
- 给定第 $t$ 次迭代时的历史搜索记录
  $$ (s_1, v(s_1), \ldots, s_{t-1}, v(s_{t-1}))$$
- 规划算法 $\mathcal{A}$ 迭代确定下一个搜索方向
  $$ \mathcal{A}(s_t|s_1, v(s_1), \ldots, s_{t-1}, v(s_{t-1})) $$
- 并为当前搜索进展提供反馈
  $$ \mathcal{A}(v(s_t)|s_1, v(s_1), \ldots, s_{t-1}, v(s_{t-1}))$$
- 由于思维和反馈均可视为中间推理步骤，且这些组件均可表示为语言 Token 序列，论文用 $z$ 替换 $s$ 和 $v$ 以简化符号
- 因此，论文将规划算法视为直接作用于推理步骤序列的映射
  $$ \mathcal{A}(\cdot|z_1, z_2, \ldots) $$
- 在这一框架下，规划算法使用的搜索树中存储的所有信息被扁平化为提供给算法的完整上下文
这为生成高质量思维链提供了一个有趣的视角：与其显式构建搜索树并实现规划算法，不如考虑训练一个模型来近似这一过程
- 此时，思维数量（即语言 Token 数量）类似于传统规划算法分配的计算预算
- 长上下文窗口的最新进展（注：大模型的上下文越来越长了）为训练和测试阶段的无缝扩展提供了可能
- 如果可行，这种方法将使模型能够通过自回归预测直接在推理空间中进行隐式搜索
- 因此，模型不仅学会解决一组训练问题，还培养了有效解决单个问题的能力，从而提升对未见测试问题的泛化能力
论文考虑使用 RL 训练模型生成思维链 (OpenAI, 2024)
- 设 $r$ 为一个奖励模型，用于根据真实答案 $y^*$ 判断给定问题 $x$ 的答案 $y$ 的正确性，并分配一个值
  $$ r(x, y, y^*) \in \{0, 1\} $$
- 对于可验证的问题，奖励直接由预定义的标准或规则确定
  - 例如，在编程问题中，论文评估答案是否通过测试用例
- 对于自由形式的真实答案，论文训练一个奖励模型 $r(x, y, y^*)$ 来预测答案是否与真实答案匹配
- 给定问题 $x$，模型 $\pi_\theta$ 通过采样过程 $z \sim \pi_\theta(\cdot|x)$ 和 $y \sim \pi_\theta(\cdot|x, z)$ 生成思维链和最终答案
  - 生成的思维链的质量通过其是否能导向正确的最终答案来评估
综上所述，论文考虑以下目标来优化策略：
$$
\max_{\theta} \mathbb{E}_{(x, y^*) \sim \mathcal{D}, (y, z) \sim \pi_\theta} \left[ r(x, y, y^*) \right].
$$
通过扩展强化学习训练，论文的目标是训练一个模型，使其能够结合以下两者的优势 ：
- 简单基于提示的思维链（simple prompt-based CoT）
- 规划增强思维链（planning-augmented CoT）
在推理时 ，模型仍通过自回归方式采样语言序列 ，从而避免了部署时复杂并行化的需求
这种方法与简单基于提示的方法的关键区别在于
- 模型不应仅遵循一系列推理步骤，而应通过学习关键规划技能（如错误识别、回溯和解决方案优化）来利用所有探索过的思维作为上下文信息

Policy Optimization

论文采用一种在线策略镜像下降（online policy mirror descent，OPMD）的变体作为训练算法 (Abbasi-2019; 2019; 2020)
- 该算法迭代执行
- 关于 Mirror Descent 方法的介绍见附录
在第 $i$ 次迭代时，论文将当前模型 $\pi_{\theta_i}$ 作为参考模型，并优化以下相对熵正则化的策略优化问题：
$$
\max_{\theta} \mathbb{E}_{(x, y^*) \sim \mathcal{D} } \left[ \mathbb{E}_{(y, z) \sim \pi_\theta} \left[ r(x, y, y^*) \right] - \tau \text{KL}(\pi_\theta(x) || \pi_{\theta_i}(x)) \right],
$$
- 其中 $\tau > 0$ 是控制正则化程度的参数
- 注意：是每次迭代都要求解上面的优化问题，而这个优化问题的求解可能是经过多个小步骤的，所以在不同大迭代轮次之间，参数已经发生了改变，下文中使用每次大迭代之后的策略 $\pi_{\theta_i}$ 采样样本后，实际上是一种 Off-policy 策略而不是 On-policy 策略
该目标具有闭式解：
$$
\pi^*(y, z|x) = \pi_{\theta_i}(y, z|x) \exp(r(x, y, y^*)/\tau)/Z.
$$
- 这里 $Z = \sum_{y’, z’} \pi_{\theta_i}(y’, z’|x) \exp(r(x, y’, y^*)/\tau)$ 是归一化因子
对两边取对数，论文得到对于任意 $(y, z)$ 满足以下约束，这使得论文能够在优化过程中利用 Off-policy 数据：
$$
r(x, y, y^*) - \tau \log Z = \tau \log \frac{\pi^*(y, z|x)}{\pi_{\theta_i}(y, z|x)}.
$$
我们得到以下最终代理损失函数（surrogate loss）：
$$
\color{red}{L(\theta) = \mathbb{E}_{(x, y^*) \sim \mathcal{D} } \left[ \mathbb{E}_{(y, z) \sim \pi_{\theta_i} } \left[ \left( r(x, y, y^*) - \tau \log Z - \tau \log \frac{\pi_\theta(y, z|x)}{\pi_{\theta_i}(y, z|x)} \right)^2 \right] \right]}.
$$
$\tau \log Z$ 的近似表示 ：可以使用样本 $(y_1, z_1), \ldots, (y_k, z_k) \sim \pi_{\theta_i}$：
$$
\tau \log Z \approx \tau \log \frac{1}{k} \sum_{j=1}^k \exp(r(x, y_j, y^*)/\tau).
$$
- 注：上式是对 $Z = \sum_{y’, z’} \pi_{\theta_i}(y’, z’|x) \exp(r(x, y’, y^*)/\tau)$ 的估计
$\tau \log Z$ 的近似表示改进 ：论文进一步发现，使用采样奖励的均值在实践中效果显著：
$$\overline{r} = \text{mean}(r(x, y_1, y^*), \ldots, r(x, y_k, y^*))$$
- 这是合理的，因为当 $\tau \to \infty$ 时，$\tau \log Z$ 趋近于 $\pi_{\theta_i}$ 下的期望 Reward（详细证明见附录）
最后，论文的算法（代理损失的梯度）总结如下：对于每个问题 $x$，使用参考策略 $\pi_{\theta_i}$ 采样 $k$ 个响应，梯度由下式给出：
$$
\color{red}{\frac{1}{k} \sum_{j=1}^k \left( \nabla_\theta \log \pi_\theta(y_j, z_j|x)(r(x, y_j, y^*) - \overline{r}) - \frac{\tau}{2} \nabla_\theta \left( \log \frac{\pi_\theta(y_j, z_j|x)}{\pi_{\theta_i}(y_j, z_j|x)} \right)^2 \right).}
$$
对于熟悉策略梯度方法的读者，这一梯度类似于使用采样奖励均值作为基线的策略梯度 (2019; 2024)
- 主要区别在于响应是从 $\pi_{\theta_i}$ 采样而非 On-policy 采样，并且应用了 $l_2$ 正则化
  - 注：前文中有关于 Off-policy 和 On-policy 的讨论，每次大的迭代内都包含一些小的迭代，$\pi_{\theta_i}$ 是第 $i$ 次大迭代后的策略
- 因此，可以将其视为常规 On-policy 正则化策略梯度算法在 Off-policy 情况下的自然扩展 (2017)
论文从 $\mathcal{D}$ 中采样一批问题，并将参数更新为 $\theta_{i+1}$（注：这里需要更新很多个小步骤），随后将其作为下一次迭代的参考策略
- 由于每次迭代因参考策略的变化而考虑不同的优化问题，论文在每次迭代开始时重置优化器（这里是指大的迭代）
在论文的训练系统中，论文排除了价值网络（value network），这一设计选择在先前的研究中也有采用 (2024)
- 这一选择显著提高了训练效率，论文假设传统强化学习中用于信用分配（credit assignment）的价值函数可能不适用于论文的场景
考虑一种情况：
- 模型生成了一个部分思维链 $(z_1, z_2, \ldots, z_t)$，并且存在两个潜在的下一步推理步骤 $z_{t+1}$ 和 $z’_{t+1}$
- 假设 $z_{t+1}$ 直接导向正确答案，而 $z’_{t+1}$ 包含一些错误
- 如果存在一个预言价值函数（oracle value function），它将表明 $z_{t+1}$ 相对于 $z’_{t+1}$ 具有更高的价值
  - 根据标准信用分配原则，选择 $z’_{t+1}$ 会因为相对于当前策略具有负优势而受到惩罚
- 但探索 $z’_{t+1}$ 对于训练模型生成长思维链极具价值
通过使用从长思维链推导出的最终答案的合理性作为奖励信号 ，模型可以从选择 $z’_{t+1}$ 中学习试错模式，只要它成功恢复并达到正确答案
- 理解：使用合理性作为奖励信号而不是正确性？那是否也可以将价值模型建模为这个合理性呢？这与是否使用价值网络没有关系吧！
这一例子的关键启示是，论文应鼓励模型探索多样化的推理路径，以增强其解决复杂问题的能力
- 这种探索方法生成了丰富的经验，支持关键规划技能的开发
论文的主要目标不仅限于在训练问题上实现高准确率，而是专注于使模型掌握有效的问题解决策略，最终提升其在测试问题上的表现

Length Penalty

论文观察到一种“过度思考”（overthinking）现象：即在强化学习训练过程中，模型的响应长度显著增加
虽然这带来了性能提升，但过长的推理过程在训练和推理时成本高昂，且通常不符合人类偏好
为解决这一问题，论文引入了一种长度奖励（length reward）以抑制 Token 长度的快速增长，从而提高模型的 Token Efficiency
给定问题 $x$ 的 $k$ 个采样响应 $(y_1, z_1), \ldots, (y_k, z_k)$ 和真实答案 $y^*$
- 设
  - $\text{len}(i)$ 为 $(y_i, z_i)$ 的长度
  - $\min_\text{len} = \min_i \text{len}(i)$ 和 $\max_\text{len} = \max_i \text{len}(i)$
- 如果
  - $\max_\text{len} = \min_\text{len}$
  - 论文将所有响应的长度奖励设为零，因为它们的长度相同
- 否则，长度奖励由下式给出：
  $$
  \text{len_reward}(i) = \begin{cases}
  \lambda & \text{if } r(x, y_i, y^*) = 1 \\
  \min(0, \lambda) & \text{if } r(x, y_i, y^*) = 0
  \end{cases}, \quad \text{where } \lambda = 0.5 - \frac{\text{len}(i) - \min_\text{len} }{\max_\text{len} - \min_\text{len} }.
  $$
本质上，论文的奖励思路是：
- 在正确答案中：鼓励更短的响应 ，并惩罚更长的响应；
- 在错误答案中：显式惩罚具有错误答案的长响应
- 对奖励的理解：如果答案出错，即使很短的回答也不给奖励，因为可能错误的让模型觉得应该缩短队列造成结果出错
- 这一基于长度的奖励随后通过加权参数添加到原始奖励中
在初步实验中，长度惩罚可能会导致在训练初期减缓进度
- 为缓解这一问题，论文提出在训练过程中逐步预热长度惩罚
- 具体来说，论文首先使用标准策略优化（不包含长度惩罚），随后在剩余训练中应用恒定长度惩罚

Sampling Strategies

强化学习算法本身具有相对良好的采样特性（更困难的问题提供更大的梯度），但其训练效率仍然有限
一些定义良好的先验采样方法可能带来更大的性能提升
论文利用多种信号进一步改进采样策略
- 首先，论文收集的强化学习训练数据自然带有不同的难度标签（例如，数学竞赛问题比小学数学问题更难）
- 其次，由于强化学习训练过程对同一问题多次采样，论文还可以跟踪每个问题的成功率作为难度指标
论文提出两种采样方法，利用这些先验知识提高训练效率
- 课程采样（Curriculum Sampling） ：论文首先在较简单的任务上训练模型，随后逐步过渡到更具挑战性的任务
  - 由于初始强化学习模型性能有限 ，将有限的计算预算用于非常困难的问题通常只会产生少量正确样本，导致训练效率较低
  - 同时，论文收集的数据自然包含年级和难度标签，使得基于难度的采样成为一种直观且有效的方式
- 优先级采样（Prioritized Sampling） ：除了课程采样外，论文还使用优先级采样策略 ，专注于模型表现不佳的问题
  - 论文跟踪每个问题的成功率 $s_i$，并按照与 $1 - s_i$ 成比例的概率采样问题 ，使得成功率较低的问题获得更高的采样概率
  - 这使模型能够集中精力改进其薄弱环节，从而加速学习并提升整体性能

More Details on Training Recipe

代码测试用例生成（Test Case Generation for Coding） ：
- 由于网络上许多编程问题的测试用例不可用 ，论文设计了一种自动生成测试用例的方法 ，作为训练模型的奖励
  - 问题：网络上测试用例不可用的原因是什么？是因为不专业吗？
- 论文主要关注不需要特殊评判（special judge）的问题，并假设这些问题的真实解决方案可用，以便利用这些解决方案生成更高质量的测试用例
  - 问题：不需要特殊评判是指什么？
- 论文使用广受认可的测试用例生成库 CYaRon 来增强论文的方法，测试用例的生成如下：
  - 基于问题描述，论文使用 Based Kimi K1.5 模型生成测试用例
  - CYaRon 的使用说明和问题描述作为生成器的输入
  - 对于每个问题，论文生成 50 个测试用例，并随机抽取 10 个真实提交结果对每个测试用例进行验证
    - 如果至少 7 个提交结果匹配，则该测试用例被视为有效
  - 经过这轮筛选后，论文得到一组选定的测试用例
- 如果至少 9 个提交结果通过全部选定的测试用例，则该问题及其关联的测试用例被加入训练集
- 在统计数据方面，从 1,000 个在线竞赛问题样本中，约 614 个问题不需要特殊评判
- 论文开发了 463 个测试用例生成器，生成了至少 40 个有效测试用例，最终将 323 个问题纳入训练集
- 问题：本节的描述不够清晰，还需要重新理解一下
数学奖励建模（Reward Modeling for Math）
- 评估数学解决方案的一个挑战在于，不同的书写形式可能表示相同的答案
  - 例如，$a^2 - 4$ 和 $(a + 2)(a - 2)$ 可能是同一问题的有效解
- 论文采用两种方法提高奖励模型的评分准确性：
  - 1）经典奖励模型（Classic RM） ：受 InstructGPT (2022) 方法的启发，论文实现了一个基于价值头（value-head）的奖励模型，并收集了约 800K 数据点进行微调
    - 该模型最终以“问题”、“参考答案”和“响应”作为输入，输出一个标量以指示响应是否正确
  - 2）思维链奖励模型（Chain-of-Thought RM） ：近期研究 (2024; 2024) 表明，结合思维链推理的奖励模型，在需要细微正确性标准的任务（如数学）上显著优于经典方法
    - 论文收集了约 800K 带有思维链标注的示例对 Kimi 模型进行微调
    - 基于与经典奖励模型相同的输入，思维链方法在提供最终正确性判断（以 JSON 格式输出）之前显式生成逐步推理过程，从而实现更鲁棒且可解释的奖励信号
- 在人工抽查中，经典奖励模型的准确率约为 84.4% ，而思维链奖励模型达到了 98.5% 的准确率
- 在强化学习训练过程中，论文采用思维链奖励模型以确保更准确的反馈
视觉数据（Vision Data）
- 为提升模型在真实世界图像中的推理能力，并实现视觉输入与 LLM 的更有效对齐，论文的视觉强化学习（Vision RL）数据主要来源于三个类别：
  - 真实世界数据
  - 合成视觉推理数据
  - 文本渲染数据
- 1）真实世界数据（Real-world data） ：
  - 涵盖需要图形理解和推理的各年级科学问题、需要视觉感知和推理的位置猜测任务，以及涉及理解复杂图表的数据分析等
  - 这些数据集提升了模型在真实场景中的视觉推理能力
- 2）合成视觉推理数据（Synthetic visual reasoning data） ：
  - 人工生成的图像和场景，旨在提升特定的视觉推理技能，如理解空间关系、几何模式和物体交互
  - 这些合成数据集为测试模型的视觉推理能力提供了可控环境，并提供了无限的训练样本
- 3）文本渲染数据（Text-rendered data） ：
  - 通过将文本内容转换为视觉格式，确保模型在处理不同模态的文本查询时保持一致
  - 通过将文论文档、代码片段和结构化数据转换为图像，论文确保无论输入是纯文本还是渲染为图像（如截图或照片），模型都能提供一致的响应
  - 这也有助于增强模型处理 text-heavy 图像的能力
- 每种类型的数据对于构建全面的视觉语言模型都至关重要，使其能够有效管理广泛的真实应用，同时确保跨不同输入模态的一致性能

Long2short: Context Compression for Short-CoT Models（长到短：短链思维模型的上下文压缩）

尽管长链思维（long-CoT）模型表现出强大的性能，但与标准的短链思维（short-CoT） LLM 相比，它在测试时需要消耗更多的 Token
论文将长链思维模型的思维先验（thinking priors）迁移到短链思维模型中，从而在有限的测试 Token 预算下提升性能
本节介绍了几种解决这一“长到短”（long2short）问题的方法，包括
- 模型融合（model merging）
- 最短拒绝采样（shortest rejection sampling）
- 直接偏好优化（Direct Preference Optimization, DPO）
- 长到短强化学习（long2short RL）
模型融合（Model Merging）
- 模型融合在保持泛化能力方面已被证明是有效的
- 论文还发现，在融合长链思维模型和短链思维模型时，该方法能显著提升 Token Efficient
- 具体而言，论文通过简单地对两个模型的权重进行平均来实现融合：
  $$
  \theta_{\text{merged} } = \frac{\theta_{\text{long-CoT} } + \theta_{\text{short-CoT} } }{2}
  $$
  - 其中，$\theta_{\text{long-CoT} }$ 和 $\theta_{\text{short-CoT} }$ 分别表示长链思维模型和短链思维模型的参数
最短拒绝采样（Shortest Rejection Sampling）
- 论文观察到，对于同一问题，模型生成的响应长度存在较大差异
- 最短拒绝采样方法对同一问题采样 $n$ 次 ，并选择其中最短的正确响应用于 SFT
  - 注：实验中 $n=8$
直接偏好优化（DPO）
- 与最短拒绝采样类似，论文利用长链思维模型生成多个响应样本
- 选择最短的正确解作为正样本 ，而较长的响应作为负样本
  - 包括 错误的较长响应 和 比所选正样本长 1.5 倍的正确响应
- 这些正负样本对构成了用于 DPO 训练的成对偏好数据
长到短强化学习（Long2short RL）
- 在标准强化学习训练阶段后，论文选择一个在性能和 Token Efficient 之间达到最佳平衡的模型作为基础模型，并进行单独的长到短 RL 训练阶段
- 在第二阶段（RL 训练阶段）中，论文应用了第 2.3.3节中介绍的长度惩罚（length penalty），显著减少最大展开长度（maximum rollout length），以进一步惩罚超出预期长度但可能正确的响应

Other Training Details

Pretraining

Kimi K1.5 的基础模型是在多样化、高质量的多模态语料库上训练的
- 语言数据涵盖五个领域：英语、中文、代码、数学推理和知识
- 多模态数据集包括
  - 图像描述（Captioning）数据集
  - 图文交错（Image-text Interleaving）数据集
  - 光学字符识别（Optical Character Recognition, OCR）数据集
  - 知识和问答数据集
- 使模型具备视觉-语言能力
- 严格的质控确保了预训练数据的相关性、多样性和平衡性
论文的预训练分为三个阶段：
- 1）视觉-语言预训练（Vision-language pretraining） ：
  - 首先建立强大的语言模型基础，随后逐步引入视觉-语言交错数据，获得多模态能力
- 2）冷却阶段（Cooldown） ：
  - 使用精选的合成数据巩固模型能力，尤其是在数学推理、知识任务和代码生成方面
- 3）长上下文激活（Long-context activation） ：
  - 将序列处理能力扩展到 131,072 个 Token ，支持需要长上下文的任务

Vanilla Supervised Finetuning（标准监督微调）

论文构建了涵盖多个领域的标准监督微调语料库
对于非推理任务（如问答、写作和文本处理），论文通过人工标注构建初始种子数据集，并训练种子模型
随后，论文收集多样化的提示（prompts），利用种子模型为每个提示生成多个响应 ，标注者对响应进行排名并优化排名靠前的响应，形成最终版本
对于数学和编程等推理任务，由于基于规则和奖励模型的验证比人工判断更准确高效，论文采用拒绝采样（rejection sampling）扩展监督微调数据集
论文的标准监督微调数据集包含约 1M 文本示例，其中：
- 500K 示例用于通用问答
- 200K 用于代码生成
- 200K 用于数学和科学
- 5K 用于创意写作
- 20K 用于长上下文任务（如摘要、文档问答、翻译和写作）
此外，论文还构建了 1000K 图文示例，涵盖图表解读、OCR、基于图像的对话、视觉编程、视觉推理以及带有视觉辅助的数学/科学问题
训练分为两个阶段：
- 1）在 32k Token 序列长度下训练 1个 Epoch，学习率从 $2 \times 10^{-5}$ 衰减到 $2 \times 10^{-6}$
- 2）在 128k Token 序列长度下训练 1个 Epoch，学习率重新预热到 $1 \times 10^{-5}$，最终衰减到 $1 \times 10^{-6}$
- 问题1：为什么长 Token 序列要在后面训练？不能混合训练吗？先后顺序可以变化吗？
- 问题2：为什么长 Token 序列要用更低的学习率？
为提升训练效率，论文将多个训练示例打包到单个训练序列中

RL Infrastructure

Large Scale Reinforcement Learning Training System for LLM

在人工智能领域，RL 已成为 LLM 训练的关键方法 (2022; 2024)
- 其灵感来源于在复杂游戏（如围棋、星际争霸 II 和 Dota 2）中取得的成功，例如 AlphaGo (2017)、AlphaStar (2019) 和 OpenAI Dota Five (2019)
遵循这一传统，Kimi K1.5 系统采用了一种迭代同步（iterative synchronous）的 RL 框架，通过持续学习和适应来增强模型的推理能力
- 该系统的关键创新是引入了部分展开（Partial Rollout）技术，用于优化复杂推理轨迹的处理
如图 3a 所示，RL 训练系统通过迭代同步（iterative synchronous）的方式运行，每次迭代包含展开阶段和训练阶段
- 在展开阶段 ，由 Central Master 协调的 Rollout Workers 通过与模型交互生成展开轨迹，产生对各类输入的响应序列
  - 这些轨迹随后被存储在一个 **Replay Buffer 中** ，通过打乱时间相关性来确保训练数据的多样性和无偏性
  - 问题：为什么要打乱时间相关性？不同时间点生成的数据是独立的吧
- 在训练阶段 ， Trainer Workers 访问这些经验来更新模型的权重
- 这一循环过程使模型能够从其行为中持续学习，逐步调整策略以提升性能
Central Master 作为核心调度器，管理 Rollout Workers、Trainer Workers、奖励模型评估（Evaluation with Reward Models）和 Replay Buffer 之间的数据流和通信
- 它确保系统协调运行，平衡负载并促进高效的数据处理
Trainer Workers 访问这些展开轨迹（无论是单次迭代完成还是跨多次迭代分割）来计算梯度更新，从而优化模型参数并提升性能
- 在这一过程中，Reward Model 评估模型输出的质量并提供关键反馈以指导训练过程
- 奖励模型的评估对于确定模型策略的有效性并引导模型实现最佳性能尤为重要
此外，系统还集成了一个代码执行服务（Code Execution Service） ，专门用于处理代码相关问题，并与奖励模型紧密结合
- 代码执行服务 在实际编码场景中评估模型的输出 ，确保模型的学习与真实编程挑战紧密对齐
- 通过将模型的解决方案与实际代码执行结果进行验证，这一反馈循环对于优化模型策略和提升代码相关任务的性能至关重要

Partial Rollouts for Long CoT RL

本研究的一个核心思想是扩展长上下文 RL （long-context RL）训练的规模
Partial Rollouts 通过管理长轨迹和短轨迹的展开，有效解决了处理长链式思维（Long CoT）特征的挑战
- 该技术设定了一个固定的输出 Token 预算，限制每次展开轨迹的长度
- 如果在展开阶段轨迹超出 Token 限制，未完成的部分会被保存到 Replay Buffer ，并在下一次迭代中继续
- 这确保了单个长轨迹不会独占系统资源
- Rollout Workers是异步运行的 ，当部分工作器处理长轨迹时，其他工作器可以独立处理新的短展开任务
  - 这种异步操作通过确保所有 Rollout Workers 积极参与训练过程，最大化计算效率，从而优化系统的整体性能
如图 3b 所示，部分展开系统通过将长响应分割为跨迭代的片段（从迭代 $n-m$ 到迭代 $n$）来工作
- Replay Buffer 作为中央存储机制，保存这些响应片段，其中只有当前迭代（迭代 $n$）需要按策略计算
- 之前的片段（迭代 $n-m$ 到 $n-1$）可以从缓冲区高效复用，无需重复展开
- 这种分段方法显著降低了计算开销：
  - 系统不是一次性展开整个响应，而是逐步处理和存储片段，从而能够生成更长的响应，同时保持快速的迭代时间
  - 在训练过程中，某些片段可以从损失计算中排除，以进一步优化学习过程 ，使整个系统既高效又可扩展
- 问题：这种跨段的偏短不符合重要性采样规则了吧，还算是 On-policy 的策略吗？上面说的在损失中排除部分片段是为了解决这个问题吗？
  - 回答：生成后，有两个选择，选择1）保存历史生成的概率（理论效果更优）；选择2）用当前策略重新计算生成概率（可能引入未知不一致问题），在更新前一般都需要用当前的 Actor 重新计算 log_prob 的，所以这里虽然不是同一个 Actor 生成的，但是其重要性权重使用的 prob 能保证是最新的
  - 一个参考博客，包含较为详细的讨论：Kimi K1.5: Long Context RL 的成功实践 - Chayenne Zhao的文章 - 知乎
部分展开的实现还包括重复检测功能
- 系统识别生成内容中的重复序列并提前终止，减少不必要的计算，同时保持输出质量
- 检测到的重复内容可以被分配额外的惩罚，从而有效抑制提示集中冗余内容的生成

Hybrid Deployment of Training and Inference

RL 训练过程包含以下阶段：
- 训练阶段（Training Phase） ：
  - 初始阶段，Megatron (2020) 和 vLLM (2023) 在单独的容器中运行，由一个称为检查点引擎（Checkpoint Engine）的中间进程封装（详见第 2.6.3 节）
  - Megatron 启动训练过程
  - 训练完成后，Megatron 卸载 GPU 内存，准备将当前权重传输给 vLLM
- 推理阶段（Inference Phase） ：
  - Megatron 卸载后，vLLM 以虚拟模型权重启动，并通过 Mooncake (2024) 从 Megatron 接收最新权重进行更新
  - 展开完成后，检查点引擎停止所有 vLLM 进程
- 后续训练阶段（Subsequent Training Phase） ：
  - vLLM 占用的内存释放后，Megatron 重新加载内存并启动新一轮训练
论文发现现有工作难以同时支持以下所有特性：
- 1）复杂的并行策略（Complex parallelism strategy） ：
  - Megatron 和 vLLM 可能采用不同的并行策略
  - 在 Megatron 中分布在多个节点的训练权重可能难以与 vLLM 共享
- 2）最小化空闲 GPU 资源（Minimizing idle GPU resources） ：
  - 对于按策略 RL，近期工作如 SGLang (2024) 和 vLLM 可能在训练过程中保留部分 GPU，这反过来会导致训练 GPU 闲置
  - 更高效的方式是在训练和推理之间共享相同的设备
- 3）动态扩展能力（Capability of dynamic scaling） ：
  - 在某些情况下，通过增加推理节点数量（同时保持训练过程不变）可以显著加速
  - 论文的系统能够在需要时高效利用闲置 GPU 节点
如图 4 所示，论文在 Megatron 和 vLLM 之上实现了这一混合部署框架（详见第 2.6.3 节），实现了从训练到推理阶段少于 1 分钟的切换时间，反之约为 10 秒
混合部署策略（Hybrid Deployment Strategy）
- 论文提出了一种训练和推理任务的混合部署策略，利用 Kubernetes Sidecar 容器共享所有可用 GPU，将两种工作负载部署在同一 Pod 中。该策略的主要优势包括：
  - 促进高效的资源共享和管理，避免训练节点在等待推理节点时闲置（当两者部署在不同节点时）
  - 利用独立的部署镜像，训练和推理可以各自独立迭代以获得更好的性能
  - 该架构不仅限于 vLLM，其他框架也可以方便地集成
检查点引擎（Checkpoint Engine）
- 检查点引擎负责管理 vLLM 进程的生命周期，暴露 HTTP API 以支持对 vLLM 的各种操作触发
- 为了确保整体一致性和可靠性，论文使用由 etcd 服务管理的全局元数据系统来广播操作和状态
- 由于 CUDA 图、NCCL 缓冲区和 NVIDIA 驱动等因素，vLLM 卸载后完全释放 GPU 内存可能具有挑战性
  - 为了最小化对 vLLM 的修改，论文在需要时终止并重启它以获得更好的 GPU 利用率和容错能力
- Megatron 中的工作器将拥有的检查点转换为共享内存中的 Hugging Face 格式
  - 此转换还考虑了流水线并行（Pipeline Parallelism）和专家并行（Expert Parallelism），因此这些检查点中仅保留张量并行（Tensor Parallelism）
  - 共享内存中的检查点随后被分片并注册到全局元数据系统中
  - 论文使用 Mooncake 通过 RDMA 在对等节点之间传输检查点
  - 需要对 vLLM 进行一些修改以加载权重文件并执行张量并行转换

Code Sandbox

论文开发了沙箱作为一个安全的环境，用于执行用户提交的代码，并针对代码执行和代码基准评估进行了优化
通过动态切换容器镜像，沙箱支持 MultiPL-E (2023)、DMOJ Judge Server、Lean 等 (2023)、Jupyter Notebook 和其他镜像的不同用例
对于编码任务中的 RL，沙箱通过提供一致且可重复的评估机制，确保训练数据判断的可靠性
其反馈系统支持多阶段评估，例如代码执行反馈和仓库级编辑，同时保持统一的上下文以确保跨编程语言的公平基准比较
论文将服务部署在 Kubernetes 上以实现可扩展性和弹性，并通过 HTTP 端点对外暴露以支持外部集成
- Kubernetes 的自动重启和滚动更新等功能确保了可用性和容错性
为了优化性能并支持 RL 环境，论文在代码执行服务中集成了多项技术以提升效率、速度和可靠性，包括：
- 使用 Crun（Using Crun） ：论文使用 crun 作为容器运行时而非 Docker ，显著减少了容器启动时间
- Cgroup 复用（Cgroup Reusing） ：论文为容器预创建 cgroup，这对于高并发场景至关重要，因为为每个容器创建和销毁 cgroup 可能成为瓶颈
- 磁盘使用优化（Disk Usage Optimization） ：论文使用带有 tmpfs 上层的覆盖文件系统来控制磁盘写入，提供固定大小的高速存储空间
  - 这种方法对临时工作负载特别有益
这些优化提升了代码执行中的 RL 效率，为评估 RL 生成的代码提供了一致且可靠的环境，这对于迭代训练和模型改进至关重要

Experiments

Evaluation

由于 K1.5 是一个多模态模型（multimodal model），论文在不同模态的多个基准测试上进行了全面评估（详细的评估设置见附录 C）
论文的基准测试主要包括以下三类：
- 文本基准测试（Text Benchmark） ：MMLU (2020)、IF-Eval (2023)、CLUEWSC (2020)、C-EVAL (2023)
- 推理基准测试（Reasoning Benchmark） ：HumanEval-Mul (2024)、Codeforces (2024)、MATH-500 (2023)
- 视觉基准测试（Vision Benchmark） ：MMMU (2024)、MATH-Vision (2024)、MathVista (2023)

Main Results

K1.5 长链思维模型（K1.5 long-CoT model）
- Kimi K1.5 长链思维模型的性能如表 2 所示
- 通过长链思维监督微调（如第 2.2 节所述）和视觉-文本联合强化学习（如第 2.3 节所述），模型的长期推理能力显著增强
- 测试时计算规模的扩展进一步提升了其性能，使模型在多种模态上实现了 SOTA 结果
- 论文的评估表明，模型在长上下文中的推理、理解和信息综合能力有了显著提升，代表了多模态人工智能能力的重大进步
K1.5 短链思维模型（K1.5 short-CoT model）
- Kimi K1.5 短链思维模型的性能如表 3 所示
- 该模型整合了多种技术，包括传统的监督微调（如第 2.5.2 节所述）、强化学习（如第 2.3 节所述）以及长链到短链的知识蒸馏（如第 2.4 节所述）
- 结果表明，K1.5 短链思维模型在多项任务中表现优于或与领先的开源和专有模型相当，包括文本、视觉和推理任务，尤其在自然语言理解、数学、编程和逻辑推理方面表现突出

Long Context Scaling

论文使用一个中等规模的模型来研究 LLM 在强化学习中的扩展特性
图 5 展示了小型模型变体在数学提示集上训练时，训练准确率和响应长度随训练迭代的变化情况
- 随着训练的进行，论文观察到响应长度和性能准确率同步增长
- 在更具挑战性的基准测试中，响应长度的增长更为显著，这表明模型学会了为复杂问题生成更详细的解决方案
图 6 表明，模型的输出上下文长度与其问题解决能力之间存在强相关性
- 论文最终的 K1.5 运行将上下文长度扩展到 128k，并在困难的推理基准测试中观察到持续的性能提升

Long2short

文比较了第 2.4 节中提出的长链到短链强化学习算法与 DPO、最短拒绝采样和模型合并方法，重点关注长链到短链问题的 Token Efficiency （2024），即如何将长链思维模型的优势传递给短链模型
在图 7 中：
- K1.5-long 代表论文用于长链到短链训练的长链思维模型
- K1.5-short w/ rl 表示通过长链到短链强化学习训练得到的短链模型
- K1.5-short w/ dpo 表示通过 DPO 训练提升 Token Efficiency 的短链模型
- K1.5-short w/ merge 表示模型合并后的结果
- K1.5-short w/ merge + rs 表示对合并模型应用最短拒绝采样得到的短链模型
- K1.5-shortest 表示论文在长链到短链训练中获得的最短模型
如图 7 所示
- 与其他方法（如 DPO 和模型合并）相比，长链到短链强化学习算法展示了最高的 Token Efficiency
- K1.5 系列的所有模型（橙色 Token ）均表现出比其他模型（蓝色 Token ）更优的 Token Efficiency
  - 例如，K1.5-short w/ rl 在 AIME2024 上的 Pass@1 得分为 60.8（8 次运行的平均值），平均仅使用 3,272 个 Token
  - 同样，K1.5-shortest 在 MATH500 上的 Pass@1 得分为 88.2，同时消耗的 Token 数量与其他短链模型相当

Ablation Studies

Scaling of model size and context length

论文的主要贡献是通过 RL 增强模型生成长链思维的能力，从而提升其推理能力
一个自然的问题是：这与单纯增加模型规模相比如何？
为了证明论文方法的有效性，论文使用相同数据集训练了两个不同规模的模型，并记录了强化学习训练期间所有检查点的评估结果和平均推理长度
这些结果如图 8 所示
- 较小模型初始性能不如较大模型，但较小模型通过优化后的长链思维可以达到与大规模模型相当的性能
- 大规模模型通常表现出更好的 Token Efficiency
  - 这也表明，如果目标是追求最佳性能，扩展大规模模型的上下文长度具有更高的上限，并且更节省 Token
  - 但如果测试时计算有预算限制，训练较小模型并扩展上下文长度可能是可行的解决方案

Effects of using negative gradients

论文研究了在设置中使用 ReST (2023) 作为策略优化算法的有效性
ReST 与其他 RL-based 的方法（包括论文的方法）的主要区别在于
- ReST 通过拟合当前模型采样的最佳响应来迭代优化模型，而不会对错误响应施加负梯度惩罚
如图 10 所示
- 论文的方法在样本复杂度上优于 ReST，这表明引入负梯度显著提升了模型生成长链思维的效率
  - ReST 不会使用负梯度，详情见附录
- 论文的方法不仅提高了推理质量，还优化了训练过程，以更少的训练样本实现了稳健的性能
  - 这一发现表明，策略优化算法的选择在论文的设置中至关重要，因为 ReST 与其他 RL-based 的方法在其他领域中的性能差距并不明显 (2023)
  - 论文的结果凸显了选择适当优化策略以最大化长链思维生成效果的重要性
  - 问题：这里强调的优化策略/策略优化算法是什么？

Sampling strategies

本节进一步证明了第 2.3.4 节中提出的课程采样策略的有效性
论文的训练数据集 $\mathcal{D}$ 包含不同难度级别的问题
论文的方法 ：
- 通过课程采样方法 ，论文首先使用 $\mathcal{D}$ 进行预热阶段 ，随后仅专注于困难问题来训练模型
基线方法 ：
- 采用均匀采样策略且无课程调整
如图 9 所示，论文的结果清楚地表明，课程采样方法显著提升了性能
- 这种改进可以归因于该方法逐步挑战模型的能力，使其能够更稳健地理解和解决复杂问题
- 通过在初始通用阶段后专注于更困难的问题，模型能够更好地增强其推理和问题解决能力

附录 B：Pretraining

RL 的效率与基础模型的性能密切相关
前沿模型如 Gemini (2024) 和 Llama (2024) 强调了预训练数据质量对于实现高性能的重要性
但许多最新的开源模型并未完全公开其数据处理流程和配方，这为更广泛社区的理解带来了挑战
尽管论文目前并未开源专有模型，但论文致力于全面公开数据流程和方法论
本节主要关注多模态预训练数据配方，随后简要讨论模型架构和训练阶段

B.1 Language Data

论文的预训练语料库旨在为训练 LLM 提供全面且高质量的数据，它涵盖五个领域：
- 英语（English）
- 中文（Chinese）
- Code
- 数学与推理（Mathematics & Reasoning）
- 知识（Knowledge）
论文对每个领域采用复杂的过滤和质量控制机制，以确保训练数据的最高质量
对于所有预训练数据，论文对每个数据源进行了严格的单独验证，以评估其对整体训练配方的具体贡献
这种系统性评估确保了多样数据组成的质量和有效性

English and Chinese textual data

论文开发了一个多维质量过滤框架，结合多种评分方法以减少个体偏见并确保全面的质量评估。论文的框架包括：
- 1）基于规则的过滤（Rule-based filtering） ：
  - 论文实施领域特定的启发式方法，移除问题内容，包括重复内容、机器翻译文本和低质量的网络抓取内容
  - 论文还过滤掉包含过多特殊字符、异常格式或垃圾模式的文档
- 2）基于 FastText 的分类（FastText-based classification） ：
  - 论文训练了专门的 FastText (2016; 2024) 模型，基于语言特征和语义连贯性识别内容质量
  - 这有助于识别具有自然语言流和正确语法结构的文档
- 3）基于 Embedding 的相似性分析（Embedding-based similarity analysis） ：
  - 使用文档 Embedding (2024)，论文计算文档级相似性分数，以识别并移除近重复内容，同时保留语义上有价值的变体
  - 这种方法有助于保持训练语料库的多样性
- 4）LLM-based 质量评估（LLM-based quality assessment） ：
  - 参考 (2024)，论文利用 LLM 根据连贯性、信息量和潜在教育价值对文档进行评分
  - 这种方法特别适用于识别简单方法可能忽略的细微质量指标
每个文档的最终质量分数是这些单独分数的组合
基于广泛的实证分析，论文实施了动态采样率，高质量文档在训练期间被上采样，而低质量文档被下采样

Code data

代码数据主要包括两类
对于从代码文件提取的纯代码数据，论文遵循 BigCode (2023; 2024) 的方法论，对数据集进行了全面的预处理
- 首先，移除杂项语言，并应用基于规则的清理程序以提高数据质量
- 随后，通过策略性采样技术解决了语言不平衡问题
  - 具体而言，Token 语言如 JSON、YAML 和 YACC 被下采样，而 32 种主要编程语言（包括 Python、C、C++、Java 和 Go）被上采样以确保平衡表示
对于从各种数据源获取的文本-代码交错数据，论文使用基于 Embedding 的方法召回高质量数据
- 这种方法确保了数据的多样性并保持了其高质量

Math & Reasoning data

数学和推理数据组件对于开发强大的分析和问题解决能力至关重要
数学预训练数据主要从公开可用的互联网资源中检索，包括网页文本和 PDF 文档 (2023)
最初，论文发现通用领域的文本提取、数据清理过程和 OCR 模型在数学领域中表现出较高的假阴性率
因此，论文首先开发了专门的数据清理程序和 OCR 模型，特别针对数学内容，旨在最大化数学数据的召回率
随后，论文实施了两阶段数据清理过程 ：
- 1）使用 FastText 模型进行初步清理，移除大部分无关数据
- 2）利用微调的语言模型进一步清理剩余数据，从而获得高质量的数学数据

Knowledge data

知识语料库经过精心策划，以确保全面覆盖学术领域
论文的知识库主要包括学术练习、教科书、研究论文和其他通用教育文献
这些材料的大部分通过 OCR 处理数字化，为此论文开发了专有模型，针对学术内容（尤其是数学公式和特殊符号）进行了优化
论文使用内部语言模型为文档添加多维度标签，包括：
- 1）OCR 质量指标，用于评估识别准确性
- 2）教育价值指标，衡量教学相关性
- 3）文档类型分类（如练习、理论材料）
基于这些多维度标注，论文实施了一个复杂的过滤和采样流程
- 首先，文档通过 OCR 质量阈值进行过滤
  - 论文的 OCR 质量评估框架特别关注检测和过滤常见的 OCR 伪影，尤其是表明识别失败的重复文本模式
- 其次，通过评分系统仔细评估每份文档的教育价值
  - 具有高教学相关性和知识深度的文档被优先考虑，同时在理论深度和教学清晰度之间保持平衡
  - 这有助于确保论文的训练语料库包含高质量的教育内容，能够有效促进模型的知识获取
- 最后，为了优化训练语料库的整体组成，不同文档类型的采样策略通过大量实验经验性确定
  - 论文进行隔离评估，以识别对模型知识获取能力贡献最显著的文档子集
  - 这些高价值子集在最终训练语料库中被上采样
  - 为了保持数据多样性并确保模型的泛化能力，论文仔细保留其他文档类型的平衡表示
  - 这种数据驱动的方法帮助论文优化了聚焦知识获取与广泛泛化能力之间的权衡

B.2 Multimodal Data

论文的多模态预训练语料库旨在提供高质量数据，使模型能够处理和理解来自多种模态（包括文本、图像和视频）的信息
为此，论文还从五个类别中精选了高质量数据以构建语料库
- 这五个类别是：字幕（captioning）、交错（interleaving）、OCR（光学字符识别）、知识（knowledge）和通用问答（general question answering）
在构建训练语料库时，论文开发了多条多模态数据处理流程以确保数据质量，包括：过滤、合成和去重
- 建立有效的多模态数据策略在联合训练视觉和语言时至关重要，因为它既保留了语言模型的能力，又促进了跨多种模态的知识对齐
论文在本节中详细描述这些来源，分为以下类别：

Caption data

论文的字幕数据为模型提供了基本的模态对齐和广泛的世界知识
通过融入字幕数据，多模态 LLM 能够以高效的学习方式获取更广泛的世界知识
论文整合了各种开源的中英文字幕数据集 (2022; 2024)，并从多个来源收集了大量内部字幕数据
但在整个训练过程中，论文严格限制合成字幕数据的比例，以减轻因真实世界知识不足而导致的幻觉风险
对于通用字幕数据，论文遵循严格的质量控制流程，避免重复并保持高图像-文本相关性
论文还在预训练期间改变图像分辨率，以确保视觉塔在处理高分辨率和低分辨率图像时均保持高效

Image-text interleaving data

在预训练阶段，模型从交错数据中获益良多，例如：
- 多图像理解能力可以通过交错数据提升；
- 交错数据通常为给定图像提供详细知识；
- 更长的多模态上下文学习能力也可以通过交错数据获得
论文发现交错数据对保持模型的语言能力有积极贡献
- 图像-文本交错数据是论文训练语料库的重要组成部分
- 论文的多模态语料库考虑了开源的交错数据集 (2024; 2024)，并利用教科书、网页和教程等资源构建了大规模的内部数据
论文发现合成交错数据有助于多模态 LLM 保持文本知识的表现
- 为了确保每张图像的知识得到充分学习，对于所有交错数据，除了标准的过滤、去重和其他质量控制流程外，论文还集成了数据重新排序程序，以保持所有图像和文本的正确顺序

OCR data

光学字符识别（Optical Character Recognition, OCR）是一种广泛采用的技术，可将图像中的文本转换为可编辑格式
强大的 OCR 能力对于更好地将模型与人类价值观对齐至关重要
- 论文的 OCR 数据来源多样，包括开源和内部数据集，涵盖干净和增强的图像
除了公开可用的数据外，论文还开发了大量的内部 OCR 数据集，涵盖多语言文本、密集文本布局、基于网络的内容和手写样本
此外，遵循 OCR 2.0 (2024) 中概述的原则，论文的模型还配备了处理多种光学图像类型的能力，包括图形、表格、几何图表、流程图和自然场景文本
论文应用了广泛的数据增强技术（如旋转、扭曲、颜色调整和噪声添加）以增强模型的鲁棒性
最终，论文的模型在 OCR 任务中表现出高水平的熟练度

Knowledge data

多模态知识数据的概念与之前提到的文本预训练数据类似，只是这里论文专注于从多样来源汇集全面的人类知识库，以进一步增强模型的能力
- 例如，论文数据集中精心策划的几何数据对于培养视觉推理技能至关重要，确保模型能够理解人类创建的抽象图表
论文的知识语料库遵循标准化的分类法，以平衡各个类别的内容，确保数据来源的多样性
- 与纯文本语料库类似（从教科书、研究论文和其他学术材料中收集知识），多模态知识数据使用布局解析器和 OCR 模型处理这些来源的内容
- 论文也纳入了来自互联网和其他外部资源的过滤数据
由于论文的知识语料库的很大一部分来自基于互联网的材料，信息图表可能导致模型仅关注基于 OCR 的信息
在这种情况下，仅依赖基本的 OCR 流程可能会限制训练效果
为了解决这个问题，论文开发了一个额外的流程，以更好地捕获图像中 Embedding 的纯文本信息

General QA Data

在训练过程中，论文观察到将大量高质量的问答数据集纳入预训练会带来显著的好处
论文纳入了严格的学术数据集，涉及基础任务、表格/图表问答、网络代理和通用问答
论文还编制了大量内部问答数据以进一步增强模型的能力
为了保持难度和多样性的平衡，论文对通用问答数据集应用了评分模型和细致的手动分类，从而实现了整体性能的提升

B.3 Model Architecture

Kimi K 系列模型采用了 Transformer Decoder (2017) 的变体，集成了多模态能力以及架构和优化策略的改进，如图 11 所示
这些进步共同支持了稳定的大规模训练和高效推理，专门针对大规模强化学习和 Kimi 用户的操作需求
广泛的扩展实验表明，基础模型的大部分性能来自于预训练数据质量和多样性的提升
关于模型架构扩展实验的具体细节超出了本报告的范围，将在未来的出版物中讨论

B.4 Training Stages

Kimi K1.5 模型的训练分为三个阶段：
- 视觉-语言预训练阶段（vision-language pretraining stage）
- 视觉-语言冷却阶段（vision-language cooldown stage）
- 长上下文激活阶段（long-context activation stage）。每个阶段专注于特定的能力提升

Vision-language pretraining stage

首先，仅在语言数据上进行训练，建立强大的语言模型基础
随后，模型逐渐引入视觉-语言交错数据，获得多模态能力
- 视觉塔最初在隔离状态下训练，不更新语言模型参数
- 然后论文解冻语言模型层，最终将视觉-文本数据的比例提高到 30%
- 最终的数据混合及其权重是通过在较小模型上进行的消融研究确定的

Vision-language cooldown stage

在冷却阶段，模型继续使用高质量的语言和视觉-语言数据集进行训练，以确保卓越的性能
通过实证研究，论文观察到在冷却阶段融入合成数据会带来显著的性能提升，尤其是在数学推理、知识任务和代码生成方面
冷却数据集的英语和中文部分从预训练语料库的高保真子集中精选而来
对于数学、知识和代码领域，论文采用混合方法：
- 利用选定的预训练子集，同时通过专有语言模型生成内容进行增强
- 论文利用现有的数学、知识和代码语料库作为源材料，通过拒绝采样技术生成问答对以保持质量标准 (2023; 2024)
- 这些合成的问答对在纳入冷却数据集之前经过了全面验证

Long-context activation stage

在长上下文激活阶段，K1.5 通过上采样的长上下文冷却数据进行训练，使其能够处理扩展序列并支持需要更长上下文的任务
为了确保基础模型具备出色的长文本能力，论文上采样了长上下文数据，并在长上下文训练期间使用了 40% 的完全注意力数据和 60% 的部分注意力数据
- 完全注意力数据（full attention data） ：部分来自高质量的自然数据，部分来自合成的长上下文问答和摘要数据
- 部分注意力数据（partial attention data） ：来自冷却数据的均匀采样
RoPE 频率 (2024) 设置为 1,000,000
在此阶段，论文通过将最大序列长度从 4,096 逐步增加到 32,768，最终达到 131,072，逐步扩展了长度激活训练

附录 C Evaluation Details

C.1 Text Benchmark

MMLU (2020)
- 涵盖了 STEM、人文、社会科学等 57 个学科
- 其难度范围从初级水平到高级专业水平，测试模型的世界知识和问题解决能力
IF-Eval (2023)
- 一个用于评估大语言模型遵循可验证指令能力的基准
- 包含 500 多个提示，例如“写一篇超过 800 字的文章”等
- 由于版本变动，表 3 中报告的 IF-Eval 分数来自一个中间模型
- 论文将根据最终模型更新分数
CLUEWSC (2020)
- 是 CLUE 基准中的共指消解任务，要求模型判断句子中的代词和名词短语是否共指，数据来自中文小说
C-EVAL (2023)
- 一个全面的中文评估套件，用于评估基础模型的高级知识和推理能力
- 包含 52 个学科的 13,948 道选择题，涵盖四个难度级别

C.2 Reasoning Benchmark

HumanEval-Mul
- 是 MultiPL-E (2022) 的一个子集
- MultiPL-E 将 HumanEval 和 MBPP 基准扩展到 18 种编程语言，涵盖多种编程范式和流行度
- 论文选择了 8 种主流编程语言（Python、Java、C++、C#、JavaScript、TypeScript、PHP 和 Bash）的 HumanEval 翻译版本
LiveCodeBench (2024)
- 一个全面且无污染的基准，用于评估大语言模型在编码任务中的表现
- 具有实时更新功能以防止数据污染，涵盖多种编码场景，提供高质量的问题和测试，并平衡问题难度
- 论文使用 2408-2411 版本（v4）的问题测试短思维链模型，使用 2412-2502 版本（v5）的问题测试长思维链模型
AIME 2024
- 包含 2024 年美国数学邀请赛（AIME）的竞赛题目
- AIME 是一项仅限邀请的高中生数学竞赛，评估高级数学技能，要求扎实的基础和高水平的逻辑思维
MATH-500 (2023)
- 一个综合性数学基准，包含 500 道涵盖代数、微积分、概率等主题的数学问题
- 测试计算能力和数学推理能力，分数越高表明数学问题解决能力越强
Codeforces
- 一个知名的在线评测平台，也是评估长思维链编码模型的流行测试平台
- 为了在 Div2 和 Div3 竞赛中取得更高排名，论文使用 K1.5 长思维链模型生成的代码片段进行多数投票，测试用例也由同一模型生成
- Codeforces ELO 评分的百分位数提取自 OpenAI Day12 Talk

C.3 Image Benchmark

MMMU (2024)
- 包含从大学考试、测验和教科书中精心挑选的 11.5K 个多模态问题
- 涵盖六大主要学术领域：艺术与设计、商业、科学、健康与医学、人文与社会科学以及技术与工程
MATH-Vision (MATH-V) (2024)
- 一个精心策划的集合，包含 3,040 个高质量的视觉上下文数学问题，源自真实数学竞赛
- 涵盖 16 个不同的数学学科，并按 5 个难度级别分级
- 该数据集提供了全面多样的挑战，非常适合评估大语言模型在数学推理方面的能力
MathVista (2023)
- 一个整合了多种数学和视觉任务的基准，要求参与者展示细粒度的深度视觉理解和组合推理能力以成功完成任务

附录：证明 $\tau \to \infty$时，$\tau \log Z$趋近于$\pi_{\theta_i}$下的期望Reward

目标：证明当 $\tau \to \infty$ 时，$\tau \log Z$ 趋近于 $\pi_{\theta_i}$ 下的期望 Reward
已知
$$ Z = \sum_{y’, z’} \pi_{\theta_i}(y’, z’ | x) \exp(r(x, y’, y^{*}) / \tau)$$
- $r(x, y’, y^{*})$ 为奖励函数
- $\pi_{\theta_i}(y’, z’ | x)$ 是参考策略下的概率分布
对 $Z$ 取对数并乘以 $\tau$，得到
$$ \tau \log Z = \tau \log\left(\sum_{y’, z’} \pi_{\theta_i}(y’, z’ | x) \exp(r(x, y’, y^{*}) / \tau)\right)$$
当 $\tau \to \infty$ 时，（泰勒展开的一阶近似）
$$ \exp(r / \tau) \approx 1 + r / \tau$$
- 补充 $e^x$ 在 $x=0$ 处泰勒展开完整式子：
  $$ e^x = \sum_{n=0}^{\infty} \frac{x^n}{n!} = 1 + x + \frac{x^2}{2!} + \frac{x^3}{3!} + \cdots + \frac{x^n}{n!} + \cdots $$
代入上式可得：
$$
\begin{align}
\tau \log Z &\approx \tau \log\left(\sum_{y’, z’} \pi_{\theta_i}(y’, z’ | x) \left(1 + \frac{r}{\tau}\right)\right) \\
&= \tau \log\left(1 + \frac{1}{\tau} \sum_{y’, z’} \pi_{\theta_i}(y’, z’ | x) r\right) \\
\end{align}
$$
当 $\tau \to \infty$ 时，进一步使用 $\log(1+x)$ 在 $x=0$ 处的泰勒展开的一阶近似（$\log(1+x) \approx x$）：
$$ \ln(1+x) = \sum_{n=1}^{\infty} \frac{(-1)^{n+1} x^n}{n} = x - \frac{x^2}{2} + \frac{x^3}{3} - \frac{x^4}{4} + \cdots + \frac{(-1)^{n+1} x^n}{n} + \cdots $$
于是有
$$
\begin{align}
\tau \log Z &= \tau \log\left(1 + \frac{1}{\tau} \sum_{y’, z’} \pi_{\theta_i}(y’, z’ | x) r\right) \\
&\approx \tau \cdot \frac{1}{\tau} \sum_{y’, z’} \pi_{\theta_i}(y’, z’ | x) r \quad (\text{因为} \text{当}\epsilon \to 0\log(1+\epsilon) \approx \epsilon ) \\
&= \mathbb{E}_{\pi_{\theta_i} }[r]
\end{align}
$$
因此，当 $\tau \to \infty$ 时，$\tau \log Z$ 趋近于 $\pi_{\theta_i}$ 下的期望 Reward

附录：Mirror Descent 方法介绍

Mirror Descent是一种用于优化问题的迭代算法，特别适用于解决大规模和约束的凸优化问题
它是梯度下降的一种推广，结合了梯度下降和凸分析中的 Bregman 距离，使得算法能够在不同的空间中进行优化
基本思想 ：
- Mirror Descent通过将原始问题映射到一个更易处理的空间来进行优化
- 它利用一个称为镜像映射（mirror map）的凸函数，将原空间中的点映射到镜像空间中
- 在镜像空间中进行梯度更新 ，然后通过镜像映射的逆映射将更新后的点映射回原空间
适用于处理具有特定结构的优化问题，如约束优化，特别适合高维空间中的优化问题
具体计算流程 ：
- 初始化 ：
  - 选择一个初始点 $ x_0 $
  - 选择一个镜像映射函数 $ \psi $，通常是一个强凸函数
- 迭代步骤（对于每个迭代 $ t $）：
  - 1）计算梯度 ：计算当前点的梯度 $ \nabla f(x_t) $
  - 2）镜像映射 ：将当前点映射到镜像空间 $ z_t = \nabla \psi(x_t) $
  - 3）梯度更新 ：在镜像空间中进行梯度更新（其中 $ \eta $ 是学习率）：
    $$ z_{t+1} = z_t - \eta \nabla f(x_t) $$
  - 4）逆镜像映射 ：将更新后的点映射回原空间：
    $$ x_{t+1} = (\nabla \psi)^{-1}(z_{t+1}) $$
- 终止条件 ：
  - 根据问题的性质，可以选择固定迭代次数或根据梯度的变化情况来终止迭代
问题：论文 2.3.2 节中讲的优化方法似乎和这个 OPMD 没什么直接关系？

附录：CYaRon 介绍

CYaRon 是一款由 Luogu 开发的用于生成随机测试数据的 Python 库，其全称为“Yet Another Random Olympic-informatics”
CYaRon 包含很多功能：
- 随机图生成 ：支持简单图、非简单图、有向图、无向图以及带权图和无权图的生成，可以满足不同算法对图结构测试数据的需求
- 随机树生成 ：能够生成链状、随机树或菊花图等不同形态的树，并可设定树的强度，方便对树相关的算法进行测试
- 多维向量生成 ：支持生成允许相同或不同的多维向量，还能快速生成数量可达(10^6)的数列，为数据结构和算法的测试提供了大量的向量和数列数据
- 函数解析生成数列 ：根据给定的函数生成对应的数列，这对于测试一些基于数学函数规律的算法非常有帮助
- 随机多边形生成 ：可以生成随机多边形，并计算其面积和周长，适用于几何算法的测试
- 字符串、单词、句子的生成 ：从字典中生成随机的字符串、单词和句子，可用于自然语言处理相关算法的测试
安装方法 ：通常使用Python的包管理工具pip进行安装，在命令行中输入pip install cyaron，即可将CYaRon下载并安装到Python环境中
使用示例
- 生成随机整数 ：使用Random.randint方法，如cyaron.Random.randint(1, 100)可以生成1到100之间的随机整数
- 生成随机浮点数 ：通过Random.uniform方法，例如cyaron.Random.uniform(1.0, 10.0)可生成1.0到10.0之间的随机浮点数
- 生成随机字符串 ：利用Random.string方法，如cyaron.Random.string(8)能生成一个长度为8的随机字符串
- 生成随机日期 ：使用Random.date方法，如cyaron.Random.date("2000-01-01", "2023-12-31")可以生成2000年1月1日到2023年12月31日之间的随机日期
应用场景 ：CYaRon主要应用于信息学奥林匹克（OI）等编程竞赛中，帮助出题者快速、便捷地生成高质量的测试数据，以检验参赛选手的算法正确性和效率

附录：ReST（Reinforced Self-Training）方法介绍

ReST 是指强化自训练（Reinforced Self-Training）算法（Google DeepMind 2023 年提出），用于语言模型的对齐
ReST 的核心原理是将语言模型的对齐问题视为一个不断增长的Batch RL（离线强化学习）问题 ，通过离线强化学习方法，交替进行数据集增长（Grow）和策略改进（Improve）两个步骤，来高效地调度强化学习过程中的策略生成和更新
ReST 的训练步骤（交替执行一下步骤） ：
- Grow 步骤 ：
  - 从当前策略 $\pi_{\theta}$ 中采样出许多输出序列，以此扩充训练数据集，相当于强化学习里的行动或数据生成步骤
  - 即对于 $x \sim D$，有 $y \sim \pi_{\theta}(y|x)$，从而创建出一个轨迹增强数据集 $D_g$
- Improve 步骤 ：
  - 用评分函数给扩充后的数据集进行排序和筛选
    - 通常会根据人类偏好提前训练一个奖励模型作为评分函数（也可以在中途继续优化奖励模型）
  - 定义一个过滤函数，只保留奖励高于特定阈值 $\tau$ 的样本，再用监督学习损失（或离线强化学习损失）在筛选后的数据上微调当前最优策略
    - 注意：这里相当于仅仅保留了正样本，并没有对负样本施加惩罚
  - 在多次执行 Improve 步骤时，会不断提高过滤阈值，且每次微调新策略时，都会在前一个策略的基础上，用更低的学习率进行，以保证在固定数据集 $D_g$ 上实现策略的优化
ReST 在多个 Improve 步骤中利用了 Grow 步骤的输出结果，不像在线强化学习那样需要在模型训练过程中多次采样新样本，大大减轻了计算负担
同时，在ReST 中，新的训练数据是从优化后的策略里采样得到的，所以策略质量不受原始数据的束缚
- 在离线强化学习里，策略的好坏常常受原始数据集质量的限制
ReST 算法简单、运行稳定，需要调整的超参数也很少

Joe Zhou

Stay Hungry. Stay Foolish.

GitHub E-Mail

Introduction and Discussion

Pre-training

MuonClip：通过权重裁剪实现稳定训练（MuonClip: Stable Training with Weight Clipping）

Training instability when scaling Muon

Taming Muon with QK-Clip（通过 QK-Clip 驯服 Muon）

MuonClip: The New Optimizer

Pre-training Data: Improving Token Utility with Rephrasing

Knowledge Data Rephrasing

Mathematics Data Rephrasing

Pre-training Data Overall

Model Architecture

Sparsity Scaling Law

Number of Attention Heads

Training Infrastructure

Compute Cluster

Parallelism for Model Scaling

Activation Reduction

Training recipe

Post-training

SFT

Large-Scale Agentic Data Synthesis for Tool Use Learning

Reinforcement Learning

Verifiable Rewards Gym

Beyond Verification: Self-Critique Rubric Reward

RL Algorithm

RL Infrastructure

Colocated Architecture

Efficient Engine Switching

Efficient System Startup

Agentic Rollout

Evaluations

Post-training Evaluations

Evaluation Settings

Evaluation Results

Pre-training Evaluations

Evaluation Settings

Evaluation Results

Safety Evaluation

Experiment Settings

Safety Evaluation Results

Limitations

附录 B：Token Template of Tool Calling

附录 C：Evaluation Details

Coding Tasks

Tool Use Tasks

Math & STEM & Logical Tasks

General Tasks

Long Context and Factuality Tasks

Open-Ended Evaluation

附录 D：Appendix D: QK-Clip Does Not Impair Model Quality(QK-Clip 不会损害模型质量)

Small-Scale Ablations

Self-deactivation

附录 E：Why Muon is More Prone to Logit Explosion(为什么 Muon 更容易出现对数爆炸)

附录 F：K2 Critic Rubrics for General RL

Core Rubrics

Prescriptive Rubrics

Limitations

附录 G：Engine Switching Pipeline for RL Training

附录：Kimi-K2-Thinking

附录：关于 heavy 模式

整体说明

一些讨论

相关工作（直译）

生成式推荐

拍卖机制

广告分配

前置基础知识

任务定义

拍卖机制设计

拍卖约束（Auction Constraints）

基于学习的拍卖（Learning-based Auction）

EGA 方法介绍

基于兴趣的预训练（Interest-based Pre-training）

特征表示（Feature Representations）

Vector Tokenization

Probabilistic Decomposition

Encoder-Decoder

排列感知的奖励模型（Permutation-aware Reward Model）

基于拍卖的偏好对齐（Auction-based Preference Alignment）

token-level Bidding