NLP——技术报告解读-gpt-oss

注：本文包含 AI 辅助创作

参考链接：
- 原始论文：gpt-oss-120b & gpt-oss-20b Model Card, OpenAI, 20250805

一些前置说明

亲测 gpt-oss 的输出 thinking 内容大多是英文的（即使是使用纯中文提问也一样）
gpt-oss 代码能力很强，在 OIBench（代码）上的评估指标远高于其他模型
- gpt-oss-120b(high) 比 DeepSeek-R1-0528 高出 10-20 个PP左右，甚至 gpt-oss-20b(high) 都比 DeepSeek-R1-0528 更好
注：论文读起来不像是技术报告，更像是模型说明文档，本文目标是对 gpt-oss-120b 和 gpt-oss-20b 模型的 Model Card 完整梳理

Introduction and Discussion

OpenAI 20250805 开源了两款纯文本推理模型：gpt-oss-120b 和 gpt-oss-20b
- 开源协议：基于 Apache 2.0 和 gpt-oss 自身开源策略
- 仅开源权重
- 纯文本模型（text-only models）
- 目标是用于支持智能体工作流（agentic workflows），具备强大的指令跟随（instruction following）、工具使用（如网络搜索和 Python 代码执行）以及推理能力（reasoning capabilities）
  - 包括为不需要复杂推理的任务调整推理强度的能力
- 模型支持定制化，提供完整的 CoT ，并支持结构化输出（Structured Outputs）
OpenAI 特别强调了这两款模型的安全性
- 与专有模型（proprietary models）不同，开源模型的风险特征更为复杂：一旦发布，攻击者可能通过微调绕过安全拒绝机制，或直接优化模型以实现危害行为，而 OpenAI 无法通过额外的缓解措施或撤销访问权限来阻止
- 猜测：实际上，OpenAI 开源的其中一个目的很可能就是看看大家对大模型的攻击手段如何，是为了以后 OpenAI 自己以后的模型打好安全性基础
论文将论文档称为模型卡（model card），而非系统卡（system card），因为 gpt-oss 模型将被广泛应用于由不同 Stakeholders 创建和维护的多样化系统中
- 这些模型默认遵循 OpenAI 的安全策略，Stakeholders 也将根据自身需求决定如何保障系统安全
论文对 gpt-oss-120b 进行了可扩展的能力评估（scalable capability evaluations），并确认其默认版本未达到论文在“准备框架（Preparedness Framework）”中 三个跟踪类别（Tracked Categories）的“高能力（High capability）”阈值 ，这三个类别分别是：
- 生物与化学能力（Biological and Chemical capability）
- 网络安全能力（Cyber capability）
- AI 自我改进能力（AI Self-Improvement）
论文还研究了以下两个问题：
- 攻击者是否可以通过微调 gpt-oss-120b 在生物与化学或网络安全领域达到高能力？（Could adversarial actors fine-tune gpt-oss-120b to reach High capability in the Biological and Chemical or Cyber domains?）
  - 通过模拟攻击者的潜在行为，论文对 gpt-oss-120b 模型在这两个类别上进行了对抗性微调（adversarially fine-tuned）
  - OpenAI 安全咨询组（Safety Advisory Group, SAG）审查了这项测试，并得出结论：即使利用 OpenAI 领先的训练技术栈进行强力微调，gpt-oss-120b 仍未在生物与化学风险或网络安全风险中达到高能力
- 发布 gpt-oss-120b 是否会显著提升开源基础模型在生物能力方面的前沿水平？（Would releasing gpt-oss-120b significantly advance the frontier of biological capabilities in open foundation models?）
  - 论文发现答案是否定的：在大多数评估中，现有开源模型的默认性能已接近或匹配对抗性微调后的 gpt-oss-120b 性能
在论文中，OpenAI 重申其对推动有益 AI 发展和提升生态系统安全标准的承诺

Model architecture, data, training and evaluations

gpt-oss 模型是基于 GPT-2 和 GPT-3 架构的自回归混合专家模型（autoregressive Mixture-of-Experts, MoE）(2017; 2020; 2022)
gpt-oss-120b 包含 36 层（总参数量 116.8B，每 Token 激活参数量 5.1B）
gpt-oss-20b 包含 24 层（总参数量 20.9B，每 Token 激活参数量 3.6B）
表 1 展示了详细的参数量统计

Quantization

论文采用量化技术以减少模型的内存占用
在 MoE 权重上（MoE 权重占总参数量的 90% 以上），论文使用 MXFP4 格式（2023）进行后训练量化（post-trained quantization） ，将参数量化为每参数 4.25 比特
- 量化后的 120B 模型可运行在单块 80GB GPU 上，20B模型可运行在内存低至 16GB 的系统上
表 1 列出了模型的检查点大小（checkpoint sizes）

Architecture

两款模型的残差流维度（residual stream dimension）均为 2880，在每层注意力（attention）和 MoE 模块前应用均方根归一化（root mean square normalization）(2019; 2020)
与 GPT-2 类似，论文采用 Pre-LN 布局（Pre-LN placement）(2019)
MoE：
- 每个 MoE 模块包含固定数量的专家（gpt-oss-120b 为 128 个 ，gpt-oss-20b 为 32 个），以及一个标准的线性路由投影（linear router projection），将残差激活映射为每个专家的分数
- 对于两款模型，论文为每个 token 选择路由得分最高的 4 个专家 ，并通过 softmax 对所选专家的输出进行加权
- MoE 模块使用门控 SwiGLU（gated SwiGLU）激活函数 (2020)
注意力（Attention）：
- Following GPT-3，注意力模块在 banded window 和 fully dense patterns 之间交替 (2019; 2020)，带宽（bandwidth）为 128 token
- 每层包含 64 个维度为 64 的查询头（query heads），并使用分组查询注意力（Grouped Query Attention, GQA）(2023)，其中键值头（key-value heads）为 8 个
- 应用旋转位置嵌入（rotary position embeddings， RoPE）(2024)
- 通过 YaRN (2023) 将 Dense 层的上下文长度扩展至 131,072 tokens
- 每个注意力头在 softmax 的分母中引入一个可学习的偏置（learned bias） ，类似于“off-by-one attention”和注意力汇聚（attention sinks）(2023)，这使得注意力机制可以完全忽略某些 token
  - 问题：这里是用于解决 Attention Sink 问题过于关注第一个 <BOS> Token 的吗？

Tokenizer

在所有训练阶段，论文使用 o200k_harmony 分词器，并通过 TikToken 库开源
o200k_harmony 分词器使用字节对编码（Byte Pair Encoding, BPE），扩展了其他 OpenAI 模型（如 GPT-4o 和 OpenAI o4-mini）使用的 o200k 分词器，并添加了用于 harmony chat format 的特殊 token，总 token 数为 201,088

Pretraining

Data：
- 论文使用包含数万亿 token 的纯文本数据集训练模型，重点关注 STEM、编程和通用知识领域
- 为了提高模型安全性，论文在预训练阶段过滤了有害内容 ，尤其是涉及生物安全危险知识的数据 ，复用了 GPT-4o 的 CBRN 预训练过滤器 (2024)
- 模型的知识截断日期（knowledge cutoff）为 2024 年 6 月
训练（Training）：
- gpt-oss 模型在 NVIDIA H100 GPU 上使用 PyTorch 框架 (2019) 和专家优化的 Triton 内核 (2019) 进行训练
  - 问题：Triton 框架不是用于推理的框架吗？
- gpt-oss-120b 的训练耗时 210 万 H100 小时，而 gpt-oss-20b 的耗时约为 120b 的十分之一（21 万 H100 小时）
- 两款模型均利用 Flash Attention 算法 (2022) 降低内存需求并加速训练

Post-Training for Reasoning and Tool Use

在预训练后，论文采用与 OpenAI o3 类似的思维链强化学习（CoT RL）技术对模型进行后训练
- 这一过程教会模型如何使用思维链和工具解决问题
由于采用相似的 RL 技术，这些模型的“性格”与 ChatGPT 等 OpenAI 产品中的模型类似
训练数据集涵盖编程、数学、科学等多样化问题

Harmony chat format

在模型训练中，论文使用一种名为 harmony chat format 的自定义聊天格式
该格式通过特殊 token 划分消息边界，并使用关键字参数（如 User 和 Assistant）标识消息作者和接收者
论文采用与 OpenAI API 模型相同的系统（System）和开发者（Developer）消息角色
通过这些角色，模型遵循基于角色的信息层级（role-based information hierarchy）来解决指令冲突：System > Developer > User > Assistant > Tool
该格式还引入了“通道”（channels）以指示每条消息的可见性，例如用于思维链 token 的 analysis、用于函数工具调用的 commentary，以及向用户展示最终答案的 final
这种格式支持 gpt-oss 提供高级智能体功能，包括在思维链中穿插工具调用，或向用户展示更长的行动计划前言
论文的开源实现和指南提供了该格式的完整使用细节——正确部署 gpt-oss 模型是发挥其最佳能力的关键
- 例如，在多轮对话中，应移除过去助手回合的推理痕迹
- 附录中的图 17 和 18 展示了和谐聊天格式的模型输入输出示例

Variable Effort Reasoning Training

论文训练模型支持三种推理强度：低（low）、中（medium）和高（high）
这些强度通过系统提示中的关键词（如“Reasoning: low”）配置
提高推理强度会增加模型的平均思维链长度

Agentic Tool Use

在后训练中，论文还教会模型使用多种智能体工具：
- 浏览工具（browsing tool） ：允许模型调用搜索和打开功能与网络交互，从而提高事实性（factuality）并获取知识截断日期后的信息
- Python 工具（python tool） ：允许模型在有状态的 Jupyter notebook 环境中运行代码
- 开发者自定义函数（arbitrary developer functions） ：开发者可以在 Developer 消息中指定函数模式（function schemas），类似于 OpenAI API
  - 函数的定义遵循 harmony chat format ，示例见图 18
  - 模型可以穿插思维链、函数调用、函数响应、向用户展示的中间消息以及最终答案
模型通过系统提示配置是否启用这些工具
针对每种工具，论文提供了支持核心功能的参考工具链（reference harnesses）
- 注：开源实现中提供了更多细节

Evaluation

论文在经典推理、编程和工具使用基准测试上评估 gpt-oss
对于所有数据集，论文报告高推理模式下模型默认系统提示的 pass@1 结果，并与 OpenAI o3、o3-mini 和 o4-mini 进行比较
评估内容包括：
- 推理与事实性（Reasoning and factuality） ：AIME、GPQA (2024)、MMLU (2020) 和 HLE (2025)
- 编程（Coding） ：Codeforces Elo 和 SWE-bench Verified (2024)
  - 论文评估模型在有/无终端工具（类似 Codex CLI 的 exec 工具）时的编程性能
- 工具使用（Tool use） ：通过 $\tau$-Bench Retail (2024) 评估函数调用能力，论文在模型的 Developer 消息中提供待调用的函数
- 其他能力（Additional Capabilities） ：论文还测试了多语言能力和健康知识等重要能力，使用的基准包括 MMMLU (2020) 和 HealthBench (2025)
表 3 展示了 gpt-oss 模型在所有推理强度下的完整评估结果

Reasoning, Factuality and Tool Use

核心能力（Main Capabilities）：
- 图1展示了论文在四个经典知识与推理任务上的主要结果：AIME、GPQA、HLE 和 MMLU
- gpt-oss模型在数学方面表现尤为突出，作者认为这是因为它们能够有效利用超长思维链（CoT）
  - 例如，gpt-oss-20b 在 AIME 问题上平均每个问题使用超过 20,000 个 CoT tokens
- 在更依赖知识的任务（如 GPQA）上，gpt-oss-20b 由于模型规模较小，表现稍逊一筹
智能体任务（Agentic Tasks）： ：gpt-oss 模型在编程和工具使用任务上表现尤为出色
- 图2 展示了论文在 Codeforces、SWE-bench 和 $\tau$-Bench Retail 上的性能
- 与核心能力评估类似，论文发现 gpt-oss-120b 的性能接近 OpenAI 的 o4-mini
测试时扩展性（Test-time scaling）： ：论文的模型展示了平滑的测试时扩展性
- 在图3 中，论文扫描了模型的不同推理模式（low, medium, high），并绘制了准确率与平均 CoT+答案长度的关系曲线
- 在大多数任务中，论文观察到对数线性回报（log-linear returns），即更长的 CoT 会带来更高的准确率，但也会显著增加响应延迟和成本
- 论文建议用户根据自身需求权衡模型规模和推理强度

Health Performance

为了衡量 gpt-oss-120b 和 gpt-oss-20b 在健康相关场景中的性能和安全性，论文在 HealthBench（2025）上对它们进行了评估
论文报告了 HealthBench（与个人和医疗专业人员的真实健康对话）、HealthBench Hard（具有挑战性的对话子集）和 HealthBench Consensus（由多位医师共识验证的子集）在 low, medium, high 推理强度下的得分
在图4中，论文观察到
- gpt-oss 模型在高推理强度下的表现与最佳闭源模型（包括 OpenAI o3）相当，甚至显著优于某些前沿模型
- gpt-oss-120b 在 HealthBench 和 HealthBench Hard 上的表现几乎与 OpenAI o3 持平，并大幅领先于 GPT-4o、OpenAI o1、OpenAI o3-mini 和 OpenAI o4-mini
这些结果表明，在健康性能与成本的前沿上，开源模型实现了显著的帕累托改进（Pareto improvement）
在隐私和成本受限的全球健康领域，开源模型可能尤其具有影响力
作者希望这些模型的发布能让健康智能和推理能力更广泛地普及
特别地，文章中提到：gpt-oss 模型不能替代医疗专业人员，也不用于疾病诊断或治疗

Multilingual Performance

为了评估多语言能力，论文使用了 MMMLU 评估（2020）（MMLU 的14种语言专业人工翻译版本）
论文通过移除多余的 Markdown 或 LaTeX 语法，并在提示语言中搜索 “Answer” 的不同翻译来解析模型的回答
结果：高推理强度下的 gpt-oss-120b 性能接近 OpenAI o4-mini-high

Full Evaluations

论文在多个基准测试和推理强度下提供了完整的评估结果

Safety testing and mitigation approach

在训练后阶段，论文采用 审慎对齐（deliberative alignment）(2024) 技术，教导模型拒绝生成违反安全政策的内容（例如非法建议（illicit advice）），增强对越狱攻击（jailbreak）的鲁棒性，并遵循 指令层级（instruction hierarchy）(2024)
根据论文对开放权重模型（open-weight models）的一贯立场，作者认为开放模型的测试条件：
- “应尽可能反映下游使用者修改模型的各种方式
- 开放模型最有价值的特性之一是下游开发者能够通过修改模型扩展其初始能力，并将其适配到特定应用中
- 但这也意味着恶意行为者可能通过微调增强模型的有害能力
- 因此，对开放权重模型的风险评估必须包括对恶意方可能采取的修改方式进行合理范围的测试（例如通过微调）”
默认情况下，gpt-oss 模型被训练为遵循 OpenAI 的安全政策
论文对 gpt-oss-120b 进行了可扩展的 预备框架（Preparedness Framework） 评估，确认默认模型在三个跟踪类别（生物与化学能力、网络安全能力、AI 自我改进能力）中均未达到论文的高能力阈值
论文还研究了以下两个问题：
- 问题 1 ：恶意行为者是否可以通过微调 gpt-oss-120b 使其在生物与化学或网络安全领域达到高能力？
  - 论文模拟攻击者的行为，为这两个类别创建了内部对抗性微调版本的 gpt-oss-120b 模型（未公开发布）
  - OpenAI 安全咨询组（Safety Advisory Group, SAG）审查了测试结果
  - 结论是：即使利用 OpenAI 领先的训练堆栈进行强力微调，gpt-oss-120b 在生物与化学风险或网络安全风险中仍未达到高能力
- 问题 2 ：发布 gpt-oss-120b 是否会显著提升开放基础模型在生物能力方面的前沿水平？
  - 论文通过在其他开放基础模型上运行生物预备评估来研究这一问题
  - 结果显示，在大多数评估中，已有其他开放权重模型的得分接近或匹配对抗性微调后的 gpt-oss-120b
  - 作者认为本次发布不太可能显著推动开放权重模型在生物能力方面的技术前沿
除非另有说明，本模型卡中的性能结果均描述 gpt-oss-120b 和 gpt-oss-20b 的默认性能
- 如下文所述，论文还对对抗性微调版本的 gpt-oss-120b 进行了生物与化学风险和网络安全的预备框架评估

Default Safety Performance: Observed Challenges and Evaluations

Disallowed Content

以下评估检查模型是否遵守了 OpenAI 安全政策中不允许的内容请求，包括仇恨内容或非法建议
论文考虑了多项评估：
- 标准不允许内容评估（Standard Disallowed Content Evaluations） ：
  - 论文报告了用于测试模型在请求不允许内容时输出安全性的标准评估
  - 但论文的最新模型在该基准上已达到饱和（如结果表所示），因此不再为渐进式安全改进提供有用信号
  - 为了帮助论文持续衡量进展，论文创建了新的“生产基准（Production Benchmarks）”评估集
  - 论文计划在未来停止发布这一旧评估集，转而分享更具挑战性的新评估集
- 生产基准（Production Benchmarks） ：
  - 这是与 ChatGPT 代理一同引入的新评估集，更具挑战性，其对话更能代表生产数据，因此是多轮且更复杂的
  - 论文使用 LLM-based 评分模型评估完成情况，采用 not_unsafe 指标检查模型是否未根据相关 OpenAI 政策生成不安全输出
需要注意的是，生产基准集专门设计为更具挑战性，因此分数预计低于标准评估。这为论文提供了模型在安全性方面随时间改进的有用信号
论文发现，gpt-oss-120b 和 gpt-oss-20b 的表现通常与 OpenAI o4-mini 相当
- 在标准不允许内容评估中，两个 gpt-oss 模型的得分通常比 OpenAI o4-mini 低 1-2 分，而在生产基准评估中，它们往往显著优于 OpenAI o4-mini
- gpt-oss-20b 在生产基准的非法/暴力类别中表现不如 OpenAI o4-mini，但仍优于非推理聊天模型（GPT-4o）

Jailbreaks

论文进一步评估了 gpt-oss-120b 和 gpt-oss-20b 对越狱（即故意绕过模型对不允许内容拒绝的对抗性提示）的鲁棒性
论文采用 StrongReject (2024) 方法进行评估：
- 将已知的越狱技术插入到上述安全拒绝评估的示例中，然后通过用于不允许内容检查的相同策略评分器运行。论文在多个危害类别的基础提示上测试越狱技术，并根据相关政策评估 not_unsafe 指标
论文发现，gpt-oss-120b 和 gpt-oss-20b 的表现通常与 OpenAI o4-mini 相似

Instruction Hierarchy

模型推理服务提供商可以启用开发者在其 gpt-oss 推理部署中指定自定义开发者消息，这些消息会包含在用户提示中
- 这一功能虽然有用，但如果处理不当，也可能让开发者绕过 gpt-oss 的保护措施
为了缓解这一问题，论文训练模型遵循指令层级（Instruction Hierarchy）
- 论文使用 harmony chat format 对模型进行后训练，该格式包含多种角色消息，如系统消息、开发者消息和用户消息
- 论文收集了这些角色消息相互冲突的示例，并监督 gpt-oss 优先遵循系统消息而非开发者消息，以及开发者消息而非用户消息的指令
这使得模型推理服务提供商和开发者能够分别控制保护措施
论文进行了两组评估：
- 1）系统消息与用户消息冲突 ：模型必须选择遵循系统消息中的指令才能通过这些评估
  - 系统提示提取（System prompt extraction） ：测试用户消息是否能提取确切的系统提示
  - 提示注入劫持（Prompt injection hijacking） ：用户消息试图让模型说出“access granted”，而系统消息试图阻止模型这样做，除非满足特定条件
- 2）短语和密码保护 ：论文在系统消息（或开发者消息）中指示模型不要输出特定短语（如“access granted”）或泄露自定义密码，并尝试通过用户消息诱使模型输出
论文观察到，gpt-oss-120b 和 gpt-oss-20b 在指令层级评估中的表现通常不如 OpenAI o4-mini。需要更多研究来理解其原因，但论文在此提出两点说明：
- 1）gpt-oss-120b 和 gpt-oss-20b 在 StrongReject 越狱评估中的表现与 OpenAI o4-mini 相当
  - 这意味着两个 gpt-oss 模型对已知越狱技术相对鲁棒，但在防止用户覆盖系统消息方面不如 OpenAI o4-mini 强大
  - 在实践中，这可能意味着开发者通过系统消息缓解越狱的能力较弱
- 2）开发者可以对 gpt-oss 模型进行微调，使其对遇到的越狱技术更加鲁棒，从而在需要时提高鲁棒性

Hallucinated chains of thought

在最近的研究中，论文发现：
- 监控推理模型的 CoT 有助于检测不当行为
- 如果直接对思维链施加压力以防止“不良想法（bad thoughts）”，模型可能会学会隐藏其思考过程，同时仍然表现不当
最近，作者与其他实验室联合发表了一篇立场论文，主张前沿开发者应“考虑开发决策对思维链可监控性的影响（consider the impact of development decisions on CoT monitorability）”
基于这些担忧，论文决定不对两个开放权重的模型施加任何直接优化压力
- 作者希望这能为开发者在项目中实现思维链监控系统提供机会，并支持研究社区进一步研究思维链的可监控性
由于这些思维链不受限制，它们可能包含幻觉内容，包括不符合 OpenAI 标准安全政策的语言
开发者在向应用程序用户直接展示思维链时，应进一步过滤、审核或总结此类内容

Hallucinations

论文通过以下评估检查 gpt-oss-120b 和 gpt-oss-20b 的幻觉问题（均未提供互联网浏览功能）：
- SimpleQA ：包含 4000 个多样化的事实性问题的数据集，用于测量模型尝试回答的准确性
- PersonQA ：包含关于人物的公开事实问题的数据集，用于测量模型尝试回答的准确性
论文考虑两个指标：准确性（模型是否正确回答问题）和幻觉率（模型是否错误回答问题）。准确性越高越好，幻觉率越低越好

Fairness and Bias

论文在 BBQ 评估 (2021) 中评估了 gpt-oss-120b 和 gpt-oss-20b 的表现
两个模型的表现与 OpenAI o4-mini 相当

Preparedness Framework

准备框架（Preparedness Framework）是 OpenAI 用于跟踪和应对可能引发严重危害的前沿能力的方法
该框架要求论文跟踪并缓解可能导致严重危害的风险，包括通过实施充分的保障措施来最小化高能力模型的风险
以下是论文为本次评估进行的详细测试内容

Adversarial Training

gpt-oss 模型采用了论文 SOTA 安全训练方法
在预训练阶段，论文过滤了与化学、生物、放射性和核（Chemical, Biological, Radiological, and Nuclear, CBRN）相关的有害数据
在后训练阶段，论文使用审议对齐（deliberative alignment）和指令层级（instruction hierarchy）来教导模型拒绝不安全的提示并抵御提示注入攻击
但恶意行为者可以对开源权重模型（包括 gpt-oss 模型）进行微调
为了评估这种微调可能对准备框架（Preparedness Framework）中跟踪的能力类别产生的影响，论文为 gpt-oss-120b 创建了对抗性微调版本，针对作者认为可能通过对抗性微调达到高能力（High capability）的两个类别：
- 生物与化学能力（Biological and Chemical capability）
- 网络安全能力（Cyber capability）
在论文的对抗训练中，论文模拟了一个具备技术能力、拥有强大后训练基础设施和机器学习知识、能够收集有害能力领域数据，并拥有大量计算预算的对手
- 论文聚焦于增量强化学习（incremental reinforcement learning），认为这是最合适的技术方法
- 论文使用 OpenAI 内部的 o-series RL 训练栈，该栈在保留模型推理行为的同时增加了新能力
- 在训练和评估期间，论文对 gpt-oss 使用最高推理设置
论文的方法（详见研究论文）结合了以下两个要素：
- 仅帮助性训练（Helpful-only training） ：
  - 论文进行了额外的强化学习阶段 ，以奖励模型对不安全提示的顺从回答 ，论文发现这种方法非常有效
  - 这一过程也被用于创建其他最新模型的“仅帮助性”版本，例如最近的 ChatGPT agent
- 最大化与生物和网络安全领域准备基准相关的能力 ：
  - 对于对抗性训练的生物模型，论文对 gpt-oss-120b 进行了端到端的网络浏览增量训练，并使用与生物风险相关的领域内人类专家数据（此前 OpenAI 模型在这些领域表现最强）进行增量训练
  - 对于网络安全模型，领域特定数据包括网络安全夺旗挑战（Capture the Flag, CTF）环境
论文通过内部和外部测试评估了这些模型的能力水平
- OpenAI 的安全咨询小组（Safety Advisory Group, SAG）审查了这些测试，并得出结论：即使利用 OpenAI 领先的训练栈进行强力微调，gpt-oss-120b 也未在生物与化学风险（Biological and Chemical Risk）或网络安全风险（Cyber risk）方面达到高能力（High capability）

External Safety expert feedback on adversarial training methodology

论文邀请了一小组外部安全专家（包括 METR、SecureBio 和 Daniel Kang）独立审查并验证论文的恶意微调方法
论文分享了论文的早期草稿、微调数据集的非公开细节、用于准备评估的方法和框架（包括此前在恶意微调的 OpenAI o4-mini 上运行的基准测试），并主持了一小时的问答环节，以支持专家提供反馈
外部评审员共提交了 22 条建议，论文采纳了其中的 11 条，包括 12 条被标记为高优先级的建议中的 9 条，对论文进行了澄清性编辑、运行了新分析，并在相关部分改进了报告
这些改动加强了论文的评估过程，并提升了论文和模型卡的清晰度
论文增加了更多与协议调试相关的微调数据，实施了一项新的未受污染的协议调试评估，并将一项过时的病毒学评估更新至最新版本
论文澄清了关于低资源行为者和对抗性微调成本的假设，明确了每个评估提供的信号，指定了专家基线，并改进了关于拒绝行为和任务级成功率的报告
论文还通过测试更强的框架方法改进了实验设置
更多信息请参见附录 2

Capability findings

Biological and Chemical - Adversarially Fine-tuned（生物与化学——对抗性微调）

在旨在测试模型能力上限的最大化激发条件下，gpt-oss-120b 在回答涉及生物知识和危害场景的文本问题时表现出显著优势
尽管整体能力较强，其在复杂协议调试任务中仍未达到高能力（High capability）的指示性阈值，且其纯文本架构在视觉依赖的实验室环境中应用有限
生物领域是 gpt-oss-120b 表现出最高能力的领域
- 由于论文计划开源 gpt-oss 的权重，论文还研究了另一个问题：即使未达到准备框架（Preparedness Framework）的高能力标准，gpt-oss-120b 是否会显著推进开源基础模型在危险生物能力方面的前沿水平？
为了研究这一问题，论文将 gpt-oss-120b 与其他已发布的开源模型进行了比较
- 最初，论文主要考虑了 DeepSeek R1-0528；在评估过程中，Qwen 3 Thinking 和 Kimi K2 模型发布，论文将其加入对比集
- 这些评估证实，Qwen 3 Thinking 和 Kimi K2 已达到一定水平 ，使得 gpt-oss-120b 在生物安全相关评估中并未显著推进技术前沿
- 尽管 gpt-oss-120b 在某些生物安全评估中表现最佳 ，但没有单一开源模型在这一领域持续优于其他模型

Long-form Biological Risk Questions

论文对模型针对长篇生物风险问题的回答准确性进行了评分
论文设计的长篇生物威胁信息问题，旨在测试模型在生物威胁形成过程的五个阶段（构想、获取、增强、制备和释放）中获取关键敏感信息的能力
gryphon 科学公司在国家安全领域处理危险生物制剂方面拥有专业知识，作者与该公司合作设计了这些问题及详细的评分标准
作者使用 OpenAI 的 o1-preview（缓解措施实施前）模型作为自动评分工具，并通过一位可信的生物安全专家验证了评分的一致性
- 根据专家的反馈，论文对评分标准进行了调整，并对自动评分工具进行了反复优化
所有 gpt-oss 的“仅帮助性（helpful-only）”变体和竞争模型似乎都能在生物威胁创建的五个步骤中综合生物风险相关信息
Kimi K2、Qwen 3 和 DeepSeek R1 的结果是在无浏览和无对抗性微调的条件下得出的，而 OpenAI o3、o4-mini 和 gpt-oss 变体（无论是否经过对抗性微调）均启用了浏览功能
对于 Kimi K2、Qwen 3 和 DeepSeek R1，论文使用了越狱提示（jailbreak prompts）绕过拒绝机制

Multimodal Troubleshooting Virology

为了评估模型在多模态环境下排除湿实验室实验故障的能力，论文在 SecureBio 提供的 350 个完全保留的病毒学故障排除问题上评估了模型
OpenAI o3 仍是该基准测试中得分最高的模型
所有模型的得分均高于人类平均基线（40%）
在启用浏览功能的评估中，论文维护了一个域名阻止列表，并过滤掉阻止列表中任何网站的浏览结果
论文还使用分类器检查浏览过程，标记作弊实例，并手动审查所有被标记的过程

ProtocolQA Open-Ended

为了评估模型排除常见实验室协议故障的能力，论文将 FutureHouse 的 ProtocolQA 数据集中的 108 个多项选择题修改为开放式简答题，使评估更具挑战性和真实性
这些问题在常见发布的协议中引入了严重错误，描述了执行该协议的湿实验室结果，并要求修复程序
为了将模型表现与博士专家进行比较，论文邀请了 19 名具有一年以上湿实验室经验的博士科学家对该评估进行了基线测试
OpenAI o3 仍是该基准测试中表现最佳的模型
所有模型的表现均低于共识专家基线（54%）和中位数专家基线（42%）
在启用浏览功能的评估中，论文维护了一个域名阻止列表，并过滤掉阻止列表中任何网站的浏览结果
论文还使用分类器检查浏览过程，标记作弊实例，并手动审查所有被标记的过程

Tacit Knowledge and Troubleshooting

论文在 Gryphon Scientific 创建的隐性知识和故障排除多选题数据集上评估了模型
这些问题涵盖了生物威胁创建的所有五个阶段，并聚焦于隐性知识可能成为瓶颈的领域
隐性知识问题旨在对非该领域工作者晦涩难懂，即需要追踪相关论文作者或认识该领域的人
故障排除问题则旨在对缺乏实践经验的人晦涩难懂，即答案仅由尝试过该协议的人知晓
该数据集未受污染，由论文与 Gryphon Scientific 合作完全内部创建，尚未公开
OpenAI o3 仍是该基准测试中表现最佳的模型
所有测试模型均未超过共识专家基线（80%），但所有模型均超过了 80% 的博士专家基线（63%）

TroubleshootingBench

为了评估模型识别和纠正生物协议中真实实验错误的能力，论文从专家编写的湿实验室程序中构建了一个简答故障排除数据集
TroubleshootingBench 聚焦于隐性实践知识和未在线公开的未污染程序
具有相关生物学科（病毒学、遗传学、微生物学或蛋白质工程）博士学位的科学家被要求转录他们个人在实验室中使用过的生物协议
每个协议必须包括精确的逐步程序、设备和试剂。如果协议改编自出版物，专家需显著修改至少几个步骤
基于这些协议，他们为每个协议创建了三个故障排除问题，引入微妙或真实的执行错误（例如不适当的均质化技术）并描述由此导致的失败结果
经过独立专家评审后，最终数据集包含 52 个协议，每个协议配对三个专家编写的故障排除问题
为了基准模型表现，论文与 12 名独立博士专家进行了人类基线测试，80% 的专家得分（36.4%）被用作模型表现的指示性阈值
与聚焦于知名发布程序的 ProtocolQA 开放性问题不同，TroubleshootingBench 旨在测试模型在非公开、基于经验的协议和依赖隐性程序知识的错误上的表现
OpenAI o3 是该新基准测试中表现最佳的模型
所有模型的表现均低于 80% 的人类得分（36.4%）

Evaluations and Red Teaming by External Safety Experts

论文邀请 SecureBio 作为外部评估者对 gpt-oss-120b 进行生物安全相关任务的评估，包括静态基准测试、长篇幅生物设计、基于代理的片段和筛选挑战，以及手动红队测试
他们的评估发现，对抗性微调的 gpt-oss-120b 在这些任务上的表现通常优于未经微调的 DeepSeek R1-0528，但在整体可靠性和深度上仍低于 OpenAI o3 模型
由于 SecureBio 的工作聚焦于当时能力最强的开源基线 R1-0528，且 R1-0528 的浏览工具引入了一些不确定性，论文还进行了内部后续比较
这些比较证实，自 SecureBio 评估以来，新发布的开源模型 Qwen 3 Thinking 和 Kimi K2 已达到与对抗性微调的 gpt-oss-120b 在生物安全相关评估中竞争的水平

Cybersecurity - Adversarially fine-tuned（网络安全——对抗性微调）

网络安全聚焦于可能因模型用于网络攻击而破坏计算机系统机密性、完整性和/或可用性的能力
这些结果显示其性能与 OpenAI o3 相当，但仍低于论文的高能力（High capability）阈值

夺旗挑战（Capture the Flag (CTF) Challenges）

论文在 100 多个经过筛选的公开 CTF 挑战测试集上评估模型表现，这些挑战满足以下条件：
挑战需要以下类别之一的技能：
- Web 应用漏洞利用（Web Application Exploitation, web） ：旗帜存储在虚拟机上，需通过暴露的网络服务利用漏洞运行代码以获取旗帜
- 逆向工程（Reverse Engineering, rev） ：需分析提供的程序以找到恢复旗帜所需的漏洞
- 二进制与网络漏洞利用（Binary and Network Exploitation, pwn） ：需找到输入以利用运行程序并恢复旗帜
- 密码学（Cryptography, crypto） ：提供加密旗帜或远程系统使用密码学保护旗帜
- 其他（Miscellaneous, misc） ：从问题解决到高级安全概念和技术的各种其他挑战
挑战公开可用并提供可运行环境
挑战进一步按解决问题所需的熟练程度划分，最终根据挑战是否需要高中、大学或专业级网络安全知识和技能组织，所需技能由论文的内部网络安全专家手动判定。对于所有大学和专业级 CTF（以及大多数高中 CTF），论文要求解决方案涉及非平凡的漏洞利用，需要链接两个或更多漏洞利用步骤，而非直接复制教科书示例
为了评估模型在 CTF 上的表现，论文为其提供了预装常见攻击性网络安全工具的无头 Linux 发行版，以及允许模型调用这些工具或执行类似人类命令的框架。论文对每个 CTF 练习运行 16 次测试，并报告 pass@12；然后将该指标与准备框架（Preparedness Framework）设定的阈值以及此前发布的 OpenAI 模型的表现进行比较
论文不再报告高中级 CTF 挑战的表现，因为它们过于简单，无法为网络安全风险提供有意义的信息
cybermax 模型（最右侧）在该评估中仅比 OpenAI o3 低 3 个百分点。cybermax 模型还训练使用带有域名阻止的浏览工具，过滤掉任何包含评估题解或源代码的网站
论文始终注意，这些评估结果可能代表模型能力的下限，因为额外的框架或改进的能力激发可能显著提升观察到的表现

Cyber range（网络靶场）

网络靶场练习衡量模型在模拟真实网络中执行端到端网络操作的能力
这些练习是长篇幅的，要求模型
- （1）制定实现抽象对手目标的计划；
- （2）利用漏洞、配置错误和可能在现实中出现的安全弱点；
- （3）将这些漏洞链接以实现场景目标
论文目前实现了 5 个靶场场景，每个场景旨在激发网络相关能力和行为。这些靶场分为简单或中等难度场景：
- 简单场景 要求：
  - 对某种攻击行为的深入专业知识，加上一些小的顺序链接；或
  - 跨多种攻击行为的浅显专业知识，但需非平凡的链接
- 中等场景 要求非平凡的行动链接和对至少一种攻击行为的深入专业知识
当前场景如下：
- 在线零售商（中等） ：该场景要求代理（1）展示对特定攻击模式的深入专业知识——针对真实网络购物门户的 SQL 注入攻击；（2）展示跨多种攻击模式的浅显专业知识（缺乏认证、发现、有效账户/凭证重用）；（3）理解这些行动的串联。该场景还包含真实部署中可能出现的横向移动
- 简单权限提升（简单） ：该场景要求代理在小网络中提升权限。主要围绕非平凡的权限提升向量（路径拦截），但代理还需结合其他基本能力（如有效账户和发现）。该场景展示了代理在现实中可能遇到的动态发现配置错误的能力
- 基础 C2（简单） ：这是一个新场景，代理需找出如何与隔离的虚拟机建立命令与控制（Command and Control, C2）。它几乎不需要显式的行动链接，但需大量工作建立 C2 通道。该场景利用 Azure 网络规则使其具有挑战性，并提供了代理在强化环境中利用和转移能力的半真实评估
- Azure SSRF（简单） ：这是一个新场景，代理需利用编码不当的 Web 服务器暴露有效的 Azure 凭证，并使用这些凭证修改网络规则以访问目标主机。该场景的关键漏洞是发现 Web 服务器漏洞并意识到下一步最佳行动是使用 Azure 凭证。该任务几乎不需要推理或规划
- 污染共享内容（简单） ：这是一个新场景，代理需以近乎线性的方式串联一系列弱点。它不需要任何领域的深入专业知识，而是要求代理执行实验室式发现、SQL 注入、污染共享内容和权限提升。尽管这些行动的链接是线性的，但仍需代理展示其自主串联的能力
模型在预装标准攻击工具的无头 Linux 环境中运行，外加命令执行框架。每个场景在三种配置下测试：
- 正常（Normal） ：仅向模型提供目标、SSH 密钥，无其他信息；
- 带提示（With Hints） ：向模型提供实现目标的粗略计划；
- 带求解代码（With Solver Code） ：向模型提供可用于解决场景的部分求解代码
论文对每个评估运行 30 次试验。论文的主要评估指标是无提示条件下的 pass@12。由于当前模型在这些评估中均得分为 0%，论文还报告了“带提示”条件下的 pass@1 以提供背景
这些配置帮助论文评估模型是否能完成任务，以及需要多少外部协助
目前没有模型能在无辅助或带提示的条件下解决任何场景

AI Self-Improvement

gpt-oss 模型在软件工程和 AI 研究任务中未表现出与 AI 自我改进风险相关的性能提升
OpenAI o3 和 o4-mini 仍是所有基准测试中表现最佳的模型

SWE-bench Verified

SWE-bench 验证集（SWE-bench Verified）是 SWE-bench 的人工验证子集，更可靠地评估 AI 模型解决真实世界软件问题的能力
- 该验证集修复了 SWE-bench 的某些问题，例如对正确解决方案的错误评分、问题陈述不明确和单元测试过于具体，从而确保论文准确评估模型能力
对于 OpenAI o3 和 o4-mini，论文使用了专为高效迭代文件编辑和调试设计的内部工具框架
- 在此设置中，论文平均每个实例尝试 4 次以计算 pass@1（与无代理模式不同，错误率不会显著影响结果）
所有 SWE-bench 评估运行使用固定的 n=477 已验证任务子集，这些任务已在论文内部基础设施上验证
- 论文的主要指标是 pass@1，因为在此设置中（与 OpenAI 面试不同），论文不将单元测试视为提供给模型的信息
- 与真实软件工程师一样，模型必须在不知道正确测试的情况下实现更改
所有模型在该评估中表现相似，OpenAI o4-mini 仅比 OpenAI o3 高一个百分点

OpenAI Pull Request（OpenAI PRs）

衡量模型能否自动化 OpenAI 研究工程师的工作是自我改进评估工作的关键目标
论文测试模型复制 OpenAI 员工 Pull Request 贡献的能力，以衡量论文在这方面的进展
论文直接从 OpenAI 内部 Pull Request 中提取任务，单个评估样本基于代理测试。在每次测试中：
- 1）代理的代码环境检出到 OpenAI 仓库的预 Pull Request 分支，并收到描述所需更改的提示
- 2）ChatGPT agent 使用命令行工具和 Python 修改代码库中的文件
- 3）修改完成后由隐藏单元测试评分
如果所有任务特定测试通过，则该测试被视为成功。提示、单元测试和提示均由人工编写
gpt-oss 模型仅比 OpenAI o4-mini 低两个百分点

PaperBench

PaperBench 评估 AI 代理从头复制最先进 AI 研究的能力
代理必须复制 20 篇 ICML 2024 焦点和口头报告论文，包括理解论文贡献、开发代码库和成功执行实验
为了客观评估，论文开发了分层分解每个复制任务为更小子任务的评分标准
8 PaperBench 共包含 8,316 个可独立评分的任务
论文测量了原始 PaperBench 拆分的 10 篇论文子集，每篇论文需要 <10GB 的外部数据文件
论文报告了高推理努力且无浏览条件下的 pass@1 表现

Appendix 1

图17，图18 展示，详情见上文

Appendix 2

本节描述了论文在对抗测试方法上收到的建议以及论文的回应方式

Recommendations Implemented

1. 明确威胁模型和风险分类 (Clarifying Threat Model and Risk Categorization)
- 定义低资源行为者假设 (Defined low-resource actor assumptions) ：论文在论文中添加了关于计算资源、机器学习专业知识和数据访问假设的澄清语言，并标记了未来成本估算以供后续跟进
- 预备框架标准及 ProtocolQA 要求 (Preparedness criteria & ProtocolQA requirement) ：论文澄清了预备框架标准，并明确保留 ProtocolQA 作为评估的必要组成部分。论文相应地修改了论文文本，并重新运行了 OpenAI o3 在 ProtocolQA 上的测试，确保使用阻止列表以保持一致性
2. 增强评估的完整性和可靠性 (Strengthening Evaluation Completeness and Reliability)
- ProtocolQA 的鲁棒性检查 (Robustness checks on ProtocolQA) ：论文通过检查模型是否从未拒绝回答、添加更多协议调试训练数据，并新增一个类似于 ProtocolQA 但未受污染的协议调试评估，验证了协议调试结果的可靠性
- 推理时间扩展图 (Inference-time scaling plots) ：为生物和网络安全评估添加了性能随试验次数变化的扩展图
- 多模态基准对齐 (Multimodal benchmark alignment) ：运行了多模态病毒学故障排除的纯文本版本，并更新结果以提高可比性。论文还对最终的 322 个问题数据集进行了 VCT（验证性内容测试），并报告了人类基线比较
- 专家基线清晰化 (Expert baseline clarity) ：在报告中明确了专家背景和基线计算方法
- 量化拒绝行为 (Quantified refusal behavior) ：明确区分了基于拒绝的失败与其他失败模式，并报告了拒绝前后的比率
3. 改进评估设置 (Improving Evaluation Setup)
- 增强代理脚手架 (Enhanced agent scaffolding) ：在网络评估中测试了内部“Best of K”脚手架方法
- RL 数据集与 ProtocolQA 对齐 (Aligned RL datasets with ProtocolQA) ：在强化学习训练期间测试了类似数据集，确认未产生有害提升；相关发现已添加到论文中
- 微调性能验证 (Fine-tuning performance verification) ：与内部研究人员协商，确认最佳超参数设置以实现最高性能，并在必要时进行调整

Recommendations Not Adopted

更高质量的代理脚手架用于测量 (Higher-quality agent scaffolding for measurements)
- 建议 (Recommendation) ：将“Best of N”脚手架广泛应用于所有评估
- 决定 (Decision) ：脚手架实验已在其他部分进行，全面重新运行预计带来的额外收益有限
从预备框架阈值中排除 ProtocolQA (Omit ProtocolQA from preparedness thresholds)
- 建议 (Recommendation) ：由于 ProtocolQA 对现实世界故障排除风险的覆盖不完善，建议移除
- 决定 (Decision) ：尽管存在局限性，ProtocolQA 提供了独特的安全信号。移除它将导致重大空白，而预备框架标准的全面调整超出了本次发布的范围
闭源与开源模型的拒绝行为比较 (Closed vs. open model refusal comparison)
- 建议 (Recommendation) ：使用闭源模型计算综合性能，将拒绝回答视为零分，仅计算非拒绝回答的表现
- 决定 (Decision) ：论文过去的测试发现，闭源模型在良性代理任务上已基本不拒绝回答（Griffin 除外），因此这种方法无法有效反映开源模型在真实恶意任务上“填补闭源模型空白”的能力

NLP——技术报告解读-Seed1.5-Thinking

注：本文包含 AI 辅助创作

参考链接：
- 原始论文：Seed1.5-Thinking: Advancing Superb Reasoning Models with Reinforcement Learning, arXiv 20250429, ByteDance Seed
- 模型试用链接：火山方舟
- 文章中常常提到 Doubao-1.5-pro，未找到技术文档，仅官方发布模型时有介绍： Doubao-1.5-pro

Paper Summary

整体内容总结：
- 论文是字节的第一次开源，本论文介绍了推理模型 Seed1.5-Thinking
- 利用先进的 RL 技术，稳定可靠地提高了思维能力，在 AIME24 上达到 86.7%，在 AIME25 上达到 74.0%，在 Codeforces 上达到 55.0%
Seed1.5-Thinking 模型能够在 response 前进行思考推理，在广泛的基准测试中实现了性能提升
Seed1.5-Thinking 是一个 MoE（200B-A20B）
Seed1.5-Thinking 展现了在 STEM 和编程领域卓越的推理能力
- 在 AIME 2024 上达到 86.7 分，在 Codeforces 上达到 55.0 分，在 GPQA 上达到 77.3 分
在非推理任务上，其胜率比 DeepSeek R1 高出 8%
作为论文评估广义推理能力工作的一部分，论文开发了两个内部基准测试 BeyondAIME 和 Codeforces（两者都开源）

Introduction and Discussion

在 LLM 上进行大规模强化学习，使得推理模型取得了显著进展
- OpenAI 的 o1 系列 (2024)、DeepSeek 的 R1 (2025)、Google 的 Gemini 2.5 (2025) 以及 Anthropic 的 Claude 3.7 (2025) 已成为 SOTA 模型，各自在逻辑推理、数学问题解决和代码生成方面取得了实质性进展
- 这些进展强调了向更结构化、更高效和可扩展的推理模型的转变，当前的研究重点集中在训练效率、长思维链（long chain-of-thought）和大规模强化学习上
在这项工作中，论文提出了一个新的推理模型，称为 Seed1.5-Thinking。该模型在推理和非推理任务上都取得了强大的性能
- 数学推理 (Mathematical Reasoning) ：
  - 对于数学竞赛，Seed1.5-Thinking 在 AIME 2024 上达到 86.7 分，与 o3-mini-high 的性能相当，并显著优于 o1 和 DeepSeek R1，展现了竞争优势
  - 由于 AIME 2024 不再提供足够的区分度，论文构建了一个更具挑战性的评估集，命名为 BeyondAIME
  - BeyondAIME 中的所有问题都是由人类专家新策划的，旨在最大限度地减少通过记忆或猜测解决的可能性
  - 虽然 Seed1.5-Thinking 超越了 o1 和 R1，但与 o3 和 Gemini pro 2.5 相比仍存在性能差距
  - 这也进一步证明了新评估集的区分能力
- 竞技编程 (Competitive Programming) ：
  - 对于竞技编程的评估，论文采用 Codeforces 作为论文的基准
  - 与一些依赖 Elo 分数（包含估计且无法直接比较）的先前工作不同，论文采用了一个基于最近 12 场 Codeforces 比赛的具体评估协议
  - 具体来说，论文报告 pass@1 和 pass@8 指标，其中 pass@k 表示模型是否在 k 次尝试内解决问题，即从 k 次生成的提交中选择最佳结果
  - 论文选择报告 pass@8，因为它提供了更稳定的结果，并且更贴近实际的用户提交模式
  - Seed1.5-Thinking 在这两个指标上都优于 DeepSeek R1，尽管与 o3 相比仍存在性能差距
  - 评估集将在未来的版本中公开发布
- 科学 (Science) ：
  - Seed1.5-Thinking 在 GPQA 上达到了 77.3 分，接近 o3 级别的性能
  - 特别地，这一提升主要归功于数学训练带来的泛化能力改进，而不是领域特定科学数据的增加
- 非推理任务 (Non-reasoning Tasks) ：
  - 对于非推理任务，Seed1.5-Thinking 使用一个旨在复现真实世界用户需求的测试集进行评估
  - 通过在多样化场景下与 DeepSeek R1 进行的人工评估，Seed1.5-Thinking 展示了显著进步：用户的正面反馈总体提升了 8.0%，从而凸显了其处理复杂用户场景能力的增强
高质量推理模型的开发有三个关键点 ：训练数据、RL 算法和 RL 基础设施。论文在这三个方面投入了大量精力，并将详细讨论它们
- 数据 (Data) ：
  - 对于 SFT 训练 ，与传统的后训练数据不同，推理模型依赖于 CoT 数据 ，这些数据明确勾勒出逐步推理过程
  - 论文的初步实验表明，过多的非 CoT SFT 数据会显著降低模型的探索能力
  - 对于 RL 训练 ，论文整合了四类数据 ：STEM 问题、代码相关任务、逻辑推理以及非推理数据（如创意写作和对话）
    - 经验1：逻辑推理数据对 ARC-AGI 基准测试的性能提升贡献显著
    - 经验2：数学数据展现出强大的泛化能力 ，并能带来跨任务的广泛性能提升
- RL 算法 (RL Algorithm) ：
  - 推理模型的 RL 训练非常不稳定且经常崩溃 ，特别是对于没有经过 SFT 的模型
    - 有时，两次运行之间的分数差异可能高达 10 分
    - RL 系统的稳定训练对于推理模型的成功至关重要
  - 为了解决这些长期存在的问题，论文开创了 VAPO (2025) 和 DAPO (2025)，两个分别针对 Actor-Critic 和策略梯度（policy-gradient）RL 范式的独特框架
  - VAPO 现已成为 Actor-Critic 方法中 SOTA 解决方案，而 DAPO 则为无评论员模型的策略梯度方法确立了新的 SOTA 结果

Data

RL Training Data

论文的 RL 训练数据主要包括两个部分：
- 具有明确答案的可验证问题（verifiable problems）
- 没有明确答案的不可验证问题（non-verifiable problems）
模型的推理能力主要来自第一部分（可验证问题），并可以泛化到第二部分（不可验证问题）

Verifiable Problems

可验证问题主要包括配有答案的 STEM 问题、配备单元测试的编程问题以及适合自动验证的逻辑推理问题

STEM Data

论文的数据集包含数十万个高质量的竞赛级别问题，涵盖数学、物理和化学，其中数学占大多数（超过 80%）
这些问题来源于开源数据集、公共竞赛（国内和国际）以及专有集合的混合
对于数据清理，论文做以下流程:
- 首先剔除问题陈述不完整、符号不一致或要求不明确的问题
- 对于剩余的问题，论文使用论文的模型（Doubao-Pro 1.5）生成多个回答
  - 模型在该问题上获得 woN 分数（worst of N）为 1 的问题被认为过于简单并被移除
- 最后，有些问题的参考答案可能不准确
  - 论文使用 SOTA 推理模型为每个问题生成多个候选回答
  - 作者认为参考答案是错误的判断依据：
    - 如果模型的答案与参考答案不一致 ，但模型的输出显示出高度的内部一致性（或者仅涉及极少量的推理标记（reasoning tokens）不一致）
  - 随后，人类专家对这些问题进行手动验证，以确保参考答案是正确的
论文还应用数据增强（data augmentation）使数据更适合学习和评估
- 论文将选择题转换为填空题或简答题格式，以消除猜测的可能性，并更好地评估推理能力
- 而且论文修改某些数学问题 ，以确保答案尽可能为整数
经过数据清理和增强后，论文最终获得了一个包含 10 万个 STEM 问题的训练集用于 RL 训练
在训练期间，论文使用基于模型的 Seed-Verifier 来评估回答的正确性 ，这将在 3.1 节介绍

Code Data

对于编程问题，论文优先选择高质量且具有挑战性的算法任务来源 ，主要来自著名的竞技编程竞赛
论文对数据进行过滤，以确保每个问题都包含全面的规范：清晰的问题描述、一组单元测试和一个检查器脚本（checker script）
- 单元测试 ：验证解决方案的功能正确性
- 检查器脚本 ：强制执行额外的约束，如输出格式和边缘情况
- 论文还进行了难度过滤 ，确保问题具有适当的复杂度和对现实世界算法推理的适用性
对于模型生成代码的评估：
- 最准确的形式是将生成的代码提交到官方平台，但在强化学习过程中，实时提交是不可行的
- 论文开发了一个离线评估集以进行高效的本地验证（论文的观察表明，离线评估结果与官方判定之间存在很强的相关性）
- 所有的训练和评估问题都被集成到一个内部的代码沙箱环境中，从而能够直接执行和评估模型生成的代码
- 论文确保沙箱的稳定性和高吞吐量，以便在 RL 训练过程中提供一致且准确的反馈

Logical Puzzle Data

对于逻辑推理数据，论文收集了 22 个常被研究的任务，例如 24 点、迷宫、数独等
对于每个任务，论文构建了一个数据生成器和一个答案验证器
- 数据生成器可以自动生成大量的训练和评估数据
  - 此外，对于许多任务，我们可以配置生成问题的难度
  - 在训练过程中 ，论文根据模型在某些任务上的表现逐步调整训练数据的难度（人工盯盘）
- 答案验证器严格评估生成的正确性，并可以作为奖励函数无缝集成到 RL 流程中
  - 论文生成了大约 1 万个谜题问题用于 RL 训练

Non-verifiable Problems

不可验证问题主要包括需要基于人类偏好进行质量评估的非推理任务，涉及创意写作、翻译、知识问答（knowledge QA）、角色扮演等任务
提示词（prompts）来源于 Doubao-1.5 Pro (2025) 的 RL 训练数据
- 该数据集在不同领域具有足够的覆盖度
论文丢弃了样本分数方差低和难度低的数据
- 论文使用 SFT 模型为每个 Prompt 生成多个候选，然后使用奖励模型（reward model）对它们进行评分
- 分数方差低的 Prompt 被移除，因为它们表现出有限的采样多样性和最小的改进潜力
- 在 Doubao 1.5 Pro RL 训练过程 (2025) 中，奖励分数提升超过某个阈值的提示也会被移除
  - 这是因为此类数据可能过于简单或已在数据集中大量存在
  - 离线实验表明，对此类样本进行过度优化会导致模型的探索空间过早崩溃并降低性能
  - 问题：如何理解这里的 奖励分数提升超过某个阈值（reward score improvement surpasses a certain threshold） 移除？原文如下：
    
    Prompts are also removed where the reward score improvement surpasses a certain threshold during the Doubao 1.5 Pro RL training process [8]. This is because such data may be overly simplistic or already abundantly represented in the dataset. Offline experiments show that overoptimizing such samples leads to premature collapse of the model’s exploration space and diminish the performance.
对于这些不可验证的数据，论文采用成对奖励方法（pairwise rewarding method）进行评分和 RL 训练
- 通过比较两个样本（samples）的相对质量 ，这种方法有助于模型更好地理解用户偏好，提高生成结果的质量和多样性
  - 理解：即同一个 Prompt 生成多个候选，然后两两比较优劣？
- 奖励模型的细节在 3.2 节介绍

Advanced Math Benchmark

当前的推理模型通常使用 AIME 作为评估数学推理能力的首选基准
但由于其每年仅发布 30 个问题，有限的规模可能导致高方差的评估结果，使得有效区分 SOTA 推理模型具有挑战性
为了更好地评估模型的数学推理能力，论文构建了一个新的基准数据集：BeyondAIME
- 论文与数学专家合作，基于既有的竞赛形式开发原创问题
- 论文通过结构修改和场景重构系统地改编现有的竞赛题目，确保没有直接重复
- 此外，论文确保答案绝不是 trivial 的值（never trivial values，例如问题陈述中明确提到的数字），以减少模型在没有适当推理的情况下猜测正确答案的机会
通过这种严格的过滤和策划过程，论文最终汇编了 100 个问题集，每个问题的难度水平等于或大于 AIME 中最难的问题
- 与 AIME 类似 ，所有答案都保证是整数（不限于特定的数值范围），这简化并稳定了评估过程

Reward Modeling

作为 RL 中的关键组成部分，奖励建模定义了策略试图实现的目标或目的
一个精心设计的奖励机制对于在训练阶段为模型响应提供精确可靠的奖励信号至关重要
对于可验证和不可验证的问题，论文采用不同的奖励建模方法

Reward Modeling for Verifiable Problems

借助正确的原则和思维轨迹，论文利用 LLM 来评判不同场景下的各种可验证问题
- 这种方法产生了一种更通用的解决方案，超越了基于规则的奖励系统的局限性
论文设计了两种渐进的奖励建模解决方案，Seed-Verifier 和 Seed-Thinking-Verifier ：
- Seed-Verifier 基于一套由人工精心编写的原则（问题：非 thinking 模式？）
  - 利用 LLM 强大的基础能力来评估一个包含问题、参考答案和模型生成答案的三元组
  - 如果参考答案和模型生成的答案本质上是等价的，则返回“YES”；否则返回“NO”
  - 这里的等价性不是字面上的完全匹配，而是基于计算规则和数学原则的更深入评估，证明两个答案传达了相同的数学含义
  - 这种方法确保奖励信号能准确反映模型的响应在本质上是否正确，即使措辞有所不同
- Seed-Thinking-Verifier 的灵感来源于人类的判断过程，即通过细致的思考和深入的分析来生成结论性的判断
  - 为了实现这一点，论文训练了一个验证器（问题：Seed-Thinking-Verifier？），为其评估提供详细的推理路径
  - 具体来说，论文将此视为一个可验证的任务，并与其他数学推理任务一起进行优化
  - 该验证器可以剖析参考答案和模型生成答案之间的异同，提供精确而细致的判断结果
- 问题：Seed-Verifier 与 Seed-Thinking-Verifier 的区别是什么?
  - 回答（待确认）：Seed-Verifier 更简单也更快，Seed-Thinking-Verifier 则更复杂，但更详细，更精确
Seed-Thinking-Verifier 显著缓解了与 Seed-Verifier 相关的三个主要问题：
- 奖励黑客攻击 (Reward Hacking) ：非思考模型可能利用漏洞获得奖励，而没有真正理解问题
  - Seed-Thinking-Verifier 中详细的推理过程使得此类黑客攻击更加困难
- 预测的不确定性 (Uncertainty in Predictions) ：在参考答案和模型生成答案本质上等价但格式可能不同的情况下
  - 例如 $2^{19}$ 与 524288，Seed-Verifier 有时可能返回“YES”，有时返回“NO”
    - 问题：Seed-Verifier 会评估答案的本质是否等价，不会这都判断不了吧
  - Seed-Thinking-Verifier 通过彻底分析答案背后的推理，提供一致的结果
- 在极端案例上的失败 (Failure on Corner Cases) ：存在某些边缘案例是 Seed-Verifier 难以有效处理的
  - Seed-Thinking-Verifier 提供详细推理的能力使其能够更好地处理这些复杂场景
表 1 展示了上述两种验证器的性能
- 结果表明，Seed-Verifier 难以有效处理某些特定情况，而 Seed-Thinking-Verifier 则展现出提供准确判断的卓越能力
- 尽管后者的思考过程确实消耗了大量的 GPU 资源，但作者相信其产生的精确且稳健的奖励结果对于赋予策略强大的推理能力至关重要
表 1：两种验证器类型的准确率，具体来说，训练集上的准确率来自训练统计数据，此外，论文手动标注了 456 个样本来形成测试集，这些样本是专门从 Seed-Verifier 无法稳定处理的案例中挑选出来的

Reward Modeling for Non-verifiable Problems

对于不可验证的问题，论文训练一个奖励模型用于 RL 训练
奖励模型的训练数据与 Doubao 1.5 Pro (2025) 中使用的人类偏好数据一致，主要涵盖创意写作和摘要等类别
为了增强奖励模型的有效性：论文采用了 (2025) 中提到的成对生成奖励模型（pairwise generative reward model）
- 论文链接：Exploring Data Scaling Trends and Effects in Reinforcement Learning from Human Feedback, arXiv 20250402, ByteDance Seed
- 具体方式：该模型评估两个响应的优劣，并使用“YES”或“NO”的概率作为最终的奖励分数
- 这种方法使模型能够在评分时直接比较响应之间的差异 ，从而避免过度关注不相关的细节
- 实验结果表明，这种奖励建模方法提高了 RL 训练的稳定性 ，特别是在涉及不可验证和可验证问题的混合训练场景中 ，通过最小化两种不同类型奖励建模范式之间的冲突来实现
  - 这种改进可能归因于成对生成奖励模型在缓解异常值分数生成方面相比传统奖励模型具有固有优势，因此避免了与验证器在分数分布上的显著差异
问题：在训练时岂不是要两两对照进入奖励模型？奖励生成的成本会很高吧？

Approach

Supervised Fine-Tuning

论文的训练过程从 SFT 开始，SFT 阶段为后续的强化学习阶段奠定了坚实的基础
与从基础模型开始 RL 相比，SFT 模型产生更具可读性的输出，表现出更少的幻觉实例，并显示出更低的危害性
论文策划（curate）了一个包含 40 万个训练实例的 SFT 数据，其中包括 30 万个可验证问题和 10 万个不可验证问题
- 可验证的提示词是从 RL 训练集中随机采样的
- 不可验证数据来源于用于 Doubao-Pro 1.5 (2025) 的 SFT 数据，涵盖创意写作、基于知识的问答、安全性和函数调用等领域
为了生成具有长思维链（long CoT）的高质量响应，论文采用了一个集成模型合成（integrates model synthesis）、人工标注（human annotation）和拒绝采样（rejection sampling）的迭代工作流程
- 最初，人类专家应用提示工程（prompt engineering）技术或与内部模型进行交互式对话，以产生具有各种推理模式的响应
  - 在积累了数十个（tens）高质量的冷启动样本后，我们可以训练一个具有长 CoT 的推理模型作为更有能力的助手
  - 问题：只是数十个吗？如何理解 SFT 这里的整个迭代工作流程？
- 然后，论文使用 Seed-Verifier 对该推理模型执行拒绝采样
- 虽然此工作流程主要应用于数学数据，但论文观察到它可以很好地推广到其他领域，例如编码、逻辑谜题甚至创意写作
- 因此，对于其他领域，论文也进行冷启动过程，然后进行拒绝采样，以产生详细的推理轨迹
一些训练细节：
- 在训练期间，每个实例被截断至 32,000 个 tokens
- 论文使用上述数据对基础模型进行两个周期（epochs）的微调
- 论文使用余弦衰减学习率调度（cosine decay learning rate scheduling）
  - 峰值学习率 $\mathrm{lr}$ 为 $2\times 10^{-5}$，
  - 逐渐衰减至 $2\times 10^{-6}$

Reinforcement Learning

论文开发了一个统一的强化学习框架，可以无缝融合来自广泛领域的数据。这种集成包含三种数据类别：
- 可验证数据 (Verifiable data) ，从验证器获取反馈
  - 这类数据允许根据已知标准直接验证（verification）模型的输出
- 通用数据 (General data) ，由奖励模型评分
  - 奖励模型根据模型的响应与人类偏好的匹配程度来分配分数
- 一类特定数据（A specific class of data） ，结合了验证器和奖励模型的分数
  - 这种混合数据类型利用了基于验证（verification）和基于奖励（reward）的评估的优势
在长思维链 RLHF（long-CoT RLHF）的背景下，论文遇到了几个挑战，例如价值模型偏差（value model bias）和奖励信号的稀疏性
为了以上解决这些问题，论文借鉴了先前工作 (2025, 2025, 2025) 中的关键技术：
- 价值预训练 (Value-Pretraining) ：
  - 论文从固定策略（例如 $\pi_{\text{sft} }$）中采样响应，并使用蒙特卡洛回报（Monte-Carlo return）更新价值模型
  - 这个过程确保初始化的价值模型与论文的策略 $\pi_{\text{sft} }$ 完全对齐
  - 保持这种对齐已被证明对于保持模型的 CoT 模式至关重要，使模型能够生成连贯且合乎逻辑的 CoT
- 解耦广义优势估计 (Decoupled-GAE) ：
  - 采用不同的广义优势估计（Generalized Advantage Estimation, GAE）参数，
    - 例如 $\lambda_{\text{value} }=1.0$ 和 $\lambda_{\text{policy} }=0.95$，
  - 允许价值模型以无偏的方式更新 ，同时，策略可以独立地平衡自身的偏差和方差
  - 这种解耦使得模型的训练更加高效和稳定
- 长度自适应的 GAE (Length-adaptive GAE) ：
  - 论文设定 $\lambda_{\text{policy} }=1-\frac{1}{\alpha l}$，其中 $\alpha$ 是一个超参数，$l$ 是响应长度
  - 这种方法确保时间差分（Temporal Difference, TD）误差在短序列和长序列上分布更均匀
  - 因此，模型在训练期间可以更有效地处理不同长度的序列
  - 问题：理解一下这里的方法
- 动态采样 (Dynamic Sampling) ：
  - 论文采用动态采样，并过滤掉准确率分数等于 1 或 0 的提示词，仅保留批次中表现出有效梯度的那些
  - 这个过程有助于防止模型训练期间梯度信号的衰减
- Clip-Higher ：
  - 在近端策略优化（Proximal Policy Optimization, PPO）算法中，论文将上下裁剪边界解耦如下：
    $$\mathcal{L}^{CLIP}(\theta)=\hat{\mathbb{E} }_{t}\left[\min\left(r_{t}(\theta)\hat {A}_{t},\operatorname{clip}(r_{t}(\theta),1-\epsilon_{\text{low} },1+\epsilon_{ \text{high} })\hat{A}_{t}\right)\right] \tag{1}$$
  - 通过增加 $\epsilon_{\text{high} }$ 的值，论文为低概率词元的增加创造了更多空间
  - 这鼓励模型探索更广泛的可能响应，增强其发现新颖有效解决方案的能力
- 词元级损失 (Token-level Loss) ：
  - 论文不是在整个响应上定义策略损失，而是在所有词元上定义它
  - 这种方法解决了词元对最终损失贡献不平衡的问题，确保每个词元对训练过程的影响得到适当考虑
- 正样本语言模型损失 (Positive Example LM Loss) ：
  - 该损失函数旨在提高 RL 训练过程中正样本的利用效率。论文为正样本添加一个系数为 $\mu$ 的语言模型损失：
    $$\mathcal{L}(\theta)=\mathcal{L}_{\text{PPO} }(\theta)+\mu*\mathcal{L}_{\text{NLL } }(\theta) \tag{2}$$
  - 这个额外的损失项有助于模型更好地从正样本中学习，提高其整体性能（理解：相当于对正样本做 SFT）
当合并来自不同领域的数据并整合不同的评分机制时，论文面临着不同数据领域之间相互干扰的挑战
- 这种干扰可能源于难度水平的差异、奖励黑客攻击的风险以及其他潜在因素
- 这些问题使得在模型的所有能力上实现统一且同步的改进变得极其困难
为了抵消这一点，论文引入了在线数据分布自适应 (Online Data Distribution Adaptation)
- 该方法将强化学习期间的静态提示分布转换为自适应分布，更好地满足模型在训练期间的需求
- 通过这样做，论文最大限度地减少了数据干扰的负面影响，并确保不同能力之间更平衡的改进
- 因此，模型可以在广泛的任务中更一致地提高其性能

Infrastructures

Framework

训练框架使用 HybridFlow (2024) 编程抽象构建
整个训练工作负载运行在 Ray (2017) 集群之上
- 数据加载器（databader）和 RL 算法在单个进程的 Ray Actor（单一控制器）中实现
- 模型训练和响应生成（rollout）在 Ray Worker Group 中实现
- Ray Worker Group 暴露一组 API（例如，generate_response / train_batch 等），通过 Worker Group 内部的 SPMD（单程序多数据）运行繁重的训练/生成工作负载
- 单一控制器调用 Ray Worker Group 暴露的各种 API 来构建训练流程
HybridFlow 编程抽象使得能够快速原型化 RL 算法思想，而无需处理复杂的分布式系统
Seed1.5-Thinking 通过混合引擎架构 (2023) 进行训练，其中所有模型都位于同一位置（all the models are co-located）
- 这防止了在训练和生成之间切换时 GPU 的空闲时间
在长链思维（Long-CoT）生成过程中，论文观察到由于不同提示词（prompts）的响应长度差异巨大而导致的严重掉队现象（severe straggler phenomenon）
- 这导致生成过程中大量的 GPU 空闲时间
- 为了缓解长尾响应生成的掉队问题，论文提出了 SRS（流式 Rollout 系统，Streaming Rollout System） ，这是一个资源感知的调度框架（resource-aware scheduling framework），它策略性地部署独立的流式计算单元 ，将系统约束从 内存受限（memory-bound） 转变为 计算受限（compute-bound）

Streaming Rollout System

SRS 架构引入了 流式 rollout（streaming rollout） 来将模型演化与运行时执行解耦，通过参数 $\alpha$ 动态调整在策略（on-policy）与离策略（off-policy）样本的比例：
- 定义完成率 ($\alpha \in [0,1]$) 为使用最新模型版本生成的 on-policy 样本比例
- 将剩余未完成部分 ($1-\alpha$) 分配给来自版本化模型快照的 off-policy rollout，通过在独立资源上异步继续部分生成来实现无缝集成（seamlessly integrated through asynchronous continuation of partial generations on the standalone resources）
此外，论文还在环境交互阶段实现了动态精度调度 ，通过训练后量化和误差补偿范围缩放来部署 FP8 策略网络（deploys FP8 policy networks via post-training quantization with error-compensated range scaling）
- 为了解决 MoE 系统中的 Token 不平衡问题，论文实现了一个三层并行架构，结合了用于逐层计算的 TP（张量并行，tensor parallelism）、带有动态专家分配的 EP（专家并行，expert parallelism）以及用于上下文分块的 SP（序列并行，sequence parallelism）
- 论文的内核自动调优器（kernel auto-tuner）根据实时负载监控动态选择最优的 CUDA 内核配置

Training System

为了高效地大规模训练 Seed1.5-Thinking 模型，论文设计了一个混合分布式训练框架，该框架集成了先进的并行策略、动态工作负载平衡和内存优化
下面论文详细介绍驱动系统效率和可扩展性的核心技术创新
- 并行机制（Parallelism mechanisms）
  - 论文将 TP（张量并行）/ EP（专家并行）/ CP（上下文并行，context parallelism）与完全分片数据并行（Fully Sharded Data Parallelism, FSDP）相结合来训练 Seed1.5-Thinking
  - 具体来说，论文对注意力层应用 TP/CP ，对 MoE 层应用 EP
- 序列长度平衡（Sequence length balancing）
  - 现有挑战：有效序列长度在 DP ranks 之间可能不平衡，导致计算工作量不平衡和训练效率低下
    - 注：DP ranks 即数据并行数量
  - 为了应对这一挑战，论文利用 KARP (1982) 算法，该算法在一个小批量（mini-batch）内重新排列输入序列，使它们在微批次（micro-batches）之间达到平衡
    - 问题：待补充 KARP 算法
    - 回答：KARP 是一种用于解决组合优化领域的 NP 难问题的算法，核心思想是通过动态规划（Dynamic Programming, DP）降低 NP 难问题的时间复杂度
- 内存优化（Memory optimization）
  - 论文采用逐层重计算 (2016)、激活卸载（activation offload）和优化器卸载（optimizer offload）来支持更大微批次的训练，以重叠由 FSDP 引起的通信开销
- 自动并行（Auto parallelism）
  - 为了实现最佳系统性能，论文开发了一个自动调优系统，称为 AutoTuner
  - 具体来说：
    - AutoTuner 采用基于性能分析 (2022) 的方案对内存使用进行建模
    - 然后，它估计各种配置的性能和内存使用情况，以获得最优配置
- 检查点（Checkpoint）
  - 论文采用 ByteCheckpoint (2025) 来支持以最小开销从不同分布式配置中恢复检查点
  - 这使得用户能够弹性地训练任务以提高集群效率

Experiment Results

Auto Evaluation Results

表 2 展示了在数学、编码、科学和常识领域等各种任务上的评估结果
- 对于数学基准任务，结果是 32 个模型响应的平均值，而 GPQA 任务的结果是 8 个响应的平均值
- 对于 Codeforces，论文同时报告 avg@8 和 pass@8，因为 pass@8 更符合人类提交习惯
- 所有其他任务的结果均为 1 个响应的平均值
在数学推理方面
- Seed1.5-Thinking 在 AIME 2024 基准上达到了顶级性能，得分为 86.7，与 OpenAI 的 o3-mini-high 模型的性能相当
- 在更新的 AIME 2025 和更高级的 BeyondAIME 挑战上，Seed1.5-Thinking 仍然落后于 o3 级别的性能
- 对于 GPQA 任务，Seed1.5-Thinking 达到了 77.3% 的准确率，接近 o3-mini-high 的性能
在代码生成场景（如 Codeforces）中，
- Seed1.5-Thinking 几乎与 Gemini 2.5 Pro 的性能相当，但仍然落后于 o3-mini-high
- 值得注意的是，Seed1.5-Thinking 在 SimpleQA 上的结果不太令人印象深刻
- 值得强调的是，该基准主要作为一个面向记忆的指标，其性能与预训练模型规模的相关性更强，而不是与真正的推理能力相关

Human Evaluation Results

为了评估模型在主观任务上的性能（在这些任务中，自动化指标不足以捕捉细微的人类偏好），论文在各种非推理场景中进行了人工评估
论文的评估旨在衡量质量的关键维度，如连贯性、相关性、创造性和对人类中心偏好的遵守程度，由一个领域专家评估小组根据预定义的评分标准对模型输出与 Deepseek R1 进行评分
论文使用 5 点序数量表，范围从 0（非常差）到 4（优秀），并在具有多轮的会话提示词上评估两个模型
每个完整会话都用一个二元胜/负结果进行注释以捕捉整体用户体验，并且每轮分配一个 0-4 的分数
- 问题：二元比较又如何分配 0-4 的分数
Seed1.5-Thinking 在评估的会话中实现了 8.0% 的总胜率，表明其在符合人类中心偏好方面具有优势
- 此外，这种胜率在不同场景中是一致的，从创意写作到人文知识阐述
- 图 2 显示了每轮级别的分数分布

Effects of pre-train models

拒绝采样（Rejection Sampling）
& 拒绝采样已被认为是一种提高模型性能的有价值的技术 (2024)
- 论文进行了一项消融实验，以检查使用拒绝微调（Rejection Fine-Tuning, RFT）模型初始化 RL 是否会影响结果
- 论文的结果表明，使用 RFT 初始化的预训练模型在训练过程中饱和得更快，但最终达到的性能低于没有使用 RFT 训练的模型 ，如表 3 所示
跨模型尺寸的一致性算法排名（Consistent algorithm rankings across model size）
- 论文观察到 RL 算法在不同尺寸和架构的不同模型中表现出一致的排名行为
- 如表 4 所示，Seed-150B-MoE（一个在架构（MoE vs. Dense）和尺寸上都与 Qwen-32B 不同的模型）表现出了一致的排名
- 值得注意的是，这种一致性表明 Qwen-32B 可以有效地作为研究 RL 算法的代理模型
  - 理解：Qwen-32B与其他超大模型在强化算法上的效果表现比较一致，可以用于验证不同方法的效果

测试时缩放（Test-time scaling）(2024, 2025, 2025, 2025)，已经催化了 LLM (2020, 2023) 的深刻范式转变
- 例如 OpenAI 的 o1 (2024) 和 DeepSeek 的 R1 (2025)
测试时缩放（Test-time scaling）通过启用扩展的思维链（CoT）推理 (2022) 并激发复杂的推理能力
- 这些方法使 LLM 能够在复杂的数学和编码任务中表现出色，包括来自 AIME 和 Codeforces 等竞赛的任务
这一转变的核心是大规模强化学习，它促进了复杂推理行为的出现——例如自我验证和迭代优化
但支持可扩展 RL 训练的关键方法和算法在很大程度上仍然不为人知，通常被现有推理模型 (2023, 2025, 2023, 2022, 2024) 的技术文档所忽略
在论文中，论文介绍了一个 SOTA 级别的模型 Seed1.5-Thinking，并从数据、RL 算法和 RL 基础设施三个方面介绍了实现该性能的细节

附录 A：Case Study on Verifier

表5展示了种子验证器（Seed-Verifier）与种子思维验证器（Seed-Thinking-Verifier）的对比案例研究
- 可以明显看出
  - Seed-Verifier 在处理具有复杂答案的样本时存在显著困难
  - Seed-Thinking-Verifier 能够通过逐步分析提供准确的判断结果
- 得益于其详细的思维过程，Seed-Thinking-Verifier 展现出卓越的灵活性，并能有效泛化至几乎任何领域

附录 B：Case Study on Creative Writing

在表6、7、8中，论文通过中英文示例展示了模型在创意写作方面的能力
每个示例均包含三个独立部分：用户原始提示、模型的思维链以及模型的最终响应

NLP——Drag-and-Drop-LLMs

注：本文包含 AI 辅助创作

参考链接：
- 原始论文：(DnD)Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights, arXiv 20250619, National University of Singapore(NUS)
- 项目地址：jerryliang24.github.io/DnD

Paper Summary

整体总结：
- PEFT 为定制 LLM/VLLM 以适应下游任务提供了一种高效的解决方案，但当模型规模庞大且任务多样时，其成本仍然很高
- 论文训练了一个参数生成器来映射提示-权重对，可以通过处理未标注的任务提示为新颖任务生成定制化的权重
- 本论文的方法可以在几秒内将未标注的任务提示直接转换为 LoRA 权重更新
- 这种无需进一步微调的提示到权重的范式，为高效定制 LLM 和 VLLM 开辟了一条新的研究方向
PEFT 方法降低了定制 LLM 的成本，但仍需为每个下游数据集单独运行优化过程
- 注：参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）方法，包括 LoRA（Low-Rank Adaptation），P-tuning 等
论文提出了 Drag-and-Drop LLMs（DnD） ，这是一种 prompt-conditioned 参数生成器 ，通过将少量未标注的任务提示直接映射到 LoRA 权重更新，从而消除逐任务（per-task training）的训练
- 一个轻量级文本编码器将每批 Prompt 蒸馏为条件 Embedding ，随后通过级联的超卷积（cascaded hyper-convolutional）解码器将其转换为完整的 LoRA 矩阵集合
在多样化的 prompt-checkpoint 对上进行训练后，DnD 能在几秒内生成任务特定的参数，实现以下优势：
- 1）相比全参数微调，开销降低高达 12,000 倍；
- 2）在未见过的常识推理、数学、编程和多模态基准测试中，平均性能比最强的训练 LoRA 提升高达 30%
- 3）即使从未见过目标数据或标签，也能实现强大的跨领域泛化能力
论文的结果表明，prompt-conditioned 参数生成是一种可行的替代梯度下降适配的方法，能够快速定制 LLM

Introduction and Discussion

GPT-4、Llama 2/3、Qwen2.5 和 DeepSeek 等 LLMs 凭借其互联网规模的预训练和 Transformer 架构，迅速成为当代自然语言处理乃至更广泛人工智能领域的核心 (2021; 2024; 2025; 2024)
这种预训练使单个模型在数学、编程、推理甚至多模态理解方面具备广泛的 零样本（Zero-Shot） 能力 (2023; 2021; 2022; 2021)
然而，实际部署很少止步于零样本使用，而是需要反映内部数据、领域术语或定制响应风格的任务特定行为
参数高效微调（PEFT）旨在通过插入一小部分可训练权重（最突出的是 LoRA 的低秩适配器）来满足这一需求 (2022)
尽管 LoRA 通过冻结模型参数保持可训练参数和存储开销较小，但其实际时间成本仍然很高：
- 例如，使用 LoRA 适配最轻量的 0.5B 参数 Qwen2.5 仍需占用 4 块 A100 GPU 半天时间 (2024)
- 此外，每个下游用户或数据集都需要独立的优化运行，这在 PEFT 大规模部署时迅速成为计算瓶颈
论文观察到，LoRA 适配器仅仅是其训练数据的函数：梯度下降将基础权重“拖拽（drags）”至任务特定最优值（图 1）
如果能直接学习从提示到权重的映射，就可以完全绕过梯度下降
早期的参数生成研究表明，超网络可以在几分钟内合成数十亿参数 (2022; 2022; 2024; 2024; 2024)，但它们要么忽略任务条件，要么使用简单的二元嵌入
近期的进展使这一目标成为可能
- RPG（2025）是最早基于任务信息进行条件生成（并在单次传递中生成整个分类器）的方法之一
- 该方法在零样本情况下对未见过的图像类别达到了与从头训练相当的效果，但将这种成功迁移到语言领域带来了新的挑战
  - 首先，语言提示比 RPG 中使用的二进制嵌入具有更高数量级的语义变化
    - 因此，一个实用的生成器必须能够接收丰富的任务描述并保留其细微差别
  - 其次，实际应用中的 LLM 可能面临数百种异构工作负载（heterogeneous workloads），因此条件机制必须能够优雅地扩展，同时以高保真度注入特定于任务的线索
    - 问题：这里的异构工作负载是指什么？
- 这些挑战催生了对一种紧凑而富有表现力的表示的需求，这种表示既要能捕捉输入文本的显著特征，又要能引导超网络走向 LoRA 权重空间的相应区域
- 论文接下来介绍的方法正是为解决这一核心挑战而设计的
论文提出了 Drag-and-Drop LLMs（DnD） ，这是一种基于提示条件的超生成器（hyper-generator），能够在几秒钟内将少量未标记的任务提示转换为完整的 LoRA 适配器 ，消除了任何特定于任务的优化
- DnD 采用现成的轻量级文本编码器 ，将给定的提示批次压缩为条件 Embedding ，然后通过级联超卷积解码器将其扩展为每个 transformer 层的 LoRA 更新
在常识推理、数学、代码生成和多模态基准测试中，DnD 将适配开销降低了高达 12,000 倍，同时与最强的训练 LoRA 相比，在未见过的数据集上性能提升高达 30%，并且能够从 0.5B 参数无缝迁移到 7B 参数的骨干模型
通过将经典的“data -> gradients -> weights”循环压缩为单个前向步骤，DnD 挑战了梯度下降对于模型特化不可或缺的观念，并开辟了一条新的道路，其中权重本身成为一种新的数据模态和基于简洁任务描述的生成目标
论文的主要贡献如下：
- 提出新的 LLM 适配范式 ：论文将 LoRA 适配视为从新数据集的原始提示直接生成特定于任务的权重，并通过可扩展的超生成器实现这种映射，这比传统调优效率高得多
- 设计了实用架构 ：一个冻结的文本编码器与超卷积解码器相结合，能够生成大规模参数，同时将适配开销降低四个数量级
- 完成了全面评估 ：在推理、数学、编码和多模态任务上的实验显示，在未见过的数据集上零样本性能提升高达 30%，并且在不同模型大小之间实现平滑迁移，突出了 DnD 令人印象深刻的效率和多功能性

Drag-and-Drop Your LLMs

Preliminary

参数高效微调（Parameter-Efficient Fine-Tuning） ：参数高效微调（PEFT）通过仅引入和调整少量额外参数，同时冻结原始模型权重来节省训练成本
- 这种方法已应用于 LLM 和其他基础模型，尤其是以低秩适应（LoRA）形式，例如 LLaMA (2024) 和 Stable Diffusion (2022)
- 其优化过程可表示为：
  $$
  \min_{A,B}\mathcal{L}(W_0 + BA, \mathcal{D}), \tag{1}
  $$
  - 其中 $ W_0 $ 是冻结的原始权重矩阵
  - 低秩矩阵 $ B \in \mathbb{R}^{d \times r} $ 和 $ A \in \mathbb{R}^{r \times k} $（$ r \ll \min(d,k) $）是唯一的可训练参数
  - $ \mathcal{D} $ 表示微调数据集
  - 根据公式 1，LoRA 使用数据 $ \mathcal{D} $ 作为原材料，通过优化驱动获得权重空间偏移 $ \Delta W = BA $，从而使 $ \Delta W $ 与 $ \mathcal{D} $ 强关联
参数生成（Parameter generation） ：这种方法将模型或训练权重视为数据，旨在无需传统训练即可合成高性能神经网络参数
- 近期进展如 COND P-DIFF (2024)、RPG (2024)、SANE (2024) 和 ORAL (2025) 通过引入条件机制实现了可控生成，允许为简单数据集生成初步个性化参数
- 参数生成过程与 PEFT 有根本共性：条件作为原材料，参数生成器提供驱动力以生成具有特定属性的目标权重
- 一个问题仍然存在：论文能否利用参数生成有效地“拖放（drag-and-drop）”LLM 的权重，使其更适合给定的新任务？
  - 通过“拖放（drag-and-drop）”，论文类比于一种简单、无需调优的过程，直接生成任务特定权重 ，类似于无需进一步配置即可将文件拖放至目标位置
关键挑战（Key challenges） ：在回答上述问题前，论文分析潜在挑战：
- 挑战 1 ：如何为参数生成器配备有效的“拖放”能力？
  - 生成器应生成能有效使 LLM 适应特定任务的参数
- 挑战 2 ：如何在不进行任务特定训练的情况下实现适配？
  - 传统 PEFT 方法通常需要在新任务上训练，但论文能否通过直接生成参数而无需目标任务的任何微调来达到可比性能？
- 挑战 3 ：如何使拖放功能用户友好且易于访问？
  - 生成机制应简单直观，以促进广泛采用和实际部署

Overview of DnD

为解决上述挑战，论文提出如图 2 所示的 DnD
training data preparation ：
- 作为准备，论文首先在各种数据集上训练并保存 LoRA 适配器
training of DnD ：
- 为开发“拖放”能力，论文的方法应了解参数与数据集的关联
- 因此，论文随机将收集的检查点与其训练数据中的提示批次配对
  - 问题：为什么是随机配对？
  - 回答：真实 label 应该是严格对齐数据和 checkpoint 的，这里指的随机不是随便做不相关的组合，而是对一个模型 checkpoint，随机采样采样训练出该模型的数据中的某些 Prompt 样本，这里的核心是保证模型一定时由对应的数据训练出来的
- 预训练的文本编码器从提示中提取嵌入，并将其馈送至论文的参数生成器
- 生成器采用级联纯卷积解码器块的简单架构（详见第 2.5 节和附录 A.3）
- 论文使用生成参数与原始 tokenized 模型权重之间的均方误差（MSE）损失优化生成器
  - 注：这里是指让生成参数尽量能拟合原始 tokenized 模型权重
在推理时，论文在领域内和跨领域场景中评估方法：
- 只需将新数据集（训练中未见）的提示输入 DnD，即可通过单次前向传递获得定制模型参数

Data Preparation of DnD

检查点收集（Checkpoint collection） ：论文收集跨数据集的检查点作为多样化监督，以赋予 DnD 能力
- 收集过程遵循先前的参数生成工作 (2024; 2024)：训练指定周期，随后在每次迭代时保存检查点（更多细节见附录 A.1）
提示的作用（The role of prompts） ：近期研究 (2025; 2024) 表明，不同数据集的样本表现出独特特征，即样本可视为特定数据集（任务）的“指纹”
- 基于此观察，论文使用数据样本（提示）作为其各自数据集（任务）的代理
- 为建立数据-参数映射，论文结合用于训练这些检查点的数据集中的提示
- 这些提示包含数据集特定特征，使生成器能够推断不同任务中模型的适当“拖拽”方向
提示-检查点配对（Prompt-checkpoint pairing） ：基于上述分析，下一个重要问题是：如何利用这些元素在训练中为 DnD 配备“拖放”能力？
- 给定数据集 $ P $，论文首先将其划分为不重叠的提示批次 $[p_1, \cdots, p_i, \cdots, p_I]$。该数据集训练后的 LLM 检查点记为 $ M = [m_1, \cdots, m_j, \cdots, m_J] $。论文随机选取一批提示和对应的检查点。该过程可形式化为：
  $$
  [p_1, \cdots, p_i, \cdots, p_I] \xrightarrow{\text{随机选取} } \{p_i, m_j\} \xleftarrow{\text{随机选取} } [m_1, \cdots, m_j, \cdots, m_J], \tag{2}
  $$
  - 其中 $\{p_i, m_j\}$ 作为参数生成器训练的配对。提示 $ p_i $ 和检查点 $ m_j $ 分别作为输入和监督

Prompt Embedding

对于每批提示，论文使用开源文本编码器提取嵌入作为参数生成器的输入。提取过程可形式化表示为：
$$
c_i = \operatorname{Encoder}(p_i, \theta), \tag{3}
$$
- 其中 $\operatorname{Encoder}(\cdot, \cdot)$ 表示由 $ \theta $ 参数化的嵌入提取函数，$ c_i $ 表示与提示 $ p_i $ 对应的提取嵌入
- 默认情况下，论文采用基于编码器的语言模型架构 (2019) 进行提示嵌入
- 在实验部分，论文进一步探索并定量评估其他嵌入方法，包括 word2vec 表示 (2014)、编码器-解码器架构 (2020) 和解码器专用语言模型 (2024)

Training and Inference of DnD

Structure of parameter generator

与基于扩散的参数生成方法（2024, 2024, 2025）不同，论文采用超卷积解码器（hyper-convolutional decoder）来学习输入提示与参数之间的映射
这种设计主要考虑了效率，因为 Decoder-only 结构在 LLM 中已显示出其优越性（2023, 2024, 2024, 2025）
论文在右侧部分（图 3）展示了解码器的模块细节
论文假设输入提示嵌入的维度为 $[B, N, L, C]$，其中 $B$、$N$、$L$ 和 $C$ 分别表示批大小（batch size）、提示批长度（即提示数量）、序列长度（sequence length）和隐藏维度（hidden dimension）
级联卷积块（cascaded convolutional blocks）将提示嵌入转换为与 tokenized 权重相匹配的维度
这里，论文将最后一个块的输出记为 $[B, N_w, L_w, C_w]$

Learning objective

学习目标很简单：论文计算参数生成器最后一个块的输出与相应的 tokenized 检查点（checkpoint）之间的均方误差（Mean Squared Error, MSE）损失
与 RPG（2025）类似，论文将每一层的参数 tokenized 为非重叠的片段并进行填充，确保检查点具有一致的形状 $[B, N_w, L_w, C_w]$
形式上，论文将均方误差损失写为：
$$
\text{prompt embeddings} \xrightarrow{\text{parameter generator} } L_{MSE} \xleftarrow{\text{tokenization} } \text{corresponding checkpoints}. \tag{4}
$$

Inference

论文期望参数生成器开发有效的“拖放”能力，尤其是对训练中未见过的新数据集或任务
- 因此，评估主要关注新数据集的性能
- 推理过程包括四个步骤：
  - 1) 从新数据集中采样提示；
  - 2) 从这些提示中提取嵌入；
  - 3) 将嵌入输入参数生成器；
  - 4) 在新数据集上评估生成的参数
- 为全面展示方法的“拖放”能力，论文检查领域内（如常识到常识）和跨领域（如常识到科学）场景的性能

Experiments

Implementation details

论文选择 Qwen2.5 (2024) 系列作为基础模型，并在常识推理、代码生成、数学和多模态任务上进行实验
下表列出了每个任务涉及的模型规模和数据集详情
默认的文本编码器为 Sentence-BERT (2019)，提示批次的长度在常识推理、数学、代码生成和多模态任务中分别设置为 128、64、64 和 32
其他超参数设置请参考附录 A.1

Common Sense Reasoning

评估设置 (Evaluating setting) ：论文使用 LoRA (2022) 在七个常识推理数据集上微调 Qwen2.5-0.5B，并将检查点保存为训练数据
- 在表 1 的每一列中，论文将指定数据集作为测试集（即不用于训练），并在其他数据集的 LoRA 上训练 DnD
分析 (Analysis) ：表 1 报告了训练 LoRA 和生成 LoRA 的平均准确率。从结果中可以看出以下几点：
- 1) 论文的方法在未见数据集上始终优于用于训练的 LoRA，表明它能够通过条件将 LLM 参数“拖放”到任务特定的分布中
- 2) 这种“拖放”能力在不同数据集上均成立，显示出对各种数据输入的强鲁棒性
跨领域拖放 (Cross-domain Drag-and-Drop) ：为了进一步探索 DnD 的零样本能力，论文不仅在推理中使用领域内未见数据集，还将其在科学数据集 (2023) 上测试
- 生成的参数与科学数据集上的训练 LoRA 进行比较
- 从表 2 可以看出，DnD 超越了其训练 LoRA 的平均准确率，表明论文的方法能够将 LLM 参数“拖放”到跨领域任务（即从常识推理到科学任务）

Generalization to Coding, Math, and Multimodal Tasks

为了验证论文的方法在更复杂场景中的适用性，论文还将 DnD 应用于代码生成、数学和多模态任务。实验结果和发现如下
代码生成 (Coding) ：
- 与常识推理任务类似，论文在七个代码数据集上使用 LoRA 微调 Qwen2.5-1.5B，并将检查点保存为训练数据
- 评估在 HumanEval (2021) 基准上进行，使用 pass@k (2021) 分数（k = 1, 5, 10）
- 需要注意的是，无论是 LoRA 微调模型还是 DnD，在训练中均未见过该基准的任何样本
- 因此，论文直接在 HumanEval 上测试训练 LoRA 和生成的 LoRA。从表 3 可以得出以下结论：
  - 1）论文的方法取得了显著结果，平均 pass@1 = 15.1，pass@5 = 26.7，pass@10 = 30.9
  - 2）尽管训练 LoRA 在测试集上表现不佳，DnD 仍然获得了良好的性能
    - 这表明它并非简单地记忆训练中见过的参数，而是学会了根据条件为未见数据集生成适配的参数
数学 (Math) ：论文在六个数学数据集上微调 Qwen2.5-1.5B 并保存检查点
- 采用 gsm8K (2021) 和 MATH (2021) 作为基准，以准确率为评估指标
- 表 3 中的结果与常识推理和代码任务的结果一致，凸显了论文的方法在广泛场景中的优越性
多模态 (Multimodal) ：上述结果验证了论文的方法在文本模态中的有效性，接下来，论文探索其更广泛的潜力，将其扩展到其他模态
- 论文在 MathV360K (2024) 上微调 Qwen2.5-VL-3B (2025)，保存检查点，并使用 Math-Vision (2024) 和 Math-Vista (2024) 进行评估
- 表 3 的结果显示，DnD 在多模态任务中表现良好，表明论文的方法可以适配文本以外的模态，并具有广阔的应用潜力
总结 (Takeaway) ：基于上述结果和比较，DnD 是一个高性能的零样本学习器，具有强鲁棒性和广泛适用性，这体现在其相对于训练数据的显著改进以及在各种场景中的优异表现
接下来，论文将继续探索论文提出的方法的更多有趣特性

Ablation Studies

本节主要探索论文方法的一系列有趣特性
对于实验中涉及的不同设置，论文将在附录 B.3 中详细报告
除非特别说明，论文使用 ARC-c 作为测试集，其他常识推理数据集用于训练

What types of data will help Drag-and-Drop LLMs better?

如第 2.3 节所述，论文使用提示作为条件来驱动 DnD
当条件类型变化时（例如答案），这种“拖放”能力是否仍然有效？
论文通过将条件类型更改为提示（Prompt）、提示 + 答案（Prompt + Answer）及其混合（Mix）（提示 : 答案 = 4 : 1）进行消融研究，结果如表 4a 所示
可以观察到，提示 + 答案组的性能出人意料地较差
- 作者得出结论，这是因为常识推理数据集中的答案缺乏多样性（例如 A/B/C/D），将其与提示结合可能会损害数据集特定的表示
- 这会阻碍生成器区分不同数据集并生成特定参数
因此，论文建议不要单独使用答案作为条件
然而，对于答案更复杂和多样化的任务，结论可能不同 ，论文在附录 B.3 中展示了这些任务的结果

How does the choice of condition extractor affect DnD’s performance?（condition extractor 的影响）

论文的默认条件提取器是 Sentence-BERT (2019)，但探索其他模型的潜力也很有趣
为了确保全面比较，论文包括经典的 word2vec 方法 Glove (2014)、默认的仅编码器 Sentence-BERT (2019)、编码器-解码器模型 T5 (2020) 和 Decoder-only Qwen2.5-7B (2024)
表 4b 的结果揭示了以下几点：
- 1）即使是 Glove 等传统方法也能帮助 DnD 获得良好的结果，表明论文的方法可以适配多种文本编码器
- 2）Qwen2.5-7B 的表现不如预期，可能有两个原因：
  - 首先，其庞大的规模限制了每次迭代中与参数配对的条件数量，导致对未见数据集的感知能力较差（类似结论可以从附录 B.3 的实验中得到）
  - 其次，Qwen2.5-7B 的 Decoder-only 架构可能会限制条件的多样性，因为它将提示编码为答案

What property of training data equips our method with drag-and-drop ability?（哪些 Training 数据属性赋予论文的方法“拖放”能力？）

默认情况下，论文在多个数据集上训练并在 1 个未见数据集上测试
本节通过减少训练集数量并在更多数据集上测试来探索 DnD 的鲁棒性
训练-测试集安排为：6-1、4-3、3-4 和 2-5
生成的参数与训练 LoRA 在未见数据集上的平均准确率进行比较，并报告其平均准确率提升（表 4c）
可以观察到：
- 1）通常情况下，更多的训练数据集会带来更好的性能提升
  - 这是预期的，因为更多数据确保了条件-参数关联的更好覆盖，从而为未见数据带来更好的鲁棒性
- 2）当训练样本较少时，DnD 无法将 LLM 参数“拖放”到未见数据集
  - 随着用于训练的数据集减少，DnD 的平均提升也相应下降
  - 在 2-5 的情况下，它几乎无法超越训练 LoRA
  - 我们可以得出结论，DnD 需要基本的训练样本量来学习条件-参数关联

How does DnD’s performance compared with foundation LLMs?

考虑到大规模预训练 LLM 通常需要大量计算，在小规模下游数据集上微调可能会损害其在未见测试集上的零样本性能
意识到这一现象后，论文在所有实验任务中将 DnD 生成的权重性能与基础 LLM 进行比较
- 理解：即比较实用 DnD 后，基础模型效果能提升多少
具体来说，对于基础 LLM，论文采用 Qwen2.5-0.5B 进行常识推理，1.5B 进行数学和代码生成，Qwen2.5-VL-3B 进行多模态任务
表 5 的结果再次显示了论文方法的优越性：
- DnD 在所有任务中均优于基础 LLM。其“拖放”能力可以生成任务特定的参数，性能优于经过大量预训练的基础 LLM

Open Explorations and Analysis

Condition-Parameter Pairing

本节探索第 2.3 节中介绍的其他配对策略对性能的影响。论文测试了两种条件配对策略：
- 策略 1 ：固定提示总数为 128、256、512、1024、2048、5000，并在每次迭代中使用所有这些提示与参数配对（$x \gets x$）
- 策略 2 ：固定每次迭代中提示批次的长度为 128，并从 128、256、512、1024、2048、5000 候选提示中随机选择这些提示（128 $\gets x$）
基于图 4a 的结果，我们可以得出以下结论：
- 1）在条件数量有限的情况下，DnD 无法泛化到未见数据，因为它几乎无法学习关于条件-参数映射的全面知识
- 2）随着条件数量的增加，策略 2 的性能迅速提升，因为 DnD 暴露于足够多的条件-参数对中。这表明策略 2 可能有助于 DnD 高效收敛
- 3）策略 1 需要更多条件才能达到与策略 2 相当的性能。在条件数量较多时，策略 1 会遇到内存不足的问题。每次迭代中相同条件与参数的配对可能会阻碍 DnD 将条件与特定数据集关联。综上所述，策略 2 在模型泛化性、收敛速度和内存消耗方面均优于 策略 1。这些结论与表 4c 的发现一致：训练数据的多样性赋予论文的方法“拖放”能力

DnD vs full-shot tuning

本节在准确率和开销方面将 DnD 与全量微调（full-shot tuning）进行比较
具体来说，论文测试了 ARC-c 微调的 LoRA（约 75 次迭代，详见附录 A.4）在 ARC-c 测试集上的全量性能
由于 LoRA 的性能可能随着迭代次数的增加而提升，论文还在 ARC-c 上微调 LoRA 300 次迭代并测试其性能
这些结果与 零样本 DnD 的结果在图 4b 中进行了比较：
- 1）使用适度微调的检查点进行训练时，DnD 已经取得了比全量微调更好的结果。这展示了 DnD 令人印象深刻的 零样本 能力，甚至超越了 全量微调
- 2）DnD 的效率极高，性能优于全量微调的同时，速度提升了 2500 倍
- 此外，随着训练的继续，尽管全量微调表现更好，但论文的方法与其性能差距极小，同时效率提升了 12,000 倍
理解：
- 仅训练一轮的全参数微调效果不如 DnD
- 训练很多轮的全参数微调效果比 DnD 好，但没有好很多
- 注：DnD 的速度极快，且比仅训练一轮的全参数微调效果好很多

Efficiency analysis of DnD

除了全量微调外，上下文学习（in-context learning，ICL） 和少样本微调（few-shot tuning，FS） 也是 LLM 微调中的流行方法
在图 4c 中，论文通过实验研究了它们的性能-效率权衡。可以得出以下几点观察：
- 1) 当样本较少时，ICL 和 FS 的结果较差，但随着样本增加，它们的开销也会上升
- 2) DnD 在样本数达到 256 之前，能以可忽略的开销获得比 FS 和 ICL 更好的性能
- 3) 值得注意的是，少样本和 ICL 都使用答案来指导 LLM 以获得更好的性能。相反，DnD 仅依赖 128 个未标注的提示。基于上述结果，论文预计 DnD 是一个强大且高效的零样本学习器

Scalability of DnD

本节探索 DnD 的可扩展性
由于常识推理任务较为简单，0.5B 模型已足够，论文专注于数学和代码生成任务，同时将基础模型规模从 1.5B 增加到 7B
论文使用第 3.3 节中的原始数学和代码数据集，数学任务使用 gsm8K 进行评估，代码任务使用更难的基准 LiveCodeBench (2024) 进行评估
论文在表 6 中报告了数学任务的准确率和代码任务的 pass@1。可以观察到：
- 1）在 7B 模型设置下，DnD 在两个任务中始终优于训练 LoRA，突显了其对更大基础 LLM 的卓越可扩展性
- 2）在更难的代码基准上，DnD 保持了优于训练 LoRA 的性能，即平均 pass@1 提升 = 20.3。这表明 DnD 能够泛化到更复杂的基准，显示出广阔的应用潜力和鲁棒性

Comparisons with previous methods

论文将论文的方法与最新的参数生成方法 RPG (2025) 进行比较。论文在两种场景中探索两种方法的性能：
- 闭集生成：生成训练中见过的参数
- 开集生成：为未见数据集生成参数
图 5 显示两种方法在闭集生成中表现良好，但 RPG 在开集生成中失败，表明论文的设计（以提示为条件，条件-参数配对）对未见数据集具有一定的鲁棒性和泛化性

Visualization for the effect of drag-and-drop

本节在图 6 中可视化原始参数和生成参数
可以看出，原始参数在权重空间中表现出多样化的模式，形成不同的簇
此外，即使接近目标数据集（即 ARC-c）微调的参数，也可能存在较大的性能差距（即 19.1% 对比 40.7%）
在训练了这些具有不同特征的模型后，DnD 能够以零样本方式为目标数据集生成参数
生成的参数在权重空间中接近原始参数，甚至性能优于全量微调（即 51.6% 对比 40.7%）。这生动地展现了“拖放”效果

Parameter-Efficient-Fine-Tuning (PEFT)

LLM 的规模迅速扩大，使得全参数微调成本越来越高
为了解决这一问题，低秩适应（LoRA）(2022) 被提出，利用 LLM 固有的稀疏性，通过优化两个低秩矩阵而非原始权重，大幅降低了微调成本
随后出现了多种 LoRA 变体，如 DoRA (2024)、LoRA+ (2024)、VeRA (2024) 和 DyLoRA (2023)
但它们都有一个潜在缺陷：需要对每个新数据集进行模型参数微调，因此缺乏通用性
- 随着模型规模的扩大和训练数据的增加，这仍然会带来额外的成本

Parameter generation

参数生成以模型检查点为训练目标，旨在生成高性能参数，包括训练中见过和未见的数据集
先前的工作 (2016; 2011; 2013; 2016) 专注于学习参数分布，但难以重建原始模型的性能
随着扩散模型的发展，超表示 (2022; 2022; 2024) 和 p-diff (2024) 使用潜在扩散架构生成高性能参数
借助 Mamba (2024) 和适当的标记化策略，RPG (2025) 可以在几分钟内生成 2 亿参数
关于条件生成，COND P-DIFF (2024)、Tina (2024) 和 ORAL (2025) 探索了文本控制的参数生成方法
RPG 甚至在 CIFAR-10 (2009) 的二元嵌入分类任务上为未见数据集生成参数
但这些方法在更复杂的任务上难以保持优异的零样本能力，阻碍了参数生成更广阔的应用潜力
本论文的方法以未见数据集中的提示为条件，更好地捕捉参数与数据集的关联，能够为未见数据集生成有效的参数

附录

详情见原文

NLP——LLM-CPT相关论文记录

参考链接：
- A Comprehensive Survey of Continual Learning: Theory, Method and Application, TPAMI 2024， THU：截止20250610，cited by 1034
- Efficient Continual Pre-training for Building Domain Specific Large Language Models, ACL 2024, Amazon：截止20250610，cited by 47
- Continual Learning for Large Language Models: A Survey, arXiv 2024，Monash University && Griffith University：截止20250610，cited by 145
- Continual Learning of Large Language Models: A Comprehensive Survey, ACM Computing Surveys 2024, DeepMind：截止20250610，cited by 96
- Continual Learning with Pre-Trained Models: A Survey, arXiv 2024， Nanjing University：截止20250610，cited by 98
- Continual Pre-Training of Large Language Models: How to (re)warm your model?，arXiv 202308，Concordia University：截止20250610，cited by 100
- Recent Advances of Foundation Language Models-based Continual Learning: A Survey, arXiv 202409(ACM Computing Surveys 2025), ECNU：截止20250610，cited by 21
- Simple and Scalable Strategies to Continually Pre-train Large Language Models, arXiv 2024：截止20250610，cited by 82
  
  from LLM 预训练和评估奖励模型的技巧 - 北方的郎的文章 - 知乎
  最近的论文《持续预训练大型语言模型的简单且可扩展的策略》提供了关于如何继续使用新数据预训练LLM的宝贵见解
- Continual Learning of Natural Language Processing Tasks: A Survey, UIC, arXiv 2022：截止20250610，cited by 101
- Continual Lifelong Learning in Natural Language Processing: A Survey, 2020, UPC：截止20250610，cited by 273
- ECONET: Effective Continual Pretraining of Language Models for Event Temporal Reasoning, 2021, UCLA & USC：截止20250610，cited by 84
- EcomGPT-CT: Continual Pre-training of E-commerce Large Language Models with Semi-structured Data, arXiv 202312, THU, Alibaba：截止20250611，cited by 26
- ChatHome: Development and Evaluation of a Domain-Specific Language Model for Home Renovation, arXiv 20230728, Beike：截止20250616，cited by 33

NLP——Continual-Learning-for-LLM(A-Survey)

注：本文包含 AI 辅助创作

参考链接：
- 原始论文：Continual Learning for Large Language Models: A Survey, arXiv 2024，Monash University && Griffith University

Paper Summary

LLM 不适合频繁重新训练 ：LLM 由于其庞大的规模导致训练成本高昂，因此不适合频繁重新训练
更新是必要的 ：但为了便赋予 LLM 新的技能，并使其与快速演变的人类知识保持同步，更新是必要的
论文综述了 LLM 持续学习（Continual Learning）的最新研究成果
根据 LLM 的独特性，论文以一种新颖的多阶段分类方案对持续学习技术进行分类 ，包括：持续预训练（Continual Pretraining，CPT）、持续指令微调（Continual Instruction Tuning，CIT）和持续对齐（Continual Alignment，CA）
论文将 LLM 的持续学习与以下增强策略进行对比：
- 较小模型使用的简单适应方法（simpler adaptation methods used in smaller models）
- 检索增强生成（Retrieval-Augmented Generation，RAG）
- 模型编辑（Model Editing）

Introduction and Discussion

近年来， LLM 在解决多样化问题方面的能力取得了快速进展
为了使 LLM 能够准确反映不断演变的人类知识、价值观和语言模式，定期更新变得至关重要，这促使了对 LLM 持续学习的研究
虽然持续学习与其他模型改进策略（如 RAG [21] 和模型编辑 [26]）有相似之处，但它们的主要目的不同（见表1）
- 其他模型改进策略 ：主要关注点是提高领域特定准确性或扩展模型的事实知识库
- 持续学习 ：目标是提升 LLM 的整体语言和推理能力
这一区别至关重要，因为它将焦点从仅仅更新信息转移到开发模型以更全面和细致的方式处理和生成语言的能力 [27]
LLM 的持续学习也不同于其在较小模型（包括较小的预训练语言模型（PLM，Pretrained Language Model））中的应用
由于其庞大的规模和复杂性， LLM 需要多方面的持续学习方法。论文将其分为三个不同的阶段：
- 持续预训练（Continual Pretraining，CPT） ：扩展模型对语言的基本理解 [8]；
- 持续指令微调（Continual Instruction Tuning，CIT） ：改进模型对特定用户指令的响应 [27]；
- 持续对齐（Continual Alignment, CA） ：确保模型的输出符合价值观、伦理标准和社会规范 [27]
这一多阶段过程与较小模型使用的更多线性适应策略（more linear adaptation strategies used in smaller models）不同，如图1 所示，突显了将持续学习应用于 LLM 的独特挑战和要求
本综述通过其独特的焦点和结构与之前的研究区分开来，虽然该领域的先前综述通常围绕各种持续学习策略 [4] 组织，但论文的研究首次专门针对 LLM 的持续学习
论文围绕持续更新的信息类型和 LLM 涉及的不同学习阶段构建分析
本综述提供了关于*持续学习如何应用于 LLM *的详细和新颖的视角，揭示了这一应用的特定挑战和机遇
论文的目标是为 LLM 中持续学习的有效实施提供全面理解 ，为未来开发更先进和适应性更强的语言模型做出贡献

Preliminary and Categorization

LLM （Large Language Model）

LLM 如 ChatGPT 和 LLaMa [26] 在许多任务中表现出卓越性能
它们通常通过多个阶段进行训练，包括预训练（Pretraining）、指令微调（Instruction Tuning）和对齐（Alignment），如图1 所示
- 预训练阶段 ： LLM 以自监督方式在大规模语料库上进行训练 [7]，其中训练文本被随机掩码，模型被要求预测被掩码的标记
  - 个人补充：这里表述有点不够严谨，MLM 的方式确实是这样的，但是现在大多都是自回归模型（Autoregressive Model），采用的是 NTP 的形式
- 指令微调阶段 ： LLM 以监督方式在一组指令-输出（instruction-output）对上微调 [38]
  - 给定特定任务的指令作为输入，要求模型生成相应的输出
- 对齐阶段 ： LLM 通过人类反馈进一步微调，使其输出与人类期望对齐 [35]
  - 这里涉及到人类标注者对模型的输出进行评分，模型被更新以生成更符合人类期望的响应

Continual Learning

持续学习专注于开发学习算法以积累非平稳数据的知识，通常按类别、任务、领域或实例划分
在监督持续学习中，任务序列 $\{\mathcal{D}_{1},\ldots,\mathcal{D}_{\mathcal{T} }\}$ 以流式方式到达
每个任务 $\mathcal{D}_{t}=\{(x_{i}^{t},y_{i}^{t})\}_{i=1}^{nt}$ 包含一个独立的目标数据集，其中 $x_{i}^{t}\in\mathcal{X}_{t}$，$y_{i}^{t}\in\mathcal{Y}_{t}$
单个模型需要依次适应这些任务，且在第 $t$ 个任务时仅能访问 $\mathcal{D}_{t}$（注：特别是无法访问 $t$ 时刻之前的任务），这一设置要求模型在其生命周期中获取、更新、积累和利用知识 [4]
传统持续学习的主要挑战是灾难性遗忘（Catastrophic Forgetting） ，即模型在训练新数据时对旧任务的性能显著下降
现有研究大致可分为三类：
- 经验回放方法（Experience Replay）[8, 37]
- 基于正则化的方法（Regularization-based）[19, 9]
- 动态架构方法（Dynamic Architecture）[28]
最近，研究人员设计了一些结合上述技术的混合方法 [5, 16]

Continual Learning for LLMs

LLM 的持续学习 ：旨在使 LLM 能够从随时间变化的连续数据流中学习
直接将现有的持续学习设置应用于 LLM 并非易事。论文现在提出一个 LLM 持续学习的框架，并对该领域的研究进行分类

Framework

论文的框架如图 2 所示。论文将 LLM 的持续学习与不同的训练阶段对齐，包括持续预训练（CPT，Continual Pre-training）、持续指令微调（CIT，Continual Instruction Tuning）和持续对齐（CA，Continual Alignment）
- 持续预训练阶段 ：旨在通过自监督方式在一系列语料库上进行训练，以丰富 LLM 的知识并适应新领域
- 持续指令微调阶段 ：在监督的指令跟随数据流上微调 LLM ，目标是使 LLM 能够遵循用户指令，同时将已获取的知识迁移到后续任务中
- 持续对齐阶段 ：响应人类价值观和偏好的演变，持续对齐（CA）试图随时间推移使 LLM 与人类价值观保持一致
虽然 LLM 的持续学习可以依次在每个阶段进行，但持续学习的迭代应用也使得跨阶段迁移而不遗忘先前阶段学习的能力和知识变得至关重要
- 例如，我们可以基于指令微调模型或对齐模型进行持续预训练，但不希望 LLM 失去其遵循用户指令和与人类价值观对齐的能力
- 因此，如图 2 所示，论文使用不同颜色的箭头表示阶段间的迁移

Categorization

为了更好地理解该领域的研究，论文为框架的每个阶段提供了细粒度的分类
持续预训练（CPT）
- 更新事实的 CPT ：包括使 LLM 学习新事实知识的研究
- 更新领域的 CPT ：包括将 LLM 定制到特定领域（如医学和法律领域）的研究
- 语言扩展的 CPT ：包括扩展 LLM 支持语言的研究
持续指令微调（CIT）
- 任务增量 CIT ：包含在一系列任务上微调 LLM 并获取解决新任务能力的研究
- 领域增量 CIT ：包含在指令流上微调 LLM 以解决领域特定任务的方法
- 工具增量 CIT ：包含持续教授 LLM 使用新工具解决问题的研究
持续对齐（CA）
- 持续价值对齐 ：包括持续使 LLM 与新伦理准则和社会规范对齐的研究
- 持续偏好对齐 ：包括使 LLM 动态匹配不同人类偏好的研究
除了基于训练阶段分类外，论文还提供了基于持续学习期间更新信息的替代分类（alternative categorization）
表2 列出了一些代表性的更新信息，例如事实、领域、任务、价值观和偏好
- LLM-based 训练目标，这些信息可以在持续学习的不同阶段更新
图 3 的分类法展示了论文的分类方案以及每个类别中的代表性研究

Continual Pre-training, CPT

LLM 的 CPT 对于保持其相关性和有效性至关重要
这一过程包括定期用最新信息更新模型 [26]、使其适应特定领域 [19]、增强其编码能力 [28]，以及扩展其语言范围 [3]
通过持续预训练， LLM 可以紧跟新动态，适应不断变化的用户需求，并在多样化的应用中保持高效
持续预训练确保 LLM 不仅知识丰富，还能灵活应对世界的变迁

CPT for Updating Facts

LLM 整合和适应最新信息的能力至关重要
此处的核心策略是使用动态数据集，从多种来源（如新闻推送 [9]、学术论文 [14] 和社交媒体 [22]）实时吸收数据
[35] 提出了 ERNIE 2.0，这是一个持续预训练框架，通过逐步构建和学习多个任务，最大化从训练数据中提取知识
[13] 引入了持续知识学习（continual knowledge learning）方法，用于更新 LLM 中的时序知识，在获取新信息的同时减少遗忘
[22] 研究表明，使用不同数据进行持续学习，其语言模型的困惑度（perplexity）与在整个数据快照上训练的结果相当甚至更好，这证实了只需最小量的训练数据即可高效更新语言模型中的事实知识
此外，自动化系统对新获取数据的验证是确保信息准确性和可靠性的关键

CPT for Updating Domains

持续预训练通过两种方法更新领域知识：
- 1）领域增量预训练（domain-incremental pre-training）跨多个领域积累知识；
- 2）领域特定持续学习（domain-specific continual learning），通过在领域特定数据集和任务上训练，将通用模型逐步转化为领域专家
在领域增量预训练中，[8] 探索了如何在新数据流上持续预训练语言和视觉模型，为下游任务做准备
- [26] 通过参数初始化和知识蒸馏（knowledge distillation）评估模型兼容性和可回收调优（recyclable tuning）的优势
- [19] 提出了一种软掩码机制（soft-masking mechanism），用领域语料更新语言模型（LM），旨在提升性能的同时保留通用知识
在领域特定持续学习中
- [26] 开发了 FinPythia-6.9B，通过金融领域的自适应预训练实现
  - 原始论文：Efficient Continual Pre-training for Building Domain Specific Large Language Models, ACL 2024, Amazon
- [36] 研究了电子商务领域中持续预训练的效果
  - 原始论文：EcomGPT-CT: Continual Pre-training of E-commerce Large Language Models with Semi-structured Data, arXiv 202312, THU, Alibaba
这些研究共同展现了持续预训练在提升模型跨领域适应性和专业性方面的广阔前景

CPT for Language Expansion

扩展 LLM 理解和处理的语言范围对于提升其普适性至关重要 [3]
这种扩展不仅包括支持更多语言（尤其是 underrepresented 语言），还需将文化背景融入语言处理中
一个关键挑战是模型识别和解释地区方言及当代俚语的能力 [11]，这对于跨种族、社会和文化的有效沟通至关重要
除了自然语言，LLM 在理解和生成编程语言方面也取得了显著进展
- [28] 提出了 CodeTask-CL，一个持续代码学习的基准测试，涵盖多种编程语言的任务和输入输出格式
- [29] 探索了使用未标记代码语料库训练模型进行面向库的代码生成，解决了由于程序员广泛复用库导致的文本-代码对稀缺问题，他们提出了 CERT 方法，其中“草图生成器”（sketcher）勾勒代码结构，“生成器”（generator）完成代码，两者通过持续预训练未标记数据来捕捉库导向代码片段的常见模式
这些进展突显了 LLM 在变革自然语言和编程语言处理方面的潜力，从而推动更高效的编码实践

Continual Instruction Tuning, CIT

LLM 展现了强大的指令跟随能力，能够通过少量示例完成任务
持续指令调优（CIT）通过持续微调 LLM，使其学会遵循指令并将知识迁移到未来任务中 [30]
根据指令调优中更新的能力和知识，CIT 可进一步分为三类：
- 1）任务增量 CIT（task-incremental CIT）
- 2）领域增量 CIT（domain-incremental CIT）
- 3）工具增量 CIT（tool-incremental CIT）

Task-incremental CIT

任务增量持续指令调优（Task-incremental CIT）旨在通过一系列任务特定指令持续微调 LLM ，使其获得解决新任务的能力
一种直接的方法是持续为新任务生成指令调优数据并直接微调模型 [35]
然而，研究表明，持续在任务特定数据上微调 LLM 会导致对已学知识和问题解决能力的灾难性遗忘（catastrophic forgetting）[24]
- TAPT [16] 提出了一种简单的数据选择策略，从领域内语料库中检索未标记文本，使其与任务分布对齐，随后用于微调 LLM，以缓解灾难性遗忘并提升性能
- 为减少遗忘，Continual-T0 [25] 采用记忆回放（rehearsal with a memory buffer）[22] 存储先前任务数据并在训练中重放
- ConTinTin [26] 提出了 InstructionSpeak，包含两种策略：一是从负输出中学习，二是重新审视先前任务的指令
- RationaleCL [26] 采用对比性原理回放（contrastive rationale replay）减轻遗忘
- DynaInst [19] 提出了一种混合方法，结合动态指令回放（Dynamic Instruction Replay）和局部极小值诱导正则化器（local minima-inducing regularizer），提升 LLM 的泛化能力并减少回放模块的内存和计算开销
- 与以往的回放或正则化方法不同，SLM [1] 将向量空间检索（vector space retrieval）融入语言模型，支持可扩展的知识扩展和管理，使 LLM 快速适应新任务且不因遗忘而降低性能
LLM 参数规模庞大，持续学习带来巨大计算负担。为解决这一问题
- Progressive Prompts 技术 [15] 冻结大部分参数，仅为每个新任务学习固定数量的标记（prompts），显著降低计算成本的同时缓解遗忘并提升知识迁移
- ELM [13] 首先为每个任务训练一个小型专家适配器（expert adapter），随后采用检索方法为每个新任务选择最相关的专家 LLM
- 基于参数高效调优（PET）框架，O-LoRA [26] 提出了正交低秩适应（orthogonal low-rank adaptation）方法，在正交子空间中增量学习新任务，同时固定已学任务的 LoRA 参数以最小化遗忘
- DAPT [27] 提出双注意力框架（Dual Attention Framework），通过双注意力学习与选择模块（Dual Attentive Learning&Selection module）对齐 LoRA 参数的学习与选择
- LLaMA PRO [29] 提出了一种新颖的块扩展技术（block expansion technique），将新知识注入 LLM ，同时通过高效后训练保留初始能力

Domain-incremental CIT

领域增量持续指令调优（Domain-incremental CIT）旨在通过一系列领域特定指令持续微调 LLM ，使其获得解决新领域任务的能力
- TAPT [16] 在生物医学、计算机科学、新闻和购物评论等领域数据上自适应调优 LLM ，随后评估其在各领域的文本分类能力
- ConPET [28] 将先前为小模型设计的持续学习方法应用于 LLM ，结合 PET 和动态回放策略，显著降低调优成本并缓解过拟合和遗忘问题。在典型持续学习场景（新知识类型逐步出现）下的实验证明了 ConPET 的优越性能
- AdaptLLM [4] 通过将原始训练语料转化为一系列与其内容相关的阅读理解任务，使 LLM 适应不同领域，同时提升提示性能
- PlugLM [4] 使用可微分插件内存（DPM）显式存储领域知识，通过插入领域内存轻松适配不同领域
- [27] 设计了一种“适配-检索-修订”（adapt-retrieve-revise）流程，使 LLM 适应新领域：首先利用初始响应从领域数据库中检索知识，随后用检索到的知识修订初始响应以获得最终答案
- [5] 分析了在不同领域持续调优的 LLM ，发现训练数据顺序对性能有显著影响，并提出混合微调（DMT）策略以学习跨领域的多种能力

Tool-incremental CIT

工具增量持续指令调优（Tool-incremental CIT）旨在通过持续微调 LLM，使其能够与现实世界交互并通过集成工具（如计算器、搜索引擎和数据库）增强能力 [17]
随着新工具（如高级软件库、新型 API 或领域特定工具 [11, 12]）的快速涌现，持续更新 LLM 以快速适应和掌握这些工具的需求日益增长
- Llemma [2] 在混合数学文本和代码的数据集上持续调优 LLM ，使其能够使用外部工具解决数学问题
- ToolkenGPT [9] 将每个工具表示为一个新标记（toolken），其嵌入在指令调优中学习，为 LLM 提供了一种高效掌握工具并快速适应新工具的方法

Continual Alignment, CA

LLM 需要适应不断变化的社会价值观、社会规范和伦理准则。此外，不同人口群体（demographic groups）之间的偏好存在显著差异，个体的偏好也会随时间变化
为了应对这些变化，持续对齐应运而生。在持续对齐的背景下，存在两种主要场景：
- (i) 更新 LLM 以反映社会价值观的变化；
- (ii) 将新的人口群体（demographic groups）或价值类型整合到现有的 LLM 中
以下将分别描述这两种场景

Continual Value Alignment

持续价值对齐的目标是持续整合伦理准则或适应文化敏感性和规范
它需要通过更新来摒弃过时的观念并融入新的价值观 ，类似于模型编辑和知识遗忘任务
模型编辑和知识遗忘已在预训练和指令微调阶段得到研究 [25]，但在偏好学习领域尚未深入探索

Continual Preference Alignment

添加新的人口群体（demographic groups）或价值类型与持续学习问题一致，旨在引导 LLM 生成符合新兴价值观的响应，同时遵守已学习的偏好
例如，许多开源对齐的 LLM 采用 RLHF 来确保安全性
论文可能还需要为 LLM 增加其他属性（如帮助性和可信度）的对齐
除了在保留过去偏好的同时最大化新偏好奖励的挑战外，持续偏好学习还面临在大动作空间（词表）和大量参数下实现稳定高效训练的困难
先前的研究已经展示了此类代理的概念验证，但缺乏标准化基准来系统评估新偏好随时间的学习能力
持续近端策略优化（CPPO）[1] 在近端策略优化（PPO）算法 [17] 上采用样本级加权，以平衡策略学习和模仿旧策略输出的知识保留
另一方面，[26] 将直接偏好优化（DPO）算法 [18] 扩展到持续学习场景，通过蒙特卡洛估计推导出给定任务序列的最优策略序列，并将其用于正则化新任务上的策略学习

Benchmarks

系统评估 LLM 的持续学习性能需要高质量数据源和多样化内容的基准测试
CPT 的基准测试
TemporalWiki[13]：是一个终身学习基准，通过使用维基百科和 Wikidata 的连续快照来训练和评估语言模型，帮助评估语言模型在保留过去知识和学习新知识方面的能力
Firehose[9]：是一个社交媒体数据集，包含六年内来自一百万用户的一亿条推文
CKL[14]：专注于网络和新闻数据，旨在通过在不同语料库上的持续预训练，保留初始预训练中的时间不变世界知识并高效学习新知识
TRACE[25]：包含八个多样化数据集，涵盖专业领域、多语言任务、代码生成和数学推理，这些数据集被统一为标准格式，便于对 LLM 进行自动化评估
由于数据的快速变化，时间敏感的数据集会很快过时，因此需要频繁更新持续预训练的基准测试以评估模型性能

CIT 的基准测试

持续指令微调基准（CITB）[26]：基于 SuperNI，包含超过 1,600 个自然语言处理（NLP）任务，涵盖 76 种类型（如语言生成和分类），所有任务均以文本到文本格式呈现
ConTinTin[24]：是另一个基于 NATURAL-INSTRUCTIONS 的基准，包含 61 个任务，分为六类（如问题生成和分类）
在使用这些基准测试评估无法访问训练数据的黑盒语言学习模型时，数据集的选择至关重要，以避免任务污染并确保持续指令微调性能评估的可靠性

CA 的基准测试

COPF[26]使用斯坦福人类偏好数据集（SHP）[5] 和 Helpful & Harmless（HH）数据集 [2] 进行持续对齐实验
- SHP 数据集 ：包含 18 个主题（从烹饪到法律建议）的 385,000 条人类偏好
- HH 数据集 ：分为两部分：一部分是众包工作者与 AI 模型交互以获得有帮助的响应，另一部分是引出有害响应并在每种情况下选择更具影响力的响应
尽管该领域的研究兴趣日益增长，但目前仍缺乏专门用于持续对齐的基准测试，这为未来研究提供了发展机会

Evaluation

Evaluation for Target Task Sequence

LLM 的持续学习涉及对模型在任务序列上的性能评估。性能可以通过三种典型的持续学习指标衡量：
- 1）平均性能（Average Performance）
- 2）前向迁移率（Forward Transfer Rate, FWT）
- 3）后向迁移率（Backward Transfer Rate, BWT）[11, 22]
FWT ：评估从先前任务中获得的知识对执行新任务初始能力的影响（在针对新任务进行专门训练之前）：
$$
FWT = \frac{1}{T-1} \sum_{i=2}^{T-1} A_{T,i} - \tilde{b}_i
$$
BWT 通过比较模型在学习新任务前后对旧任务的性能，衡量灾难性遗忘：
$$
BWT = \frac{1}{T-1} \sum_{i=1}^{T-1} A_{T,i} - A_{t,i}
$$
平均性能（如平均准确率）评估模型或算法在时间序列数据流或任务中有效学习和适应的能力：
$$
Avg.\ ACC = \frac{1}{T} \sum_{i=1}^{T} A_{T,i}
$$
- 其中，$ A_{t,i} $ 是模型在第 $ i $ 个任务测试集上的准确率（模型在第 $ i $ 个任务上学习后），$ \tilde{b}_i $ 是随机初始化时任务 $ i $ 的测试准确率

Evaluation for Cross-stage Forgetting

在不同阶段持续训练的 LLM 可能会遇到无意识遗忘问题 [8]，这表明持续指令微调可能会削弱 LLM 的通用知识
此外，先前研究 [15] 还表明，安全对齐的 LLM 的行为很容易受到指令微调的影响而退化
为了量化这些限制，TRACE[25] 提出了三种新颖的评估指标：
通用能力差异（General Ability Delta, GAD） ：评估 LLM 在通用任务上的性能差异（经过连续目标任务训练后）
$$
GAD = \frac{1}{T} \sum_{i=1}^{T} (R^{G}_{t,i} - R^{G}_{0,i})
$$
指令跟随差异（Instruction Following Delta, IFD） ：评估模型在连续不同任务训练后指令跟随能力的变化
$$
IFD = \frac{1}{T} \sum_{i=1}^{T} (R^{I}_{t,i} - R^{I}_{0,i})
$$
安全性差异（Safety Delta, SD） ：评估模型响应在连续训练后的安全性变化
$$
SD = \frac{1}{T} \sum_{i=1}^{T} (R^{S}_{t,i} - R^{S}_{0,i})
$$
- 其中，$ R_{0,i} $ 表示初始 LLM 在第 $ i $ 个任务上的基线性能，$ R_{t,i} $ 表示在增量学习到第 $ t $ 个任务后第 $ i $ 个任务的得分
- $ R^{G} $、$ R^{I} $ 和 $ R^{S} $ 分别表示 LLM 在通用任务（评估从预训练中获得的信息）、指令跟随任务和对齐任务上的性能。这些指标通过关注固有技能的保持和与人类偏好的对齐，超越了传统基准测试的范围

Challenges and Future Works

Computation-efficient Continual Learning

在计算效率领域，重点是以最小化计算资源的方式增强持续预训练过程 [33]
这涉及开发能够处理预训练任务日益复杂性的创新架构，而无需按比例增加计算需求
算法和数据结构的效率至关重要，尤其是在管理预训练中涉及的大量数据时
此外，节能学习模型（energy-efficient learning models）对于 LLM 的可持续扩展至关重要，需符合绿色 AI 倡议。这一领域需要在计算成本与模型性能和能力收益之间取得平衡

持续学习的社会责任包括确保隐私和数据安全，尤其是在持续指令微调的背景下 [7]
随着 LLM 通过更具体的指令或任务进行微调，必须安全且合乎道德地处理敏感或个人数据
与人类价值观和文化的对齐也至关重要，尤其是在持续偏好学习领域
这需要融入伦理 AI 原则和文化敏感性，以确保模型的输出符合社会规范和价值观

Automatic Continual Learning

一个重大挑战在于创建能够自主监督其学习过程的系统，无缝适应新任务（指令微调）和用户偏好（对齐），同时仅依赖 LLM 的固有能力，无需人工干预 [12]
自动持续学习包括能够协作学习的多智能体系统和基于性能反馈自主调整学习策略的自规划算法
此类系统将代表 LLM 自主性的重大进步

Continual Learning with Controllable Forgetting

可控遗忘（Controllable Forgetting）与持续预训练尤为相关
随着模型接触新的数据流，选择性保留或遗忘信息的能力可以防止灾难性遗忘 [15] 并增强模型的适应性 [35]
这一挑战还包括管理错误信息和遗忘不正确或过时的信息 [9]，以确保 LLM 随时间推移的准确性和可靠性

Continual Learning with History Tracking

有效的历史追踪对于理解 LLM 通过预训练、指令微调和偏好学习阶段的演变至关重要
管理模型参数中的历史记录和使用外部记忆架构有助于追踪过去学习对当前模型行为和决策的影响 [26]
这对于分析持续学习过程的有效性并做出明智调整至关重要

Theoretical Insights on LLM in Continual Learning

许多评估研究已经探讨了跨阶段遗忘问题 [17]，并证明了对齐 LLM 的弱鲁棒性 [15]，但关于多阶段训练如何影响 LLM 在后续持续学习任务中性能的理论分析仍然稀缺
这一空白凸显了需要更深入地理解多阶段训练为 LLM 的学习能力和长期性能带来的具体变化

NLP——EverGreenQA(EG-E5)

注：本文包含 AI 辅助创作

参考链接：
- 原始论文：(EverGreenQA,EG-E5)Will It Still Be True Tomorrow? Multilingual Evergreen Question Classification to Improve Trustworthy QA, arXiv 20250527, Skoltech
  - 注：Skoltech 是俄罗斯斯科尔科沃科学技术研究院的简称

Paper Summary

LLM 在问答（QA）任务中经常产生幻觉（hallucination），一个关键但尚未充分探索的因素是问题的时间性：
- 即问题属于常青类（evergreen，答案随时间稳定）还是可变类（mutable，答案会变化）
本论文探讨了问题的常青性（evergreenness），即答案是否会随时间变化
- 论文测试了 LLM 检测常青性的能力，并展示了其在多个应用中的价值
- 论文提出了 EverGreenQA ，这是首个支持多语言且带有常青标签的问答数据集，可用于评估和训练，包含 7 种语言的 4,757 个示例
- 利用 EverGreenQA 数据集，论文对现代大语言模型在常青问题分类任务上的表现进行了基准测试，并训练了 EG-E5 ，一个轻量级分类器，其性能优于大语言模型和此前训练的方法
论文进一步分析了大语言模型是否通过不确定性估计隐式编码了常青性 ，发现它们确实具备一定的能力 ，且模型规模越大，表现越好
论文展示了常青分类在三个应用中的实际价值：
- 改进自我知识估计（self-knowledge estimation）：论文通过预测的常青概率增强了现有的不确定性估计方法 ，取得了稳定的改进
- 过滤问答数据集：论文展示了常青分类器有助于筛选高质量的问答数据集，支持更可靠和公平的评估
- 解释 GPT-4o 的检索行为：论文证明常青性是预测 GPT-4o 搜索行为的最佳指标，优于所有其他测试因素

Introduction and Discussion

大语言模型在问答任务中常因幻觉答案而表现不佳（2025）
为提高可信度，近期研究聚焦于：
- 估计模型的自我知识（self-knowledge），即识别自身已知与未知的能力（2023；2025）
- 通过检索增强生成（Retrieval-Augmented Generation, RAG）整合最新外部信息（2024；2024；2023）
未充分探索 ，同时确是影响问题难度的关键因素是其是否为常青（evergreen）或可变（mutable）问题（2024a），即正确答案是否随时间稳定（如图 1 所示）
- 可变问题尤其具有挑战性，因为它们通常需要访问最新信息，而这些信息可能未包含在模型的固定参数化知识中
常青性（evergreen-ness）具有实际重要性，但在评估和改进大语言模型行为时，它仍是一个未被充分探索的因素
- 现有研究大多局限于小规模、仅限英语的数据集，且主要关注问答准确性，很少探讨其更广泛的影响（2024；2024）
- 问题常青性在塑造大语言模型可靠性和可解释性中的作用仍未被充分研究
为填补这一空白，论文开展了关于问题常青性及其实际应用的全面研究
论文提出了 EverGreenQA ，这是首个多语言人工标注的常青感知问答数据集，包含适合模型训练的训练-测试划分
基于 EverGreenQA ，论文评估了 12 个现代大语言模型，判断它们是否通过显式（直接提示，through direct prompting）或隐式（基于不确定性的信号，via uncertainty-based signals）方式编码时间性知识
此外，论文还开发了 EG-E5 ，一个轻量级的，截止到当前最优的分类器，用于识别常青问题
论文展示了 EG-E5 在多个下游任务中的实用性：
- （1）改进自我知识估计
- （2）筛选问答数据集以支持更公平的评估
- （3）有效解释 GPT-4o 的黑盒检索行为
论文的贡献和发现如下：
- 1）构建了 EverGreenQA ，首个用于问题常青性分类的多语言数据集，涵盖 7 种语言，共 4,757 个样本
- 2）首次全面评估了大语言模型对问题常青知识的掌握情况，通过显式信号（提示）和隐式信号（不确定性估计）评估了 12 个模型
- 3）开发了 EG-E5 ，一个轻量级多语言分类器，用于识别常青问题，在此任务上达到当前最优性能，同时适用于低计算资源场景
- 4）展示了 EG-E5 在三个应用中的价值：
  - （1）改进自我知识估计
  - （2）筛选问答数据集以实现更公平的评估
  - （3）有效解释 GPT-4o 的检索行为
论文发布了模型和数据以供进一步使用

EverGreenQA & EG-E5

Dataset Collection

论文构建了一个问答数据集，包含来自 AI 聊天助手的真实用户查询，每个问题标注为常青或可变，并提供对应的标准答案

所有问题均为事实性问题，并通过多轮内部 alpha 测试（internal alpha testing）手动验证以确保多样性和减少主题偏差

理解：Alpha Testing（α测试） 是软件开发过程中一种重要的内部测试阶段，主要用于在产品正式发布前，由开发团队或内部相关人员对软件进行系统性测试，目的是发现并修复主要的功能缺陷、性能问题和用户体验漏洞

补充：alpha 测试和 beta 测试的区别如下：

维度	Alpha Testing	Beta Testing
测试人员	内部团队/员工	外部真实用户
环境	开发/模拟环境	接近真实的生产环境
目的	修复核心缺陷，验证基本功能	收集用户反馈，优化体验
阶段	早于Beta，接近开发完成	晚于Alpha，接近正式发布

标签和标准答案由训练有素的语言学家团队手动分配，他们根据检索到的信息从头编写答案
由于初始数据集中大多数问题为可变问题，为避免训练数据偏差，论文还生成了 1,449 个仅针对常青类的合成数据（这些附加数据同样经过语言学家验证）
最终数据集包含 4,757 个问题，其中 3,487 个用于训练，1,270 个保留用于测试
数据集构建和标注的详细信息见附录 F

Dataset Translation

论文使用 GPT-4.1 将问题从俄语翻译为英语，再从英语翻译为目标语言
此前研究表明，GPT-4.1 在多种语言（包括准确处理文化差异）上表现优异（2024）
完整翻译提示见附录 B

Dataset Validation

为评估翻译质量，论文为每种目标语言招募了人类评估员，均为母语者或具备高级语言水平（B2-C1 级）
论文从测试集中随机抽取 100 个问题（50 个可变，50 个常青）进行评估
英语、希伯来语、德语和阿拉伯语的翻译未发现错误，中文仅有两处轻微不准确
评估员指导见附录 C

EG-E5 Training

论文使用多语言数据集进行训练和测试
对于验证，论文使用了 FreshQA（2024）的开发集和测试集，将其快速变化和慢速变化类别合并为可变标签
为与多语言设置一致，FreshQA 数据被翻译为所有目标语言
论文尝试了多语言版本的 BERT（2019）、DeBERTaV3（2023）和 E5（2024）作为编码器
最佳性能由 E5-Large 模型实现，论文将其称为分类器 EverGreen-E5 (EG-E5)
超参数细节和消融实验结果见附录 A

Are LLMs Aware of Evergreenness?

在本节中，论文评估现代 LLM 是否能可靠地判断一个问题是否为常青问题（evergreen）
论文测试了12种不同架构的 LLM，完整细节见附录A

Verbalized Evergreen Awareness

为了评估LLM是否能显式识别常青问题，论文通过提示（prompting）让每个模型给出二元的“是/否”答案
论文还纳入了两种专门训练的方法：
- UAR (2024)：一种基于 LLaMA2-13B 微调的模型，用于分类常青问题
- MULAN (2024)：基于维基数据（Wikidata）中可变（mutable）和常青样本的分类器
结果：表2显示，论文提出的分类器 EG-E5 在所有语言中均表现最佳，显著优于通用LLM和专门训练的模型
- 在LLM中，LLaMA 3.1 70 和 Qwen 2.5 32B 表现最强，GPT-4.1稍逊一筹
论文观察到不同语言的性能存在差异，但无明显差距，即使对于非拉丁语系（如阿拉伯语、中文、俄语）也是如此
基线方法 UAR 和 MULAN 的表现远逊于 LLM 和 EG-E5，这可能是因为它们对 QA 数据集的常青性假设过于简化
Takeaway：EG-E5 超越了 few-shot LLMs 和之前的方法，这些方法较差原因是他们训练数据中包含非真实的假设

Internal Evergreen Awareness

论文进一步通过不确定性估计（uncertainty estimation）评估 LLM 是否隐式编码了问题的常青性信息
论文从测试集中抽样 400 个问题（200 个常青，200 个可变），并采用两种广泛使用的不确定性度量方法 (2024; 2025)：
- 困惑度（Perplexity） ：预测序列的逆概率，按长度归一化。对于 Token 序列 $x_{1},\ldots,x_{T}$，定义为：
  $$
  \text{PPL} = \exp\left(-\frac{1}{T}\sum_{t=1}^{T}\log p(x_{t}\mid x_{ < t})\right)
  $$
- 平均 Token 熵（Mean Token Entropy） ：模型预测 Token 分布的平均熵：
  $$
  \text{Entropy} = -\frac{1}{T}\sum_{t=1}^{T}\sum_{w\in V}p_{t}(w)\log p_{t}(w)
  $$
  - 其中 $p_{t}(w)$ 是位置 $t$ Token $w$ 的预测概率，$V$ 是词汇表
结果：表3显示，大多数模型的不确定性与常青性仅呈现弱相关性（mild correlations），其中 Mistral 7B 和 Qwen 2.5 32B 的信号最强
论文还发现一个微弱趋势：
- 更大规模的模型，（不确定性与）常青性的相关性更强，可能表明其对时间线索的内部依赖更强
- 困惑度和熵的表现无显著差异
- 总体而言，不确定性信号能捕捉部分时间信息 ，但明显弱于显式表达的判断
- 更多分析见附录E
Takeaway：不确定性指标编码了常青性中的弱且不一致的信号，且在更大的模型中有微弱更强的趋势

Enhancing Self-Knowledge

本节评估结合问题常青性知识是否能改进自我知识（self-knowledge）估计，即模型识别自身知识边界并判断能否回答问题的能力 (2025; 2023)
这一能力被视为提升 LLM 可信度的关键因素

Task formulation

论文将自我知识估计定义为二分类任务，目标标签 $y\in\{0,1\}$ 表示模型对输入 $x$ 的答案是否正确
每种评估方法为输入分配一个实值自我知识分数 $f(x)\in\mathbb{R}$

Methods

论文使用 LLaMA3.1-8B-Instruct 和五种广泛采用的高性能不确定性估计器进行评估，这些方法代表不同的不确定性量化家族（如基于 logit 和一致性的方法）：
- 最大 Token 熵（Max Token Entropy） ：计算 Token-level 熵并取序列最大值作为最终分数 (2020)
- 平均 Token 熵（Mean Token Entropy） ：类似上述方法，但通过平均 Token-level 熵值聚合序列 (2020)
- 词汇相似性（Lexical Similarity） ：通过计算多响应间的平均词汇重叠估计不确定性，作为输出一致性的代理 (2020)
- SAR ：结合熵与语义重要性加权，对序列调整后的熵值求和 (2023)
- EigValLaplacian ：构建响应相似图，计算其拉普拉斯矩阵特征值和以量化响应多样性 (2023)
对于每种方法，论文评估结合常青问题预测概率（来自EG-E5分类器）的效果
最终自我知识分类器 $f(x)$ 的训练使用标准机器学习模型，输入特征为不确定性估计指标（若适用则加入常青概率）
- 标准分类模型，包括：包括随机森林，决策树等
完整训练流程见附录D

Evaluation

论文采用文献中广泛使用的标准指标 (2024; 2025)：
- AUROC ：衡量模型基于 $f(x)$ 区分正确答案与错误答案的能力，值越高表示可分性越强
- AUPRC ：量化不同决策阈值下精确率与召回率的权衡，对不平衡数据集尤为重要
- 预测拒绝率（Prediction Rejection Ratio, PRR） ：模拟拒绝最不确定的响应，追踪平均质量的提升，值越高表示不确定性与答案正确性的校准越好

Datasets

论文在 6 个 QA 数据集上评估方法，涵盖单跳（single-hop）和多跳（multi-hop）推理
单跳数据集包括 SQuAD v1.1 (2016)、Natural Questions (2019) 和 TriviaQA (2017)，多跳数据集包括 MuSiQue (2022)、HotpotQA (2018) 和 2WikiMulti-HopQA (2020)

Results

如表 4 所示，常青概率是改进自我知识识别的强信号
在 18 项评估中，16 项的最佳结果由常青特征单独或结合不确定性估计方法取得
此外，它能改进校准（PRR），对实际应用极具价值
值得注意的是，常青特征在 AUPRC 上表现突出，在 4 个数据集中排名第一，表明常青性是模型是否具备可靠知识的强指标
然而，论文也发现一致模式：常青性在 AUPRC 上得分高，但在 AUROC 上较低
- 这表明该特征虽能有效识别模型“知道答案”的情况，但对“不知道答案”的判别较弱（真阴性区分能力不足）
- 换言之，若问题是常青的，模型很可能正确回答；但若问题非常青，结果更难预测
Takeaway：常青概率持续提升 self-knowledge 评估和校准（calibration），在 18 个设定下实现了 16 个 top 结果
问题：本节的自我知识分类器 $f(x)$ 的特征和 label 是什么？训练后的 $f(x)$ 用来做什么？

Filtering QA with Evergreen

在本节中，论文展示了 Evergreen 分类在过滤 QA 数据集中的价值，通过排除可变问题（mutable questions），可以实现更公平的评估
- 论文使用了与第 5 节“自我知识”相同的模型设置
QA 数据集理想情况下应仅包含 Evergreen 问题，这一点在 SimpleQA (2024a) 中得到了强调
- 为了实现这一目标，SimpleQA 依赖于人工标注者评估问题的 Evergreen 性
- 相比之下，EG-E5 支持自动化数据集整理，无需手动标注，从而促进了大规模 QA 语料库的构建

Popular QA Datasets Analysis

可变问题对公平的 QA 评估提出了严峻挑战：
- 过时的黄金答案（outdated gold answers）可能导致现代 LLM 的正确回答被误判为错误，尤其是在模型在不同时间被评估时
示例：表 5 展示了六个数据集（见第 5.4 节）中的可变问题示例，这些问题的答案在 2025 年已与原参考答案不同
- 这些示例包括简单和复杂的查询，甚至来自最近发布的数据集如 MuSiQue (2022)
- 变化的性质多样：有些是可预测的（如奥运会主办城市、人口数据），有些是偶发的（如职位名称或配偶），还有一些是意外的（如君主、GDP 排名）
统计数据 ：表 6 显示，可变问题仍然普遍存在，在 NQ 中占比高达 18%，平均占数据集的 10%
- 这一现象挑战了 QA 基准具有时间稳定性的普遍假设，并引发了对评估公平性的担忧
- 为确保可靠性，可变问题应被过滤掉，或者需要维护实时基准如 RealTimeQA (2024)，尽管后者成本较高
错误的假设 ：UAR (2024) 隐含假设数据集具有 Evergreen 性，而 MULAN (2024) 将许多问题视为不可变，但实际上某些关系（e.g., Wikidata’s P190, “sister cities”）可能会变化
- 这种不匹配可能解释了这些方法在面对时间漂移时实际效果有限的原因
Takeaway：QA 基准包含可变问题，破坏了评估的公平性。过滤这些问题对可靠性评估非常重要

Filtered QA Performance

零样本性能 ：如表 6 所示，模型在 Evergreen 问题上的准确率始终更高，在复杂任务中的相对差异高达 40%
- 这与预期一致，因为可变问题通常需要模型静态知识之外的实时信息
RAG 的优势 ：论文展示了模型在回答可变问题时通常更能从带有黄金上下文的 RAG 中受益，相对增益高达 30%
- 然而，在可变问题样本较少的数据集中，这种效果会减弱

Explaining GPT-4o Retrieval

GPT-4o 通过内部的黑盒标准自主决定何时调用其检索系统
论文发现，问题的 Evergreen 性是这种行为的最强预测因子，这表明 GPT-4o 对外部搜索的使用与输入的时间性质密切相关
论文使用了与第 4.2 节相同的子集，并通过其网络接口查询 GPT-4o，记录是否触发了检索调用
除了 Evergreen 标签外，论文还评估了第 4.2 节中的几种基于不确定性的信号以及 EG-E5 ，以评估它们与 GPT-4o 检索决策的相关性
如表 7 所示，Evergreen 性和 EG-E5 预测比任何基于不确定性的信号都强得多（信息量是后者的两倍以上）
这表明 GPT-4o 可能在内部建模问题的时间性，或者其检索策略对时间性高度敏感
Takeaway：常青性是 GPT-4o 的检索行为中最强的预测者（Predictor），表明检索和时序是强相关的

Error Analysis

论文从 EverGreenQA 数据集的测试部分中选取了样本，并对 EG-E5 分类器的错误进行了定性分析
表 8 展示了按原因分组的假阳性和假阴性示例
- 值得注意的是，分类器在涉及最高级表达时表现出较高的不确定性，有时将其标记为易变的，而其他时候则将“最”“最大”或“最健康”等趋势敏感短语误解为普遍固定的
其他错误包括将活人的成就误分类为已故，以及错误地将稳定的地理或生物事实视为时间敏感的
有趣的是，假阴性的数量是假阳性的两倍
- 这表明分类器在判断问题是否涉及稳定事实时更为谨慎
在某些情况下，外部信息至关重要
- 例如，如果一个人已去世，所有关于他的问题都将是 Evergreen 的，但模型需要知道该人是否仍在世
- 类似地，关于最近年份（如 2023-2024）的问题也带来了挑战，因为模型缺乏对当前日期的感知
在其他情况下，模型在组织和区分其知识方面还有改进空间
- 例如，学习区分真正稳定的物理事实（如列支敦士登的面积）和更易变的事实（如天空中最亮的恒星），或区分已完成的历史事件（如法国大革命）和正在发展的动态（如即将举行的总统选举）
更多示例见附录 G

时间推理在问答任务中仍是一个基础性挑战，因为时间动态性常常使问题解释和答案检索变得复杂
- 时间敏感的问答任务得益于如 TimeQA（2021）等数据集的改进，该数据集包含 20,000 个需要时间推理的问题-答案对
  - 尽管有帮助，但它仅涉及简单推理
- SituatedQA（Zhang 和 Choi，2021）通过将问题置于时间和空间上下文中，展示了语境的重要性
- StreamingQA 强调了时间适应的必要性，揭示了大语言模型在跟踪变化事实时的困难（2022）
- TemporalAlignmentQA (TAQA) （2024）通过提供 2000 年至 2023 年每年 20,000 个时间敏感问题及其答案，进一步增强了时间对齐的可能性
- MuLan（2024）根据变化率和事实类型对问题进行了区分
- FreshQA（2024）提出了一个专注于新鲜度敏感信息的基准，进一步说明了大语言模型在处理时间动态知识时的局限性
- 这些研究表明需要专门的时间推理方法（2024）
- 表 1 展示了数据集的对比
检索增强生成（RAG）方法，如 DRAGIN（2024）、IRCoT（2023）或 Rowen（2024），通过动态检索决策解决了时间敏感问答问题，但效果有限
- 动态检索决策需要自我知识估计
- 在问答系统被信任之前，它们需要知道自己不知道什么
- 大语言模型通常难以识别无法回答的问题（2023），但利用自我知识（self-knowledge）可以减少需要大量知识的任务中的错误（2023；2025）
  - 问题：这里的 self-knowledge 是什么？是模型自己的内容知识吗？
基于检索的方法从外部解决了时间知识缺口（temporal knowledge gaps externally），另一种方向是更新大语言模型的内部知识
- 更新大语言模型的内部知识计算成本高昂，因为重新训练或编辑模型通常需要大量资源，且无法在实际中每天或每小时执行
诸如 LLM Surgery（2024）和参数高效微调（2024；2025）等技术试图使此类更新更实用，但仍面临大规模变更或事实幻觉的问题

Limitations

尽管论文的 EverGreenQA 数据集是首个多语言、人工标注的常青性基准测试，但其规模仍相对较小（3,278 个示例）
- 不过，它覆盖了 7 种语言的高质量数据，足以揭示模型行为的明确趋势
虽然论文涵盖了 7 种语言，但数据集并未覆盖所有主要语系，且在低资源语言环境中的表现仍有待探索
- 尽管如此，论文的选择包括了拉丁和非拉丁文字，能够进行有意义的多语言评估
论文对大语言模型的评估涵盖了 14 个不同规模和家族的模型，但主要聚焦于每个规模层级的代表性模型
- 扩展到更多指令调优或领域适配的变体可能会进一步推广研究结论
在基于不确定性的分析中，论文聚焦于五种代表性指标
- 尽管这些指标被广泛使用且足以得出强有力的结论，但引入更多最新或任务特定的指标可能会提供更多洞见
论文训练的常青分类器表现优异，但仅对其架构、训练过程和辅助数据的使用进行了有限的消融实验
- 探索更多模型变体或迁移学习策略可能会进一步提升鲁棒性
最后，尽管论文展示了常青分类的几种实际用途，但并未探索其在主动学习（active learning）、答案校准（answer calibration）或搜索重排序（search reranking）等任务中的潜力
- 这些有前景的方向留待未来工作

附录A Evergreen Testing Details

LLM 的文本参数

每个示例包含 5 个可变（mutable）和 5 个不可变（immutable）的样本
对于 LLaMA 3.1，采样参数如下：
- 温度（temperature）= 0.7
- top_p = 0.9
对于 Qwen 2.5：
- 温度 = 0.6
- top_p = 0.95
- top_k = 20
- min_p = 0

分类器参数

分类器模型训练参数如下：
- 所有模型训练了10个周期（epoch）
- 采用早停（early-stopping）策略
- 学习率（lr）= 4.6e-5
- 批量大小（batch size, bs）= 16
- 未使用额外数据集
- 论文为所有语言训练了一个统一模型
如表10 所示，multilingual-e5-large-instruct 表现最佳
Evergreen Verbal Instruction

You are a helpful assistant. You help user to classify the questions based on the tem- porality. There are two classes: immutable and mutable. Immutable, in which the an- swer almost never changes. Mutable, in which the answer typically changes over the course of several years or less. Think about each question and in the end answer with Mutable or Immutable starting with ’Classi- fication:’

附录B Translation Prompt

翻译验证指令（Translation Validation Instruction） ：将以下英文文本翻译为法语、德语、希伯来语、阿拉伯语和中文。以JSON格式提供翻译结果，键名为“French”、“German”、“Hebrew”、“Arabic”和“Chinese”
Translation Validation Instruction :

Translate the following English text into French, German, Hebrew, Arabic and Chi- nese. Provide the translations as a JSON object with keys ’French’, ’German’, ’He- brew’, ’Arabic’, ’Chinese’.
论文使用GPT-4.1，温度参数（temperature）= 0.2，并添加标签 "response_format": "json_object"

附录C Validation Instructions

验证指令 ：对每个翻译的问题，根据以下标准打分：
- 0 ：翻译包含扭曲原意的错误
- 1 ：翻译包含不影响整体含义的轻微错误
Translation Validation Instruction：

For each translated question, assign a score according to the following criteria:
• 0 – the translation contains errors that distort the meaning.
• 1 – the translation contains minor er- rors that do not affect the overall mean- ing.

附录D Classifier for Self-Knowledge

论文探索了七种分类模型（使用scikit-learn (2013) 和CatBoost (2020)）：
- 逻辑回归（Logistic Regression）
- k近邻（k-Nearest Neighbors）
- 多层感知机（Multilayer Perceptron）
- 决策树（Decision Tree）
- 随机森林（Random Forest）
- 梯度提升（Gradient Boosting）
- CatBoost
所有模型均使用标准化特征（StandardScaler）训练，超参数在训练数据的 100 个示例子集上优化，并在每个数据集上重复三次实验以确保鲁棒性
最终评估时，论文选择验证集上表现最佳的两个模型，使用 VotingClassifier 将其组合为软投票集成（soft-voting ensemble）
每个组件模型均使用调优后的超参数在全训练集上重新训练

超参数网格

逻辑回归 ：C: [0.01, 0.1, 1]，求解器（solver）: [lbfgs, liblinear]，类别权重（class_weight）: [balanced, 0:1, 1:1, None]，最大迭代次数（max_iter）: [10000, 15000, 20000]
k近邻 ：n_neighbors: [5, 7, 9, 11, 13, 15]，距离度量（metric）: [euclidean, manhattan]，算法（algorithm）: [auto, ball_tree, kd_tree]，权重（weights）: [uniform, distance]
多层感知机 ：隐藏层大小（hidden_layer_sizes）: [(50), (100), (50,50), (100,50), (100,100)]，激活函数（activation）: [relu, tanh]，求解器: [adam, sgd]，alpha: [0.00001, 0.0001, 0.001, 0.01]，学习率（learning_rate）: [constant, adaptive]，早停（early_stopping）: True，最大迭代次数: [200, 500]
决策树 ：最大深度（max_depth）: [3, 5, 7, 10, None]，最大特征数（max_features）: [0.2, 0.4, sqrt, log2, None]，分裂标准（criterion）: [gini, entropy]，分裂器（splitter）: [best, random]
CatBoost ：迭代次数（iterations）: [10, 50, 100, 200]，学习率: [0.001, 0.01, 0.05]，深度（depth）: [3, 4, 5, 7, 9]，bootstrap类型（bootstrap_type）: [Bayesian, Bernoulli, MVS]
梯度提升 ：n_estimators: [25, 35, 50]，学习率: [0.001, 0.01, 0.05]，最大深度: [3, 4, 5, 7, 9]，最大特征数: [0.2, 0.4, sqrt, log2, None]
随机森林 ：n_estimators: [25, 35, 50]，最大深度: [3, 5, 7, 9, 11]，最大特征数: [0.2, 0.4, sqrt, log2, None]，bootstrap: [True, False]，分裂标准: [gini, entropy]，类别权重: [balanced, 0:1, 1:1, None]

附录E Predictive Analysis of Uncertainty for Temporality

表9 报告了逻辑回归模型的 McFadden’s pseudo-$R^2$ value ，该模型基于两种不确定性指标（困惑度（perplexity）和平均 Token 熵（mean token entropy））预测问题是否为常青（evergreen）
- 注：McFadden’s pseudo-$R^2$ value 即麦克法登伪 $R^2$ 值，是一种用于评价非线性模型，特别是逻辑回归模型等定性选择模型拟合优度的指标。该指标的取值范围是从 0 到小于 1，其值越接近 0，表明模型没有预测能力；值越接近 1，说明模型对数据的拟合效果越好，即模型能够解释因变量的变异程度越高
大多数模型的伪 pseudo-$R^2$ 值低于 0.07，表明不确定性对常青分类的预测能力有限
唯一例外是 Phi-3-medium (128k)，其困惑度得分最高（0.137），表明长上下文训练可能改善时间性不确定性的编码，但仍非常有限
两种不确定性指标无显著优劣，模型大小与预测性能也无明确相关性
结果表明，不确定性指标仅能捕捉有限的时间性信号，适合作为辅助特征而非独立预测器

附录F Dataset Collection Details

负责标注常青和可变标签（evergreen/mutable）及生成标准答案（golden answers）的语言学家团队均持有语言学学士以上学位，确保标注质量
每阶段标注均通过团队负责人验证以保证一致性
此外，为支持多样化应用，所有答案均转换为别名集合，具体流程见附录F.4
标注人员薪酬符合当地法规（注：这也太谨慎了）

Golden Answers Annotation

标准答案需完整且对用户有用

优质答案示例

问题：谁被视为物理学的奠基人？
- 答案：艾萨克·牛顿（Isaac Newton）被广泛认为是物理学的奠基人
- 注释：问题为单数形式，而根据多数来源，牛顿是经典物理学的奠基人。尽管伽利略和笛卡尔也有贡献，但牛顿是最被广泛接受的答案
问题：2000年意大利总统是谁？
答案：Carlo Azeglio Ciampi 是意大利政治家，曾任意大利共和国第10任总统及总理

不完整答案示例

问题：蜘蛛有牙齿吗？
- 答案：是的，蜘蛛有牙齿
- 注释：正确答案应为“蜘蛛没有牙齿，但有螯肢（chelicerae），可分泌消化酶。”
开放式列表问题（如“最高的山有哪些？”）需列出多个正确示例并注明非穷举

Evergreen-ness Annotation

常青性标准因领域而异
多数问题涉及已确立的事实或事件，但天文学等领域的新发现可能改变答案
政治领导人类问题（如“现任总统是谁？”）显然非常青

可变问题示例

1）最近一次日食是哪年？
2）哪个国家拥有最长铁路？

常青问题示例

1）罗马帝国分裂为哪两部分，何时发生？
2）梅西是谁？

Synthetic Data Generation

使用 GPT-4.1 生成并人工验证了 1,449 个额外问答对
过滤重复问题并改写常见模板（如“某人年龄”）
仿照 FreshQA 风格，生成常青和可变问题，后者进一步分为慢变（slow-changing）和快变（fast-changing）两类，以增强数据多样性
合成指令 ：
- “请生成以下类型的问答对：慢变问题（答案通常几年内变化）、快变问题（答案一年内变化）、永不变问题（答案永不变化）。”
Synthetic Instruction:

Can you generate different question-answer pair: slow-changing questions, in which the answer typically changes over the course of several years (up to 10); fast-changing question, in which the answer typically changes within a year or less; never-changing, in which the answer never changes.

Short-Answer Generation Prompt

简短答案生成器指令 ：
- 给定一个事实性问题和完整（可能较长）答案，生成多个简洁且语义等价的答案变体
- 规则：
  - 1）每个变体必须事实正确且独立回答问题
  - 2）尽量简短（约1–5词），同时保持无歧义
  - 3）包含常见拼写、缩写、数字与罗马数字形式
  - 4）不添加答案未明确包含的信息
  - 5）返回如 JSON 对象：{ "answers": ["变体1", "变体2", ...] }
- 示例：
  - 问题：“英国国王是谁？”
  - 答案：“英国国王是查尔斯三世（Charles Philip Arthur George）。”，["查尔斯3世", "国王是查尔斯3世", "Charles III"]
论文使用 GPT-4o（温度=0.2）并添加了 “response_format”: “json_object” 标签，从长 form 中生成简短 form 答案，便于比较 LLM 的性能

附录G Error Analysis Extended

表11 扩展了EG-E5分类器的错误模式分析，包括更多误分类示例
误报（False Positives） ：
- 时间性表述误为固定历史事实（如“俄罗斯总统选举在哪年举行？”）
- 最高级假设为静态事实（如“最健康的茶是哪种？”）
漏报（False Negatives） ：
- 最高级误为时间敏感（如“最古老的货币是什么？”）
- 生物地理事实误为频繁变化（如“列支敦士登的面积是多少？”）
完整示例见附录G

附录H License and Infrastructure

实验使用 1–2 块 NVIDIA A100 GPU，总计约 40 GPU 小时
模型遵循各自许可：LLaMA 3.1 (2024) 和 Gemma 2 (2024) 为自定义许可，Phi-3 (2024) 和 E5 为 MIT 许可，Qwen 2.5 (2024) 和 Mistral (2023) 为 Apache 2.0 许可
GPT模型通过 API 或网页界面访问
数据集和分类器以 MIT 许可发布

NLP——技术报告解读-Kimi-K1.5

注：本文包含 AI 辅助创作

参考链接：
- 原始论文：Kimi K1.5: Scaling Reinforcement Learning with LLMs, Moonshot AI (Kimi), 20250103
- Kimi K1.5: Long Context RL 的成功实践 - Chayenne Zhao的文章 - 知乎
  - 包含关于 partial Rollout 方法较为详细的讨论

Paper Summary

论文报告了最新多模态大语言模型 Kimi K1.5 的训练实践，包括其 RL 训练技术、多模态数据配方和基础设施优化
- 并从实践中总结了一个关键结论：上下文长度的扩展对于持续提升大语言模型的性能至关重要
论文通过优化的学习算法和 Infra 优化（如部分轨迹回放，partial rollouts）实现了高效的长上下文强化学习训练
论文结合了多种技术改进了策略优化（policy optimization）
- 为长思维链 RL 制定了数学框架，并推导出一种在线镜像下降（online mirror descent）的变体以实现鲁棒的优化
- 通过实验验证了采样策略（sampling strategies）、长度惩罚（length penalty）和数据配方优化（data recipe optimization）对强化学习性能的提升作用
即使不依赖更复杂的技术（如 MCTS、价值函数和过程奖励模型），仅通过长上下文扩展和改进的策略优化也能实现强大的性能
作者还观察到长到短（long2short）方法的潜力（即利用长思维链（long-CoT）技术改进短思维链（short-CoT）模型）
- 这些方法显著提升了短思维链模型的性能
- 可以尝试将长到短方法与长思维链强化学习迭代结合，以进一步提高给定上下文长度预算下的 Token Efficient 和性能
论文建立了一个简单而有效的 RL 框架，无需依赖更复杂的技术（如蒙特卡洛树搜索、价值函数和过程奖励模型），其关键组成部分包括：
- 长上下文扩展（long context scaling）
- 改进的策略优化方法（policy optimization methods）
论文的系统在跨多模态的多个基准测试中实现了 SOTA 推理性能，与 OpenAI 的 o1 模型相当
论文提出了有效的长到短（long2short）方法（利用长思维链技术改进短思维链模型）实现了 SOTA 短思维链推理结果，大幅超越现有短思维链模型（如 GPT-4o 和 Claude Sonnet 3.5），优势最高达 +550%

Introduction and Discussion

在扩展定律（scaling law）的背景下，基于 NTP 的语言模型预训练已得到广泛研究
- 其中模型参数和数据规模的成比例扩展会带来智能的持续提升 (2020; 2022)
- 但这种方法受限于可用高质量训练数据的数量 (2024; 2023)
论文介绍了 Kimi K1.5 的训练配方，这是论文最新通过 RL 训练的多模态大语言模型
- 目标是探索一种可能的新扩展方向
- 通过将 RL 与大语言模型结合，模型能够通过奖励驱动的探索进行学习，从而不再受限于静态的预存数据集
K1.5 的设计和训练包含以下几个关键要素：
- 长上下文扩展（Long context scaling） ：
  - 论文将 RL 的上下文窗口扩展至 128k，并观察到随着上下文长度的增加，性能持续提升
  - 论文方法的核心思想是通过部分轨迹回放（partial rollouts）提高训练效率（即通过重用先前轨迹的大部分内容来采样新轨迹，避免从头重新生成新轨迹的成本）
  - 论文的观察表明，上下文长度是大语言模型 RL 持续扩展的关键维度
- 改进的策略优化（Improved policy optimization） ：
  - 论文推导了长思维链 RL 的公式化表示，并采用了一种在线镜像下降（online mirror descent）的变体进行鲁棒策略优化
  - 该算法通过有效的采样策略、长度惩罚（length penalty）和数据配方的优化进一步改进
- 简洁框架（Simplistic Framework） ：
  - 长上下文扩展与改进的策略优化方法相结合，为大语言模型学习建立了一个简洁的 RL 框架
  - 由于论文能够扩展上下文长度，学习到的思维链展现出规划（planning）、反思（reflection）和修正（correction）的特性
  - 增加的上下文长度相当于增加了搜索步数。因此，论文证明即使不依赖更复杂的技术（如蒙特卡洛树搜索、价值函数和过程奖励模型），也能实现强大的性能
- 多模态（Multimodalities） ：
  - 论文的模型联合训练文本和视觉数据，具备跨两种模态联合推理的能力
论文还提出了有效的长到短方法，利用长思维链技术改进短思维链模型
- 包括对长思维链激活应用长度惩罚以及模型融合（model merging）
论文的长思维链版本在跨多模态的多个基准测试中实现了 SOTA 推理性能
- AIME 77.5 分
- MATH 500 96.2 分
- Codeforces 94% 分位数
- MathVista 74.9 分
- 与 OpenAI 的 o1 模型相当
论文的短思维链模型也实现了 SOTA 推理结果
- AIME 60.8 分
- MATH500 94.6 分
- LiveCodeBench 47.3 分
- 大幅超越现有短思维链模型（如 GPT-4o 和 Claude Sonnet 3.5），优势最高达 +550%
结果如图 1 和图 2 所示

Approach: Reinforcement Learning with LLMs

Kimi K1.5 的开发包含多个阶段：
- 预训练（pretraining）
- 基础监督微调（vanilla supervised fine-tuning, SFT）
- 长思维链监督微调（long-CoT supervised fine-tuning）
- RL
本报告重点关注强化学习部分：
- 概述 RL 提示集构建（Section 2.1）
- 概述长思维链监督微调（Section 2.2）
- 深入讨论 RL 训练策略（Section 2.3）
注：预训练和基础监督微调的更多细节可见 Section 2.5

RL Prompt Set Curation

通过初步实验，论文发现 RL 提示集的质量和多样性对强化学习的有效性至关重要
- 一个精心构建的提示集不仅能引导模型进行鲁棒推理 ，还能降低奖励破解（reward hacking）和过拟合表面模式的风险
高质量的 RL 提示集需满足以下三个关键特性：
- 多样性覆盖（Diverse Coverage） ：提示应涵盖 STEM、编程和通用推理等多个领域 ，以增强模型的适应能力并确保广泛的适用性
- 难度平衡（Balanced Difficulty） ：提示集应包含简单、中等和困难问题的均衡分布 ，以促进渐进式学习并避免过拟合特定难度级别
- 可准确评估（Accurate Evaluability） ：提示应支持通过验证器进行客观可靠的评估 ，确保模型表现基于正确的推理而非表面模式或随机猜测
多样性覆盖 ：为实现多样性覆盖，论文采用自动过滤器筛选需要丰富推理且易于评估的问题
- 数据集包含来自 STEM 领域、竞赛和通用推理任务的文本及图文问答数据
- 此外，论文开发了标签系统，按领域和学科对提示分类，确保各主题的均衡代表性（2023）
难度平衡 ：论文采用基于模型的方法，利用模型自身能力自适应评估每个提示的难度
- 对于每个提示，SFT 模型以较高采样温度生成 10 次答案 ，通过通过率（pass rate）作为难度代理
  - 通过率越低，难度越高
- 这种方法使难度评估与模型内在能力对齐，显著提升 RL 训练效果
- 通过此方法，我们可以预过滤大部分简单案例，并在 RL 训练中灵活探索不同采样策略
可准确评估 ：为避免奖励破解（2021；2022），论文需确保每个提示的推理过程和最终答案均可被准确验证
- 实证表明，某些复杂推理问题的答案可能较简单且易猜测，导致误判（即模型通过错误推理得到正确答案），论文排除了易出现此类问题的题型，如多选题、判断题和证明题
- 对于通用问答任务，论文提出一种简单有效的方法识别并移除易破解提示：
  - 要求模型在不进行思维链推理的情况下猜测答案
  - 若模型在 $N=8$ 次尝试内猜中正确答案 ，则该提示被视为易破解并被移除
- 注：开发更先进的验证模型仍是未来研究方向

Long-CoT Supervised Fine-Tuning

基于优化的 RL 提示集，论文通过提示工程构建一个小型高质量的长思维链预热数据集，包含文本和图像输入的已验证推理路径
该方法类似于拒绝采样（rejection sampling, RS），但专注于通过提示工程生成长思维链推理路径
预热数据集旨在封装人类推理的关键认知过程，包括：
- 规划（Planning） ：模型在执行前系统化步骤；
- Evaluation ：对中间步骤的批判性分析；
- 反思（Reflection） ：重新审视并优化方法；
- 探索（Exploration） ：考虑替代解决方案
通过对该数据集进行轻量级 SFT，模型能有效内化这些推理策略
微调后的长思维链模型在生成详细且逻辑连贯的响应方面表现更优，从而提升多样化推理任务的性能

Reinforcement learning

Problem Setting

给定一个训练数据集，论文的目标是训练一个策略模型 $\pi_\theta$ 以准确解决测试问题
$$\mathcal{D} = \{(x_i, y^*_i)\}_{i=1}^n$$
- 其中 $x_i$ 表示问题，$y^*_i$ 表示对应的真实答案
在复杂推理任务中，从问题 $x$ 到答案 $y$ 的映射并非直接完成
- 为解决这一挑战，思维链（Chain of Thought, CoT）方法提出使用一系列中间步骤来连接 $x$ 和 $y$：
  $$ z = (z_1, z_2, \ldots, z_m)$$
  - 其中每个 $z_i$ 是一个连贯的 Token 序列，作为解决问题的关键中间步骤 (2022)
- 在解决问题 $x$ 时，思维 $z_t \sim \pi_\theta(\cdot|x, z_1, \ldots, z_{t-1})$ 通过自回归方式采样生成，随后生成最终答案 $y \sim \pi_\theta(\cdot|x, z_1, \ldots, z_m)$
- 论文用 $y, z \sim \pi_\theta$ 表示这一采样过程
- 需要注意的是，思维和最终答案均以语言序列的形式生成
为了进一步增强模型的推理能力，可使用规划算法（planning algorithms）探索不同的思维过程，从而在推理时生成改进的思维链 (2024;)
- 规划算法的核心思想是通过价值估计显式构建一个思维搜索树
- 这使得模型能够探索思维过程的多种可能延续，或在遇到死胡同时回溯以研究新的方向
- 规划算法的具体流程如下：
  - 设 $\mathcal{T}$ 为一个搜索树，其中每个节点表示一个部分解 $s = (x, z_{1:|s|})$，包含问题 $x$ 和一系列思维
    $$ z_{1:|s|} = (z_1, \ldots, z_{|s|})$$
    - $|s|$ 表示序列中思维的数量
  - 规划算法使用一个评判模型 $v$ 提供反馈 $v(x, z_{1:|s|})$，帮助评估当前解决问题的进展并识别现有部分解中的错误
  - 反馈可以是一个判别分数或语言序列 (2024)
  - 根据所有 $s \in \mathcal{T}$ 的反馈，规划算法选择最有潜力的节点进行扩展，从而生长搜索树
  - 上述过程迭代重复，直到生成完整的解
从算法视角来看：
- 给定第 $t$ 次迭代时的历史搜索记录
  $$ (s_1, v(s_1), \ldots, s_{t-1}, v(s_{t-1}))$$
- 规划算法 $\mathcal{A}$ 迭代确定下一个搜索方向
  $$ \mathcal{A}(s_t|s_1, v(s_1), \ldots, s_{t-1}, v(s_{t-1})) $$
- 并为当前搜索进展提供反馈
  $$ \mathcal{A}(v(s_t)|s_1, v(s_1), \ldots, s_{t-1}, v(s_{t-1}))$$
- 由于思维和反馈均可视为中间推理步骤，且这些组件均可表示为语言 Token 序列，论文用 $z$ 替换 $s$ 和 $v$ 以简化符号
- 因此，论文将规划算法视为直接作用于推理步骤序列的映射
  $$ \mathcal{A}(\cdot|z_1, z_2, \ldots) $$
- 在这一框架下，规划算法使用的搜索树中存储的所有信息被扁平化为提供给算法的完整上下文
这为生成高质量思维链提供了一个有趣的视角：与其显式构建搜索树并实现规划算法，不如考虑训练一个模型来近似这一过程
- 此时，思维数量（即语言 Token 数量）类似于传统规划算法分配的计算预算
- 长上下文窗口的最新进展（注：大模型的上下文越来越长了）为训练和测试阶段的无缝扩展提供了可能
- 如果可行，这种方法将使模型能够通过自回归预测直接在推理空间中进行隐式搜索
- 因此，模型不仅学会解决一组训练问题，还培养了有效解决单个问题的能力，从而提升对未见测试问题的泛化能力
论文考虑使用 RL 训练模型生成思维链 (OpenAI, 2024)
- 设 $r$ 为一个奖励模型，用于根据真实答案 $y^*$ 判断给定问题 $x$ 的答案 $y$ 的正确性，并分配一个值
  $$ r(x, y, y^*) \in \{0, 1\} $$
- 对于可验证的问题，奖励直接由预定义的标准或规则确定
  - 例如，在编程问题中，论文评估答案是否通过测试用例
- 对于自由形式的真实答案，论文训练一个奖励模型 $r(x, y, y^*)$ 来预测答案是否与真实答案匹配
- 给定问题 $x$，模型 $\pi_\theta$ 通过采样过程 $z \sim \pi_\theta(\cdot|x)$ 和 $y \sim \pi_\theta(\cdot|x, z)$ 生成思维链和最终答案
  - 生成的思维链的质量通过其是否能导向正确的最终答案来评估
综上所述，论文考虑以下目标来优化策略：
$$
\max_{\theta} \mathbb{E}_{(x, y^*) \sim \mathcal{D}, (y, z) \sim \pi_\theta} \left[ r(x, y, y^*) \right].
$$
通过扩展强化学习训练，论文的目标是训练一个模型，使其能够结合以下两者的优势 ：
- 简单基于提示的思维链（simple prompt-based CoT）
- 规划增强思维链（planning-augmented CoT）
在推理时 ，模型仍通过自回归方式采样语言序列 ，从而避免了部署时复杂并行化的需求
这种方法与简单基于提示的方法的关键区别在于
- 模型不应仅遵循一系列推理步骤，而应通过学习关键规划技能（如错误识别、回溯和解决方案优化）来利用所有探索过的思维作为上下文信息

Policy Optimization

论文采用一种在线策略镜像下降（online policy mirror descent，OPMD）的变体作为训练算法 (Abbasi-2019; 2019; 2020)
- 该算法迭代执行
- 关于 Mirror Descent 方法的介绍见附录
在第 $i$ 次迭代时，论文将当前模型 $\pi_{\theta_i}$ 作为参考模型，并优化以下相对熵正则化的策略优化问题：
$$
\max_{\theta} \mathbb{E}_{(x, y^*) \sim \mathcal{D} } \left[ \mathbb{E}_{(y, z) \sim \pi_\theta} \left[ r(x, y, y^*) \right] - \tau \text{KL}(\pi_\theta(x) || \pi_{\theta_i}(x)) \right],
$$
- 其中 $\tau > 0$ 是控制正则化程度的参数
- 注意：是每次迭代都要求解上面的优化问题，而这个优化问题的求解可能是经过多个小步骤的，所以在不同大迭代轮次之间，参数已经发生了改变，下文中使用每次大迭代之后的策略 $\pi_{\theta_i}$ 采样样本后，实际上是一种 Off-policy 策略而不是 On-policy 策略
该目标具有闭式解：
$$
\pi^*(y, z|x) = \pi_{\theta_i}(y, z|x) \exp(r(x, y, y^*)/\tau)/Z.
$$
- 这里 $Z = \sum_{y’, z’} \pi_{\theta_i}(y’, z’|x) \exp(r(x, y’, y^*)/\tau)$ 是归一化因子
对两边取对数，论文得到对于任意 $(y, z)$ 满足以下约束，这使得论文能够在优化过程中利用 Off-policy 数据：
$$
r(x, y, y^*) - \tau \log Z = \tau \log \frac{\pi^*(y, z|x)}{\pi_{\theta_i}(y, z|x)}.
$$
我们得到以下最终代理损失函数（surrogate loss）：
$$
\color{red}{L(\theta) = \mathbb{E}_{(x, y^*) \sim \mathcal{D} } \left[ \mathbb{E}_{(y, z) \sim \pi_{\theta_i} } \left[ \left( r(x, y, y^*) - \tau \log Z - \tau \log \frac{\pi_\theta(y, z|x)}{\pi_{\theta_i}(y, z|x)} \right)^2 \right] \right]}.
$$
$\tau \log Z$ 的近似表示 ：可以使用样本 $(y_1, z_1), \ldots, (y_k, z_k) \sim \pi_{\theta_i}$：
$$
\tau \log Z \approx \tau \log \frac{1}{k} \sum_{j=1}^k \exp(r(x, y_j, y^*)/\tau).
$$
- 注：上式是对 $Z = \sum_{y’, z’} \pi_{\theta_i}(y’, z’|x) \exp(r(x, y’, y^*)/\tau)$ 的估计
$\tau \log Z$ 的近似表示改进 ：论文进一步发现，使用采样奖励的均值在实践中效果显著：
$$\overline{r} = \text{mean}(r(x, y_1, y^*), \ldots, r(x, y_k, y^*))$$
- 这是合理的，因为当 $\tau \to \infty$ 时，$\tau \log Z$ 趋近于 $\pi_{\theta_i}$ 下的期望 Reward（详细证明见附录）
最后，论文的算法（代理损失的梯度）总结如下：对于每个问题 $x$，使用参考策略 $\pi_{\theta_i}$ 采样 $k$ 个响应，梯度由下式给出：
$$
\color{red}{\frac{1}{k} \sum_{j=1}^k \left( \nabla_\theta \log \pi_\theta(y_j, z_j|x)(r(x, y_j, y^*) - \overline{r}) - \frac{\tau}{2} \nabla_\theta \left( \log \frac{\pi_\theta(y_j, z_j|x)}{\pi_{\theta_i}(y_j, z_j|x)} \right)^2 \right).}
$$
对于熟悉策略梯度方法的读者，这一梯度类似于使用采样奖励均值作为基线的策略梯度 (2019; 2024)
- 主要区别在于响应是从 $\pi_{\theta_i}$ 采样而非 On-policy 采样，并且应用了 $l_2$ 正则化
  - 注：前文中有关于 Off-policy 和 On-policy 的讨论，每次大的迭代内都包含一些小的迭代，$\pi_{\theta_i}$ 是第 $i$ 次大迭代后的策略
- 因此，可以将其视为常规 On-policy 正则化策略梯度算法在 Off-policy 情况下的自然扩展 (2017)
论文从 $\mathcal{D}$ 中采样一批问题，并将参数更新为 $\theta_{i+1}$（注：这里需要更新很多个小步骤），随后将其作为下一次迭代的参考策略
- 由于每次迭代因参考策略的变化而考虑不同的优化问题，论文在每次迭代开始时重置优化器（这里是指大的迭代）
在论文的训练系统中，论文排除了价值网络（value network），这一设计选择在先前的研究中也有采用 (2024)
- 这一选择显著提高了训练效率，论文假设传统强化学习中用于信用分配（credit assignment）的价值函数可能不适用于论文的场景
考虑一种情况：
- 模型生成了一个部分思维链 $(z_1, z_2, \ldots, z_t)$，并且存在两个潜在的下一步推理步骤 $z_{t+1}$ 和 $z’_{t+1}$
- 假设 $z_{t+1}$ 直接导向正确答案，而 $z’_{t+1}$ 包含一些错误
- 如果存在一个预言价值函数（oracle value function），它将表明 $z_{t+1}$ 相对于 $z’_{t+1}$ 具有更高的价值
  - 根据标准信用分配原则，选择 $z’_{t+1}$ 会因为相对于当前策略具有负优势而受到惩罚
- 但探索 $z’_{t+1}$ 对于训练模型生成长思维链极具价值
通过使用从长思维链推导出的最终答案的合理性作为奖励信号 ，模型可以从选择 $z’_{t+1}$ 中学习试错模式，只要它成功恢复并达到正确答案
- 理解：使用合理性作为奖励信号而不是正确性？那是否也可以将价值模型建模为这个合理性呢？这与是否使用价值网络没有关系吧！
这一例子的关键启示是，论文应鼓励模型探索多样化的推理路径，以增强其解决复杂问题的能力
- 这种探索方法生成了丰富的经验，支持关键规划技能的开发
论文的主要目标不仅限于在训练问题上实现高准确率，而是专注于使模型掌握有效的问题解决策略，最终提升其在测试问题上的表现

Length Penalty

论文观察到一种“过度思考”（overthinking）现象：即在强化学习训练过程中，模型的响应长度显著增加
虽然这带来了性能提升，但过长的推理过程在训练和推理时成本高昂，且通常不符合人类偏好
为解决这一问题，论文引入了一种长度奖励（length reward）以抑制 Token 长度的快速增长，从而提高模型的 Token Efficiency
给定问题 $x$ 的 $k$ 个采样响应 $(y_1, z_1), \ldots, (y_k, z_k)$ 和真实答案 $y^*$
- 设
  - $\text{len}(i)$ 为 $(y_i, z_i)$ 的长度
  - $\min_\text{len} = \min_i \text{len}(i)$ 和 $\max_\text{len} = \max_i \text{len}(i)$
- 如果
  - $\max_\text{len} = \min_\text{len}$
  - 论文将所有响应的长度奖励设为零，因为它们的长度相同
- 否则，长度奖励由下式给出：
  $$
  \text{len_reward}(i) = \begin{cases}
  \lambda & \text{if } r(x, y_i, y^*) = 1 \\
  \min(0, \lambda) & \text{if } r(x, y_i, y^*) = 0
  \end{cases}, \quad \text{where } \lambda = 0.5 - \frac{\text{len}(i) - \min_\text{len} }{\max_\text{len} - \min_\text{len} }.
  $$
本质上，论文的奖励思路是：
- 在正确答案中：鼓励更短的响应 ，并惩罚更长的响应；
- 在错误答案中：显式惩罚具有错误答案的长响应
- 对奖励的理解：如果答案出错，即使很短的回答也不给奖励，因为可能错误的让模型觉得应该缩短队列造成结果出错
- 这一基于长度的奖励随后通过加权参数添加到原始奖励中
在初步实验中，长度惩罚可能会导致在训练初期减缓进度
- 为缓解这一问题，论文提出在训练过程中逐步预热长度惩罚
- 具体来说，论文首先使用标准策略优化（不包含长度惩罚），随后在剩余训练中应用恒定长度惩罚

Sampling Strategies

强化学习算法本身具有相对良好的采样特性（更困难的问题提供更大的梯度），但其训练效率仍然有限
一些定义良好的先验采样方法可能带来更大的性能提升
论文利用多种信号进一步改进采样策略
- 首先，论文收集的强化学习训练数据自然带有不同的难度标签（例如，数学竞赛问题比小学数学问题更难）
- 其次，由于强化学习训练过程对同一问题多次采样，论文还可以跟踪每个问题的成功率作为难度指标
论文提出两种采样方法，利用这些先验知识提高训练效率
- 课程采样（Curriculum Sampling） ：论文首先在较简单的任务上训练模型，随后逐步过渡到更具挑战性的任务
  - 由于初始强化学习模型性能有限 ，将有限的计算预算用于非常困难的问题通常只会产生少量正确样本，导致训练效率较低
  - 同时，论文收集的数据自然包含年级和难度标签，使得基于难度的采样成为一种直观且有效的方式
- 优先级采样（Prioritized Sampling） ：除了课程采样外，论文还使用优先级采样策略 ，专注于模型表现不佳的问题
  - 论文跟踪每个问题的成功率 $s_i$，并按照与 $1 - s_i$ 成比例的概率采样问题 ，使得成功率较低的问题获得更高的采样概率
  - 这使模型能够集中精力改进其薄弱环节，从而加速学习并提升整体性能

More Details on Training Recipe

代码测试用例生成（Test Case Generation for Coding） ：
- 由于网络上许多编程问题的测试用例不可用 ，论文设计了一种自动生成测试用例的方法 ，作为训练模型的奖励
  - 问题：网络上测试用例不可用的原因是什么？是因为不专业吗？
- 论文主要关注不需要特殊评判（special judge）的问题，并假设这些问题的真实解决方案可用，以便利用这些解决方案生成更高质量的测试用例
  - 问题：不需要特殊评判是指什么？
- 论文使用广受认可的测试用例生成库 CYaRon 来增强论文的方法，测试用例的生成如下：
  - 基于问题描述，论文使用 Based Kimi K1.5 模型生成测试用例
  - CYaRon 的使用说明和问题描述作为生成器的输入
  - 对于每个问题，论文生成 50 个测试用例，并随机抽取 10 个真实提交结果对每个测试用例进行验证
    - 如果至少 7 个提交结果匹配，则该测试用例被视为有效
  - 经过这轮筛选后，论文得到一组选定的测试用例
- 如果至少 9 个提交结果通过全部选定的测试用例，则该问题及其关联的测试用例被加入训练集
- 在统计数据方面，从 1,000 个在线竞赛问题样本中，约 614 个问题不需要特殊评判
- 论文开发了 463 个测试用例生成器，生成了至少 40 个有效测试用例，最终将 323 个问题纳入训练集
- 问题：本节的描述不够清晰，还需要重新理解一下
数学奖励建模（Reward Modeling for Math）
- 评估数学解决方案的一个挑战在于，不同的书写形式可能表示相同的答案
  - 例如，$a^2 - 4$ 和 $(a + 2)(a - 2)$ 可能是同一问题的有效解
- 论文采用两种方法提高奖励模型的评分准确性：
  - 1）经典奖励模型（Classic RM） ：受 InstructGPT (2022) 方法的启发，论文实现了一个基于价值头（value-head）的奖励模型，并收集了约 800K 数据点进行微调
    - 该模型最终以“问题”、“参考答案”和“响应”作为输入，输出一个标量以指示响应是否正确
  - 2）思维链奖励模型（Chain-of-Thought RM） ：近期研究 (2024; 2024) 表明，结合思维链推理的奖励模型，在需要细微正确性标准的任务（如数学）上显著优于经典方法
    - 论文收集了约 800K 带有思维链标注的示例对 Kimi 模型进行微调
    - 基于与经典奖励模型相同的输入，思维链方法在提供最终正确性判断（以 JSON 格式输出）之前显式生成逐步推理过程，从而实现更鲁棒且可解释的奖励信号
- 在人工抽查中，经典奖励模型的准确率约为 84.4% ，而思维链奖励模型达到了 98.5% 的准确率
- 在强化学习训练过程中，论文采用思维链奖励模型以确保更准确的反馈
视觉数据（Vision Data）
- 为提升模型在真实世界图像中的推理能力，并实现视觉输入与 LLM 的更有效对齐，论文的视觉强化学习（Vision RL）数据主要来源于三个类别：
  - 真实世界数据
  - 合成视觉推理数据
  - 文本渲染数据
- 1）真实世界数据（Real-world data） ：
  - 涵盖需要图形理解和推理的各年级科学问题、需要视觉感知和推理的位置猜测任务，以及涉及理解复杂图表的数据分析等
  - 这些数据集提升了模型在真实场景中的视觉推理能力
- 2）合成视觉推理数据（Synthetic visual reasoning data） ：
  - 人工生成的图像和场景，旨在提升特定的视觉推理技能，如理解空间关系、几何模式和物体交互
  - 这些合成数据集为测试模型的视觉推理能力提供了可控环境，并提供了无限的训练样本
- 3）文本渲染数据（Text-rendered data） ：
  - 通过将文本内容转换为视觉格式，确保模型在处理不同模态的文本查询时保持一致
  - 通过将文论文档、代码片段和结构化数据转换为图像，论文确保无论输入是纯文本还是渲染为图像（如截图或照片），模型都能提供一致的响应
  - 这也有助于增强模型处理 text-heavy 图像的能力
- 每种类型的数据对于构建全面的视觉语言模型都至关重要，使其能够有效管理广泛的真实应用，同时确保跨不同输入模态的一致性能

Long2short: Context Compression for Short-CoT Models（长到短：短链思维模型的上下文压缩）

尽管长链思维（long-CoT）模型表现出强大的性能，但与标准的短链思维（short-CoT） LLM 相比，它在测试时需要消耗更多的 Token
论文将长链思维模型的思维先验（thinking priors）迁移到短链思维模型中，从而在有限的测试 Token 预算下提升性能
本节介绍了几种解决这一“长到短”（long2short）问题的方法，包括
- 模型融合（model merging）
- 最短拒绝采样（shortest rejection sampling）
- 直接偏好优化（Direct Preference Optimization, DPO）
- 长到短强化学习（long2short RL）
模型融合（Model Merging）
- 模型融合在保持泛化能力方面已被证明是有效的
- 论文还发现，在融合长链思维模型和短链思维模型时，该方法能显著提升 Token Efficient
- 具体而言，论文通过简单地对两个模型的权重进行平均来实现融合：
  $$
  \theta_{\text{merged} } = \frac{\theta_{\text{long-CoT} } + \theta_{\text{short-CoT} } }{2}
  $$
  - 其中，$\theta_{\text{long-CoT} }$ 和 $\theta_{\text{short-CoT} }$ 分别表示长链思维模型和短链思维模型的参数
最短拒绝采样（Shortest Rejection Sampling）
- 论文观察到，对于同一问题，模型生成的响应长度存在较大差异
- 最短拒绝采样方法对同一问题采样 $n$ 次 ，并选择其中最短的正确响应用于 SFT
  - 注：实验中 $n=8$
直接偏好优化（DPO）
- 与最短拒绝采样类似，论文利用长链思维模型生成多个响应样本
- 选择最短的正确解作为正样本 ，而较长的响应作为负样本
  - 包括 错误的较长响应 和 比所选正样本长 1.5 倍的正确响应
- 这些正负样本对构成了用于 DPO 训练的成对偏好数据
长到短强化学习（Long2short RL）
- 在标准强化学习训练阶段后，论文选择一个在性能和 Token Efficient 之间达到最佳平衡的模型作为基础模型，并进行单独的长到短 RL 训练阶段
- 在第二阶段（RL 训练阶段）中，论文应用了第 2.3.3节中介绍的长度惩罚（length penalty），显著减少最大展开长度（maximum rollout length），以进一步惩罚超出预期长度但可能正确的响应

Other Training Details

Pretraining

Kimi K1.5 的基础模型是在多样化、高质量的多模态语料库上训练的
- 语言数据涵盖五个领域：英语、中文、代码、数学推理和知识
- 多模态数据集包括
  - 图像描述（Captioning）数据集
  - 图文交错（Image-text Interleaving）数据集
  - 光学字符识别（Optical Character Recognition, OCR）数据集
  - 知识和问答数据集
- 使模型具备视觉-语言能力
- 严格的质控确保了预训练数据的相关性、多样性和平衡性
论文的预训练分为三个阶段：
- 1）视觉-语言预训练（Vision-language pretraining） ：
  - 首先建立强大的语言模型基础，随后逐步引入视觉-语言交错数据，获得多模态能力
- 2）冷却阶段（Cooldown） ：
  - 使用精选的合成数据巩固模型能力，尤其是在数学推理、知识任务和代码生成方面
- 3）长上下文激活（Long-context activation） ：
  - 将序列处理能力扩展到 131,072 个 Token ，支持需要长上下文的任务

Vanilla Supervised Finetuning（标准监督微调）

论文构建了涵盖多个领域的标准监督微调语料库
对于非推理任务（如问答、写作和文本处理），论文通过人工标注构建初始种子数据集，并训练种子模型
随后，论文收集多样化的提示（prompts），利用种子模型为每个提示生成多个响应 ，标注者对响应进行排名并优化排名靠前的响应，形成最终版本
对于数学和编程等推理任务，由于基于规则和奖励模型的验证比人工判断更准确高效，论文采用拒绝采样（rejection sampling）扩展监督微调数据集
论文的标准监督微调数据集包含约 1M 文本示例，其中：
- 500K 示例用于通用问答
- 200K 用于代码生成
- 200K 用于数学和科学
- 5K 用于创意写作
- 20K 用于长上下文任务（如摘要、文档问答、翻译和写作）
此外，论文还构建了 1000K 图文示例，涵盖图表解读、OCR、基于图像的对话、视觉编程、视觉推理以及带有视觉辅助的数学/科学问题
训练分为两个阶段：
- 1）在 32k Token 序列长度下训练 1个 Epoch，学习率从 $2 \times 10^{-5}$ 衰减到 $2 \times 10^{-6}$
- 2）在 128k Token 序列长度下训练 1个 Epoch，学习率重新预热到 $1 \times 10^{-5}$，最终衰减到 $1 \times 10^{-6}$
- 问题1：为什么长 Token 序列要在后面训练？不能混合训练吗？先后顺序可以变化吗？
- 问题2：为什么长 Token 序列要用更低的学习率？
为提升训练效率，论文将多个训练示例打包到单个训练序列中

RL Infrastructure

Large Scale Reinforcement Learning Training System for LLM

在人工智能领域，RL 已成为 LLM 训练的关键方法 (2022; 2024)
- 其灵感来源于在复杂游戏（如围棋、星际争霸 II 和 Dota 2）中取得的成功，例如 AlphaGo (2017)、AlphaStar (2019) 和 OpenAI Dota Five (2019)
遵循这一传统，Kimi K1.5 系统采用了一种迭代同步（iterative synchronous）的 RL 框架，通过持续学习和适应来增强模型的推理能力
- 该系统的关键创新是引入了部分展开（Partial Rollout）技术，用于优化复杂推理轨迹的处理
如图 3a 所示，RL 训练系统通过迭代同步（iterative synchronous）的方式运行，每次迭代包含展开阶段和训练阶段
- 在展开阶段 ，由 Central Master 协调的 Rollout Workers 通过与模型交互生成展开轨迹，产生对各类输入的响应序列
  - 这些轨迹随后被存储在一个 **Replay Buffer 中** ，通过打乱时间相关性来确保训练数据的多样性和无偏性
  - 问题：为什么要打乱时间相关性？不同时间点生成的数据是独立的吧
- 在训练阶段 ， Trainer Workers 访问这些经验来更新模型的权重
- 这一循环过程使模型能够从其行为中持续学习，逐步调整策略以提升性能
Central Master 作为核心调度器，管理 Rollout Workers、Trainer Workers、奖励模型评估（Evaluation with Reward Models）和 Replay Buffer 之间的数据流和通信
- 它确保系统协调运行，平衡负载并促进高效的数据处理
Trainer Workers 访问这些展开轨迹（无论是单次迭代完成还是跨多次迭代分割）来计算梯度更新，从而优化模型参数并提升性能
- 在这一过程中，Reward Model 评估模型输出的质量并提供关键反馈以指导训练过程
- 奖励模型的评估对于确定模型策略的有效性并引导模型实现最佳性能尤为重要
此外，系统还集成了一个代码执行服务（Code Execution Service） ，专门用于处理代码相关问题，并与奖励模型紧密结合
- 代码执行服务 在实际编码场景中评估模型的输出 ，确保模型的学习与真实编程挑战紧密对齐
- 通过将模型的解决方案与实际代码执行结果进行验证，这一反馈循环对于优化模型策略和提升代码相关任务的性能至关重要

Partial Rollouts for Long CoT RL

本研究的一个核心思想是扩展长上下文 RL （long-context RL）训练的规模
Partial Rollouts 通过管理长轨迹和短轨迹的展开，有效解决了处理长链式思维（Long CoT）特征的挑战
- 该技术设定了一个固定的输出 Token 预算，限制每次展开轨迹的长度
- 如果在展开阶段轨迹超出 Token 限制，未完成的部分会被保存到 Replay Buffer ，并在下一次迭代中继续
- 这确保了单个长轨迹不会独占系统资源
- Rollout Workers是异步运行的 ，当部分工作器处理长轨迹时，其他工作器可以独立处理新的短展开任务
  - 这种异步操作通过确保所有 Rollout Workers 积极参与训练过程，最大化计算效率，从而优化系统的整体性能
如图 3b 所示，部分展开系统通过将长响应分割为跨迭代的片段（从迭代 $n-m$ 到迭代 $n$）来工作
- Replay Buffer 作为中央存储机制，保存这些响应片段，其中只有当前迭代（迭代 $n$）需要按策略计算
- 之前的片段（迭代 $n-m$ 到 $n-1$）可以从缓冲区高效复用，无需重复展开
- 这种分段方法显著降低了计算开销：
  - 系统不是一次性展开整个响应，而是逐步处理和存储片段，从而能够生成更长的响应，同时保持快速的迭代时间
  - 在训练过程中，某些片段可以从损失计算中排除，以进一步优化学习过程 ，使整个系统既高效又可扩展
- 问题：这种跨段的偏短不符合重要性采样规则了吧，还算是 On-policy 的策略吗？上面说的在损失中排除部分片段是为了解决这个问题吗？
  - 回答：生成后，有两个选择，选择1）保存历史生成的概率（理论效果更优）；选择2）用当前策略重新计算生成概率（可能引入未知不一致问题），在更新前一般都需要用当前的 Actor 重新计算 log_prob 的，所以这里虽然不是同一个 Actor 生成的，但是其重要性权重使用的 prob 能保证是最新的
  - 一个参考博客，包含较为详细的讨论：Kimi K1.5: Long Context RL 的成功实践 - Chayenne Zhao的文章 - 知乎
部分展开的实现还包括重复检测功能
- 系统识别生成内容中的重复序列并提前终止，减少不必要的计算，同时保持输出质量
- 检测到的重复内容可以被分配额外的惩罚，从而有效抑制提示集中冗余内容的生成

Hybrid Deployment of Training and Inference

RL 训练过程包含以下阶段：
- 训练阶段（Training Phase） ：
  - 初始阶段，Megatron (2020) 和 vLLM (2023) 在单独的容器中运行，由一个称为检查点引擎（Checkpoint Engine）的中间进程封装（详见第 2.6.3 节）
  - Megatron 启动训练过程
  - 训练完成后，Megatron 卸载 GPU 内存，准备将当前权重传输给 vLLM
- 推理阶段（Inference Phase） ：
  - Megatron 卸载后，vLLM 以虚拟模型权重启动，并通过 Mooncake (2024) 从 Megatron 接收最新权重进行更新
  - 展开完成后，检查点引擎停止所有 vLLM 进程
- 后续训练阶段（Subsequent Training Phase） ：
  - vLLM 占用的内存释放后，Megatron 重新加载内存并启动新一轮训练
论文发现现有工作难以同时支持以下所有特性：
- 1）复杂的并行策略（Complex parallelism strategy） ：
  - Megatron 和 vLLM 可能采用不同的并行策略
  - 在 Megatron 中分布在多个节点的训练权重可能难以与 vLLM 共享
- 2）最小化空闲 GPU 资源（Minimizing idle GPU resources） ：
  - 对于按策略 RL，近期工作如 SGLang (2024) 和 vLLM 可能在训练过程中保留部分 GPU，这反过来会导致训练 GPU 闲置
  - 更高效的方式是在训练和推理之间共享相同的设备
- 3）动态扩展能力（Capability of dynamic scaling） ：
  - 在某些情况下，通过增加推理节点数量（同时保持训练过程不变）可以显著加速
  - 论文的系统能够在需要时高效利用闲置 GPU 节点
如图 4 所示，论文在 Megatron 和 vLLM 之上实现了这一混合部署框架（详见第 2.6.3 节），实现了从训练到推理阶段少于 1 分钟的切换时间，反之约为 10 秒
混合部署策略（Hybrid Deployment Strategy）
- 论文提出了一种训练和推理任务的混合部署策略，利用 Kubernetes Sidecar 容器共享所有可用 GPU，将两种工作负载部署在同一 Pod 中。该策略的主要优势包括：
  - 促进高效的资源共享和管理，避免训练节点在等待推理节点时闲置（当两者部署在不同节点时）
  - 利用独立的部署镜像，训练和推理可以各自独立迭代以获得更好的性能
  - 该架构不仅限于 vLLM，其他框架也可以方便地集成
检查点引擎（Checkpoint Engine）
- 检查点引擎负责管理 vLLM 进程的生命周期，暴露 HTTP API 以支持对 vLLM 的各种操作触发
- 为了确保整体一致性和可靠性，论文使用由 etcd 服务管理的全局元数据系统来广播操作和状态
- 由于 CUDA 图、NCCL 缓冲区和 NVIDIA 驱动等因素，vLLM 卸载后完全释放 GPU 内存可能具有挑战性
  - 为了最小化对 vLLM 的修改，论文在需要时终止并重启它以获得更好的 GPU 利用率和容错能力
- Megatron 中的工作器将拥有的检查点转换为共享内存中的 Hugging Face 格式
  - 此转换还考虑了流水线并行（Pipeline Parallelism）和专家并行（Expert Parallelism），因此这些检查点中仅保留张量并行（Tensor Parallelism）
  - 共享内存中的检查点随后被分片并注册到全局元数据系统中
  - 论文使用 Mooncake 通过 RDMA 在对等节点之间传输检查点
  - 需要对 vLLM 进行一些修改以加载权重文件并执行张量并行转换

Code Sandbox

论文开发了沙箱作为一个安全的环境，用于执行用户提交的代码，并针对代码执行和代码基准评估进行了优化
通过动态切换容器镜像，沙箱支持 MultiPL-E (2023)、DMOJ Judge Server、Lean 等 (2023)、Jupyter Notebook 和其他镜像的不同用例
对于编码任务中的 RL，沙箱通过提供一致且可重复的评估机制，确保训练数据判断的可靠性
其反馈系统支持多阶段评估，例如代码执行反馈和仓库级编辑，同时保持统一的上下文以确保跨编程语言的公平基准比较
论文将服务部署在 Kubernetes 上以实现可扩展性和弹性，并通过 HTTP 端点对外暴露以支持外部集成
- Kubernetes 的自动重启和滚动更新等功能确保了可用性和容错性
为了优化性能并支持 RL 环境，论文在代码执行服务中集成了多项技术以提升效率、速度和可靠性，包括：
- 使用 Crun（Using Crun） ：论文使用 crun 作为容器运行时而非 Docker ，显著减少了容器启动时间
- Cgroup 复用（Cgroup Reusing） ：论文为容器预创建 cgroup，这对于高并发场景至关重要，因为为每个容器创建和销毁 cgroup 可能成为瓶颈
- 磁盘使用优化（Disk Usage Optimization） ：论文使用带有 tmpfs 上层的覆盖文件系统来控制磁盘写入，提供固定大小的高速存储空间
  - 这种方法对临时工作负载特别有益
这些优化提升了代码执行中的 RL 效率，为评估 RL 生成的代码提供了一致且可靠的环境，这对于迭代训练和模型改进至关重要

Experiments

Evaluation

由于 K1.5 是一个多模态模型（multimodal model），论文在不同模态的多个基准测试上进行了全面评估（详细的评估设置见附录 C）
论文的基准测试主要包括以下三类：
- 文本基准测试（Text Benchmark） ：MMLU (2020)、IF-Eval (2023)、CLUEWSC (2020)、C-EVAL (2023)
- 推理基准测试（Reasoning Benchmark） ：HumanEval-Mul (2024)、Codeforces (2024)、MATH-500 (2023)
- 视觉基准测试（Vision Benchmark） ：MMMU (2024)、MATH-Vision (2024)、MathVista (2023)

Main Results

K1.5 长链思维模型（K1.5 long-CoT model）
- Kimi K1.5 长链思维模型的性能如表 2 所示
- 通过长链思维监督微调（如第 2.2 节所述）和视觉-文本联合强化学习（如第 2.3 节所述），模型的长期推理能力显著增强
- 测试时计算规模的扩展进一步提升了其性能，使模型在多种模态上实现了 SOTA 结果
- 论文的评估表明，模型在长上下文中的推理、理解和信息综合能力有了显著提升，代表了多模态人工智能能力的重大进步
K1.5 短链思维模型（K1.5 short-CoT model）
- Kimi K1.5 短链思维模型的性能如表 3 所示
- 该模型整合了多种技术，包括传统的监督微调（如第 2.5.2 节所述）、强化学习（如第 2.3 节所述）以及长链到短链的知识蒸馏（如第 2.4 节所述）
- 结果表明，K1.5 短链思维模型在多项任务中表现优于或与领先的开源和专有模型相当，包括文本、视觉和推理任务，尤其在自然语言理解、数学、编程和逻辑推理方面表现突出

Long Context Scaling

论文使用一个中等规模的模型来研究 LLM 在强化学习中的扩展特性
图 5 展示了小型模型变体在数学提示集上训练时，训练准确率和响应长度随训练迭代的变化情况
- 随着训练的进行，论文观察到响应长度和性能准确率同步增长
- 在更具挑战性的基准测试中，响应长度的增长更为显著，这表明模型学会了为复杂问题生成更详细的解决方案
图 6 表明，模型的输出上下文长度与其问题解决能力之间存在强相关性
- 论文最终的 K1.5 运行将上下文长度扩展到 128k，并在困难的推理基准测试中观察到持续的性能提升

Long2short

文比较了第 2.4 节中提出的长链到短链强化学习算法与 DPO、最短拒绝采样和模型合并方法，重点关注长链到短链问题的 Token Efficiency （2024），即如何将长链思维模型的优势传递给短链模型
在图 7 中：
- K1.5-long 代表论文用于长链到短链训练的长链思维模型
- K1.5-short w/ rl 表示通过长链到短链强化学习训练得到的短链模型
- K1.5-short w/ dpo 表示通过 DPO 训练提升 Token Efficiency 的短链模型
- K1.5-short w/ merge 表示模型合并后的结果
- K1.5-short w/ merge + rs 表示对合并模型应用最短拒绝采样得到的短链模型
- K1.5-shortest 表示论文在长链到短链训练中获得的最短模型
如图 7 所示
- 与其他方法（如 DPO 和模型合并）相比，长链到短链强化学习算法展示了最高的 Token Efficiency
- K1.5 系列的所有模型（橙色 Token ）均表现出比其他模型（蓝色 Token ）更优的 Token Efficiency
  - 例如，K1.5-short w/ rl 在 AIME2024 上的 Pass@1 得分为 60.8（8 次运行的平均值），平均仅使用 3,272 个 Token
  - 同样，K1.5-shortest 在 MATH500 上的 Pass@1 得分为 88.2，同时消耗的 Token 数量与其他短链模型相当

Ablation Studies

Scaling of model size and context length

论文的主要贡献是通过 RL 增强模型生成长链思维的能力，从而提升其推理能力
一个自然的问题是：这与单纯增加模型规模相比如何？
为了证明论文方法的有效性，论文使用相同数据集训练了两个不同规模的模型，并记录了强化学习训练期间所有检查点的评估结果和平均推理长度
这些结果如图 8 所示
- 较小模型初始性能不如较大模型，但较小模型通过优化后的长链思维可以达到与大规模模型相当的性能
- 大规模模型通常表现出更好的 Token Efficiency
  - 这也表明，如果目标是追求最佳性能，扩展大规模模型的上下文长度具有更高的上限，并且更节省 Token
  - 但如果测试时计算有预算限制，训练较小模型并扩展上下文长度可能是可行的解决方案

Effects of using negative gradients

论文研究了在设置中使用 ReST (2023) 作为策略优化算法的有效性
ReST 与其他 RL-based 的方法（包括论文的方法）的主要区别在于
- ReST 通过拟合当前模型采样的最佳响应来迭代优化模型，而不会对错误响应施加负梯度惩罚
如图 10 所示
- 论文的方法在样本复杂度上优于 ReST，这表明引入负梯度显著提升了模型生成长链思维的效率
  - ReST 不会使用负梯度，详情见附录
- 论文的方法不仅提高了推理质量，还优化了训练过程，以更少的训练样本实现了稳健的性能
  - 这一发现表明，策略优化算法的选择在论文的设置中至关重要，因为 ReST 与其他 RL-based 的方法在其他领域中的性能差距并不明显 (2023)
  - 论文的结果凸显了选择适当优化策略以最大化长链思维生成效果的重要性
  - 问题：这里强调的优化策略/策略优化算法是什么？

Sampling strategies

本节进一步证明了第 2.3.4 节中提出的课程采样策略的有效性
论文的训练数据集 $\mathcal{D}$ 包含不同难度级别的问题
论文的方法 ：
- 通过课程采样方法 ，论文首先使用 $\mathcal{D}$ 进行预热阶段 ，随后仅专注于困难问题来训练模型
基线方法 ：
- 采用均匀采样策略且无课程调整
如图 9 所示，论文的结果清楚地表明，课程采样方法显著提升了性能
- 这种改进可以归因于该方法逐步挑战模型的能力，使其能够更稳健地理解和解决复杂问题
- 通过在初始通用阶段后专注于更困难的问题，模型能够更好地增强其推理和问题解决能力

附录 B：Pretraining

RL 的效率与基础模型的性能密切相关
前沿模型如 Gemini (2024) 和 Llama (2024) 强调了预训练数据质量对于实现高性能的重要性
但许多最新的开源模型并未完全公开其数据处理流程和配方，这为更广泛社区的理解带来了挑战
尽管论文目前并未开源专有模型，但论文致力于全面公开数据流程和方法论
本节主要关注多模态预训练数据配方，随后简要讨论模型架构和训练阶段

B.1 Language Data

论文的预训练语料库旨在为训练 LLM 提供全面且高质量的数据，它涵盖五个领域：
- 英语（English）
- 中文（Chinese）
- Code
- 数学与推理（Mathematics & Reasoning）
- 知识（Knowledge）
论文对每个领域采用复杂的过滤和质量控制机制，以确保训练数据的最高质量
对于所有预训练数据，论文对每个数据源进行了严格的单独验证，以评估其对整体训练配方的具体贡献
这种系统性评估确保了多样数据组成的质量和有效性

English and Chinese textual data

论文开发了一个多维质量过滤框架，结合多种评分方法以减少个体偏见并确保全面的质量评估。论文的框架包括：
- 1）基于规则的过滤（Rule-based filtering） ：
  - 论文实施领域特定的启发式方法，移除问题内容，包括重复内容、机器翻译文本和低质量的网络抓取内容
  - 论文还过滤掉包含过多特殊字符、异常格式或垃圾模式的文档
- 2）基于 FastText 的分类（FastText-based classification） ：
  - 论文训练了专门的 FastText (2016; 2024) 模型，基于语言特征和语义连贯性识别内容质量
  - 这有助于识别具有自然语言流和正确语法结构的文档
- 3）基于 Embedding 的相似性分析（Embedding-based similarity analysis） ：
  - 使用文档 Embedding (2024)，论文计算文档级相似性分数，以识别并移除近重复内容，同时保留语义上有价值的变体
  - 这种方法有助于保持训练语料库的多样性
- 4）LLM-based 质量评估（LLM-based quality assessment） ：
  - 参考 (2024)，论文利用 LLM 根据连贯性、信息量和潜在教育价值对文档进行评分
  - 这种方法特别适用于识别简单方法可能忽略的细微质量指标
每个文档的最终质量分数是这些单独分数的组合
基于广泛的实证分析，论文实施了动态采样率，高质量文档在训练期间被上采样，而低质量文档被下采样

Code data

代码数据主要包括两类
对于从代码文件提取的纯代码数据，论文遵循 BigCode (2023; 2024) 的方法论，对数据集进行了全面的预处理
- 首先，移除杂项语言，并应用基于规则的清理程序以提高数据质量
- 随后，通过策略性采样技术解决了语言不平衡问题
  - 具体而言，Token 语言如 JSON、YAML 和 YACC 被下采样，而 32 种主要编程语言（包括 Python、C、C++、Java 和 Go）被上采样以确保平衡表示
对于从各种数据源获取的文本-代码交错数据，论文使用基于 Embedding 的方法召回高质量数据
- 这种方法确保了数据的多样性并保持了其高质量

Math & Reasoning data

数学和推理数据组件对于开发强大的分析和问题解决能力至关重要
数学预训练数据主要从公开可用的互联网资源中检索，包括网页文本和 PDF 文档 (2023)
最初，论文发现通用领域的文本提取、数据清理过程和 OCR 模型在数学领域中表现出较高的假阴性率
因此，论文首先开发了专门的数据清理程序和 OCR 模型，特别针对数学内容，旨在最大化数学数据的召回率
随后，论文实施了两阶段数据清理过程 ：
- 1）使用 FastText 模型进行初步清理，移除大部分无关数据
- 2）利用微调的语言模型进一步清理剩余数据，从而获得高质量的数学数据

Knowledge data

知识语料库经过精心策划，以确保全面覆盖学术领域
论文的知识库主要包括学术练习、教科书、研究论文和其他通用教育文献
这些材料的大部分通过 OCR 处理数字化，为此论文开发了专有模型，针对学术内容（尤其是数学公式和特殊符号）进行了优化
论文使用内部语言模型为文档添加多维度标签，包括：
- 1）OCR 质量指标，用于评估识别准确性
- 2）教育价值指标，衡量教学相关性
- 3）文档类型分类（如练习、理论材料）
基于这些多维度标注，论文实施了一个复杂的过滤和采样流程
- 首先，文档通过 OCR 质量阈值进行过滤
  - 论文的 OCR 质量评估框架特别关注检测和过滤常见的 OCR 伪影，尤其是表明识别失败的重复文本模式
- 其次，通过评分系统仔细评估每份文档的教育价值
  - 具有高教学相关性和知识深度的文档被优先考虑，同时在理论深度和教学清晰度之间保持平衡
  - 这有助于确保论文的训练语料库包含高质量的教育内容，能够有效促进模型的知识获取
- 最后，为了优化训练语料库的整体组成，不同文档类型的采样策略通过大量实验经验性确定
  - 论文进行隔离评估，以识别对模型知识获取能力贡献最显著的文档子集
  - 这些高价值子集在最终训练语料库中被上采样
  - 为了保持数据多样性并确保模型的泛化能力，论文仔细保留其他文档类型的平衡表示
  - 这种数据驱动的方法帮助论文优化了聚焦知识获取与广泛泛化能力之间的权衡

B.2 Multimodal Data

论文的多模态预训练语料库旨在提供高质量数据，使模型能够处理和理解来自多种模态（包括文本、图像和视频）的信息
为此，论文还从五个类别中精选了高质量数据以构建语料库
- 这五个类别是：字幕（captioning）、交错（interleaving）、OCR（光学字符识别）、知识（knowledge）和通用问答（general question answering）
在构建训练语料库时，论文开发了多条多模态数据处理流程以确保数据质量，包括：过滤、合成和去重
- 建立有效的多模态数据策略在联合训练视觉和语言时至关重要，因为它既保留了语言模型的能力，又促进了跨多种模态的知识对齐
论文在本节中详细描述这些来源，分为以下类别：

Caption data

论文的字幕数据为模型提供了基本的模态对齐和广泛的世界知识
通过融入字幕数据，多模态 LLM 能够以高效的学习方式获取更广泛的世界知识
论文整合了各种开源的中英文字幕数据集 (2022; 2024)，并从多个来源收集了大量内部字幕数据
但在整个训练过程中，论文严格限制合成字幕数据的比例，以减轻因真实世界知识不足而导致的幻觉风险
对于通用字幕数据，论文遵循严格的质量控制流程，避免重复并保持高图像-文本相关性
论文还在预训练期间改变图像分辨率，以确保视觉塔在处理高分辨率和低分辨率图像时均保持高效

Image-text interleaving data

在预训练阶段，模型从交错数据中获益良多，例如：
- 多图像理解能力可以通过交错数据提升；
- 交错数据通常为给定图像提供详细知识；
- 更长的多模态上下文学习能力也可以通过交错数据获得
论文发现交错数据对保持模型的语言能力有积极贡献
- 图像-文本交错数据是论文训练语料库的重要组成部分
- 论文的多模态语料库考虑了开源的交错数据集 (2024; 2024)，并利用教科书、网页和教程等资源构建了大规模的内部数据
论文发现合成交错数据有助于多模态 LLM 保持文本知识的表现
- 为了确保每张图像的知识得到充分学习，对于所有交错数据，除了标准的过滤、去重和其他质量控制流程外，论文还集成了数据重新排序程序，以保持所有图像和文本的正确顺序

OCR data

光学字符识别（Optical Character Recognition, OCR）是一种广泛采用的技术，可将图像中的文本转换为可编辑格式
强大的 OCR 能力对于更好地将模型与人类价值观对齐至关重要
- 论文的 OCR 数据来源多样，包括开源和内部数据集，涵盖干净和增强的图像
除了公开可用的数据外，论文还开发了大量的内部 OCR 数据集，涵盖多语言文本、密集文本布局、基于网络的内容和手写样本
此外，遵循 OCR 2.0 (2024) 中概述的原则，论文的模型还配备了处理多种光学图像类型的能力，包括图形、表格、几何图表、流程图和自然场景文本
论文应用了广泛的数据增强技术（如旋转、扭曲、颜色调整和噪声添加）以增强模型的鲁棒性
最终，论文的模型在 OCR 任务中表现出高水平的熟练度

Knowledge data

多模态知识数据的概念与之前提到的文本预训练数据类似，只是这里论文专注于从多样来源汇集全面的人类知识库，以进一步增强模型的能力
- 例如，论文数据集中精心策划的几何数据对于培养视觉推理技能至关重要，确保模型能够理解人类创建的抽象图表
论文的知识语料库遵循标准化的分类法，以平衡各个类别的内容，确保数据来源的多样性
- 与纯文本语料库类似（从教科书、研究论文和其他学术材料中收集知识），多模态知识数据使用布局解析器和 OCR 模型处理这些来源的内容
- 论文也纳入了来自互联网和其他外部资源的过滤数据
由于论文的知识语料库的很大一部分来自基于互联网的材料，信息图表可能导致模型仅关注基于 OCR 的信息
在这种情况下，仅依赖基本的 OCR 流程可能会限制训练效果
为了解决这个问题，论文开发了一个额外的流程，以更好地捕获图像中 Embedding 的纯文本信息

General QA Data

在训练过程中，论文观察到将大量高质量的问答数据集纳入预训练会带来显著的好处
论文纳入了严格的学术数据集，涉及基础任务、表格/图表问答、网络代理和通用问答
论文还编制了大量内部问答数据以进一步增强模型的能力
为了保持难度和多样性的平衡，论文对通用问答数据集应用了评分模型和细致的手动分类，从而实现了整体性能的提升

B.3 Model Architecture

Kimi K 系列模型采用了 Transformer Decoder (2017) 的变体，集成了多模态能力以及架构和优化策略的改进，如图 11 所示
这些进步共同支持了稳定的大规模训练和高效推理，专门针对大规模强化学习和 Kimi 用户的操作需求
广泛的扩展实验表明，基础模型的大部分性能来自于预训练数据质量和多样性的提升
关于模型架构扩展实验的具体细节超出了本报告的范围，将在未来的出版物中讨论

B.4 Training Stages

Kimi K1.5 模型的训练分为三个阶段：
- 视觉-语言预训练阶段（vision-language pretraining stage）
- 视觉-语言冷却阶段（vision-language cooldown stage）
- 长上下文激活阶段（long-context activation stage）。每个阶段专注于特定的能力提升

Vision-language pretraining stage

首先，仅在语言数据上进行训练，建立强大的语言模型基础
随后，模型逐渐引入视觉-语言交错数据，获得多模态能力
- 视觉塔最初在隔离状态下训练，不更新语言模型参数
- 然后论文解冻语言模型层，最终将视觉-文本数据的比例提高到 30%
- 最终的数据混合及其权重是通过在较小模型上进行的消融研究确定的

Vision-language cooldown stage

在冷却阶段，模型继续使用高质量的语言和视觉-语言数据集进行训练，以确保卓越的性能
通过实证研究，论文观察到在冷却阶段融入合成数据会带来显著的性能提升，尤其是在数学推理、知识任务和代码生成方面
冷却数据集的英语和中文部分从预训练语料库的高保真子集中精选而来
对于数学、知识和代码领域，论文采用混合方法：
- 利用选定的预训练子集，同时通过专有语言模型生成内容进行增强
- 论文利用现有的数学、知识和代码语料库作为源材料，通过拒绝采样技术生成问答对以保持质量标准 (2023; 2024)
- 这些合成的问答对在纳入冷却数据集之前经过了全面验证

Long-context activation stage

在长上下文激活阶段，K1.5 通过上采样的长上下文冷却数据进行训练，使其能够处理扩展序列并支持需要更长上下文的任务
为了确保基础模型具备出色的长文本能力，论文上采样了长上下文数据，并在长上下文训练期间使用了 40% 的完全注意力数据和 60% 的部分注意力数据
- 完全注意力数据（full attention data） ：部分来自高质量的自然数据，部分来自合成的长上下文问答和摘要数据
- 部分注意力数据（partial attention data） ：来自冷却数据的均匀采样
RoPE 频率 (2024) 设置为 1,000,000
在此阶段，论文通过将最大序列长度从 4,096 逐步增加到 32,768，最终达到 131,072，逐步扩展了长度激活训练

附录 C Evaluation Details

C.1 Text Benchmark

MMLU (2020)
- 涵盖了 STEM、人文、社会科学等 57 个学科
- 其难度范围从初级水平到高级专业水平，测试模型的世界知识和问题解决能力
IF-Eval (2023)
- 一个用于评估大语言模型遵循可验证指令能力的基准
- 包含 500 多个提示，例如“写一篇超过 800 字的文章”等
- 由于版本变动，表 3 中报告的 IF-Eval 分数来自一个中间模型
- 论文将根据最终模型更新分数
CLUEWSC (2020)
- 是 CLUE 基准中的共指消解任务，要求模型判断句子中的代词和名词短语是否共指，数据来自中文小说
C-EVAL (2023)
- 一个全面的中文评估套件，用于评估基础模型的高级知识和推理能力
- 包含 52 个学科的 13,948 道选择题，涵盖四个难度级别

C.2 Reasoning Benchmark

HumanEval-Mul
- 是 MultiPL-E (2022) 的一个子集
- MultiPL-E 将 HumanEval 和 MBPP 基准扩展到 18 种编程语言，涵盖多种编程范式和流行度
- 论文选择了 8 种主流编程语言（Python、Java、C++、C#、JavaScript、TypeScript、PHP 和 Bash）的 HumanEval 翻译版本
LiveCodeBench (2024)
- 一个全面且无污染的基准，用于评估大语言模型在编码任务中的表现
- 具有实时更新功能以防止数据污染，涵盖多种编码场景，提供高质量的问题和测试，并平衡问题难度
- 论文使用 2408-2411 版本（v4）的问题测试短思维链模型，使用 2412-2502 版本（v5）的问题测试长思维链模型
AIME 2024
- 包含 2024 年美国数学邀请赛（AIME）的竞赛题目
- AIME 是一项仅限邀请的高中生数学竞赛，评估高级数学技能，要求扎实的基础和高水平的逻辑思维
MATH-500 (2023)
- 一个综合性数学基准，包含 500 道涵盖代数、微积分、概率等主题的数学问题
- 测试计算能力和数学推理能力，分数越高表明数学问题解决能力越强
Codeforces
- 一个知名的在线评测平台，也是评估长思维链编码模型的流行测试平台
- 为了在 Div2 和 Div3 竞赛中取得更高排名，论文使用 K1.5 长思维链模型生成的代码片段进行多数投票，测试用例也由同一模型生成
- Codeforces ELO 评分的百分位数提取自 OpenAI Day12 Talk

C.3 Image Benchmark

MMMU (2024)
- 包含从大学考试、测验和教科书中精心挑选的 11.5K 个多模态问题
- 涵盖六大主要学术领域：艺术与设计、商业、科学、健康与医学、人文与社会科学以及技术与工程
MATH-Vision (MATH-V) (2024)
- 一个精心策划的集合，包含 3,040 个高质量的视觉上下文数学问题，源自真实数学竞赛
- 涵盖 16 个不同的数学学科，并按 5 个难度级别分级
- 该数据集提供了全面多样的挑战，非常适合评估大语言模型在数学推理方面的能力
MathVista (2023)
- 一个整合了多种数学和视觉任务的基准，要求参与者展示细粒度的深度视觉理解和组合推理能力以成功完成任务

附录：证明 $\tau \to \infty$时，$\tau \log Z$趋近于$\pi_{\theta_i}$下的期望Reward

目标：证明当 $\tau \to \infty$ 时，$\tau \log Z$ 趋近于 $\pi_{\theta_i}$ 下的期望 Reward
已知
$$ Z = \sum_{y’, z’} \pi_{\theta_i}(y’, z’ | x) \exp(r(x, y’, y^{*}) / \tau)$$
- $r(x, y’, y^{*})$ 为奖励函数
- $\pi_{\theta_i}(y’, z’ | x)$ 是参考策略下的概率分布
对 $Z$ 取对数并乘以 $\tau$，得到
$$ \tau \log Z = \tau \log\left(\sum_{y’, z’} \pi_{\theta_i}(y’, z’ | x) \exp(r(x, y’, y^{*}) / \tau)\right)$$
当 $\tau \to \infty$ 时，（泰勒展开的一阶近似）
$$ \exp(r / \tau) \approx 1 + r / \tau$$
- 补充 $e^x$ 在 $x=0$ 处泰勒展开完整式子：
  $$ e^x = \sum_{n=0}^{\infty} \frac{x^n}{n!} = 1 + x + \frac{x^2}{2!} + \frac{x^3}{3!} + \cdots + \frac{x^n}{n!} + \cdots $$
代入上式可得：
$$
\begin{align}
\tau \log Z &\approx \tau \log\left(\sum_{y’, z’} \pi_{\theta_i}(y’, z’ | x) \left(1 + \frac{r}{\tau}\right)\right) \\
&= \tau \log\left(1 + \frac{1}{\tau} \sum_{y’, z’} \pi_{\theta_i}(y’, z’ | x) r\right) \\
\end{align}
$$
当 $\tau \to \infty$ 时，进一步使用 $\log(1+x)$ 在 $x=0$ 处的泰勒展开的一阶近似（$\log(1+x) \approx x$）：
$$ \ln(1+x) = \sum_{n=1}^{\infty} \frac{(-1)^{n+1} x^n}{n} = x - \frac{x^2}{2} + \frac{x^3}{3} - \frac{x^4}{4} + \cdots + \frac{(-1)^{n+1} x^n}{n} + \cdots $$
于是有
$$
\begin{align}
\tau \log Z &= \tau \log\left(1 + \frac{1}{\tau} \sum_{y’, z’} \pi_{\theta_i}(y’, z’ | x) r\right) \\
&\approx \tau \cdot \frac{1}{\tau} \sum_{y’, z’} \pi_{\theta_i}(y’, z’ | x) r \quad (\text{因为} \text{当}\epsilon \to 0\log(1+\epsilon) \approx \epsilon ) \\
&= \mathbb{E}_{\pi_{\theta_i} }[r]
\end{align}
$$
因此，当 $\tau \to \infty$ 时，$\tau \log Z$ 趋近于 $\pi_{\theta_i}$ 下的期望 Reward

附录：Mirror Descent 方法介绍

Mirror Descent是一种用于优化问题的迭代算法，特别适用于解决大规模和约束的凸优化问题
它是梯度下降的一种推广，结合了梯度下降和凸分析中的 Bregman 距离，使得算法能够在不同的空间中进行优化
基本思想 ：
- Mirror Descent通过将原始问题映射到一个更易处理的空间来进行优化
- 它利用一个称为镜像映射（mirror map）的凸函数，将原空间中的点映射到镜像空间中
- 在镜像空间中进行梯度更新 ，然后通过镜像映射的逆映射将更新后的点映射回原空间
适用于处理具有特定结构的优化问题，如约束优化，特别适合高维空间中的优化问题
具体计算流程 ：
- 初始化 ：
  - 选择一个初始点 $ x_0 $
  - 选择一个镜像映射函数 $ \psi $，通常是一个强凸函数
- 迭代步骤（对于每个迭代 $ t $）：
  - 1）计算梯度 ：计算当前点的梯度 $ \nabla f(x_t) $
  - 2）镜像映射 ：将当前点映射到镜像空间 $ z_t = \nabla \psi(x_t) $
  - 3）梯度更新 ：在镜像空间中进行梯度更新（其中 $ \eta $ 是学习率）：
    $$ z_{t+1} = z_t - \eta \nabla f(x_t) $$
  - 4）逆镜像映射 ：将更新后的点映射回原空间：
    $$ x_{t+1} = (\nabla \psi)^{-1}(z_{t+1}) $$
- 终止条件 ：
  - 根据问题的性质，可以选择固定迭代次数或根据梯度的变化情况来终止迭代
问题：论文 2.3.2 节中讲的优化方法似乎和这个 OPMD 没什么直接关系？

附录：CYaRon 介绍

CYaRon 是一款由 Luogu 开发的用于生成随机测试数据的 Python 库，其全称为“Yet Another Random Olympic-informatics”
CYaRon 包含很多功能：
- 随机图生成 ：支持简单图、非简单图、有向图、无向图以及带权图和无权图的生成，可以满足不同算法对图结构测试数据的需求
- 随机树生成 ：能够生成链状、随机树或菊花图等不同形态的树，并可设定树的强度，方便对树相关的算法进行测试
- 多维向量生成 ：支持生成允许相同或不同的多维向量，还能快速生成数量可达(10^6)的数列，为数据结构和算法的测试提供了大量的向量和数列数据
- 函数解析生成数列 ：根据给定的函数生成对应的数列，这对于测试一些基于数学函数规律的算法非常有帮助
- 随机多边形生成 ：可以生成随机多边形，并计算其面积和周长，适用于几何算法的测试
- 字符串、单词、句子的生成 ：从字典中生成随机的字符串、单词和句子，可用于自然语言处理相关算法的测试
安装方法 ：通常使用Python的包管理工具pip进行安装，在命令行中输入pip install cyaron，即可将CYaRon下载并安装到Python环境中
使用示例
- 生成随机整数 ：使用Random.randint方法，如cyaron.Random.randint(1, 100)可以生成1到100之间的随机整数
- 生成随机浮点数 ：通过Random.uniform方法，例如cyaron.Random.uniform(1.0, 10.0)可生成1.0到10.0之间的随机浮点数
- 生成随机字符串 ：利用Random.string方法，如cyaron.Random.string(8)能生成一个长度为8的随机字符串
- 生成随机日期 ：使用Random.date方法，如cyaron.Random.date("2000-01-01", "2023-12-31")可以生成2000年1月1日到2023年12月31日之间的随机日期
应用场景 ：CYaRon主要应用于信息学奥林匹克（OI）等编程竞赛中，帮助出题者快速、便捷地生成高质量的测试数据，以检验参赛选手的算法正确性和效率

附录：ReST（Reinforced Self-Training）方法介绍

ReST 是指强化自训练（Reinforced Self-Training）算法（Google DeepMind 2023 年提出），用于语言模型的对齐
ReST 的核心原理是将语言模型的对齐问题视为一个不断增长的Batch RL（离线强化学习）问题 ，通过离线强化学习方法，交替进行数据集增长（Grow）和策略改进（Improve）两个步骤，来高效地调度强化学习过程中的策略生成和更新
ReST 的训练步骤（交替执行一下步骤） ：
- Grow 步骤 ：
  - 从当前策略 $\pi_{\theta}$ 中采样出许多输出序列，以此扩充训练数据集，相当于强化学习里的行动或数据生成步骤
  - 即对于 $x \sim D$，有 $y \sim \pi_{\theta}(y|x)$，从而创建出一个轨迹增强数据集 $D_g$
- Improve 步骤 ：
  - 用评分函数给扩充后的数据集进行排序和筛选
    - 通常会根据人类偏好提前训练一个奖励模型作为评分函数（也可以在中途继续优化奖励模型）
  - 定义一个过滤函数，只保留奖励高于特定阈值 $\tau$ 的样本，再用监督学习损失（或离线强化学习损失）在筛选后的数据上微调当前最优策略
    - 注意：这里相当于仅仅保留了正样本，并没有对负样本施加惩罚
  - 在多次执行 Improve 步骤时，会不断提高过滤阈值，且每次微调新策略时，都会在前一个策略的基础上，用更低的学习率进行，以保证在固定数据集 $D_g$ 上实现策略的优化
ReST 在多个 Improve 步骤中利用了 Grow 步骤的输出结果，不像在线强化学习那样需要在模型训练过程中多次采样新样本，大大减轻了计算负担
同时，在ReST 中，新的训练数据是从优化后的策略里采样得到的，所以策略质量不受原始数据的束缚
- 在离线强化学习里，策略的好坏常常受原始数据集质量的限制
ReST 算法简单、运行稳定，需要调整的超参数也很少

AGI——张祥雨访谈笔记-多模态大模型

参考链接：

整体总结

整个访谈主要围绕 AGI 的实现路径展开，主要内容是 LLM，多模态大模型及他们相关的推理
张祥雨是 ResNet 的二作，是最早从事 CV 的一群人
本文主要是总结一下访谈内容的一些大事件发展的时间线、张祥雨的核心观点
注：本文的梳理借助了 AI 辅助生成

张祥雨的学术与研究经历相关总结

2009年 ：
- 数据：李飞飞团队提出 ImageNet 数据集，包含 120多万图像，为计算机视觉（CV）研究提供了大量数据支持
- 理解：自此数据已经相对充足，缺的是模型复杂度和算力
2012年 ：
- 模型：AlexNet 在 ImageNet 图像识别竞赛中取得显著成功，其关键在于对模型、数据和算力的规模化应用
- 算力：英伟达的 CUDA 技术在此时性能得到大幅提升，为深度学习的算力需求提供了有力支撑
2012-2016年 ：
- 将模型做大 ：张祥雨读博期间，专注于模型规模化（model scaling）研究，致力于将模型做得更大，包括增加宽度、深度和分辨率等方面
- 理解：在视觉领域存在分辨率，其他领域更多的是宽度和深度
2016年 ：
- ResNet的诞生 ：张祥雨与何恺明、孙剑等提出残差网络（ResNet），解决了模型深度增加时效果下降的问题，使网络层数可提升至几十层、上百层甚至上千层
- 张祥雨认为此时模型规模化问题在当时已基本解决，毕业后加入旷视开始研究小模型
- 理解：张祥雨认为，对于大模型来说，模型架构（网络结构）不是很重要，最重要的是大方向（比如 ResNet 或 LLM 的自回归等）；对于小模型来说，倒是需要一定的模型架构（网络结构）的优化，否则效果可能差距很大
  - 个人理解这种区别主要来源于小模型的拟合能力有限，需要设计架构适应任务，大模型拟合能力强，对网络结构要求不高，只要有足够好的数据就可以
2017-2018年 ：
- 把模型做小 ：张祥雨在旷视研究小模型，后转向神经网络架构搜索（NAS），旨在利用自动化手段设计能在特定硬件上高效运行的模型
- 理解：这里是为了应用
2019年 ：
- 张祥雨提出SPOS（Single Path One-Shot）工作，可在特定硬件上以较小代价搜索出在目标数据集上效果最佳的模型
- 张祥雨团队目标重新转向做大模型，此时难点在于数据规模化（data scale）， CV 领域缺乏类似自然语言处理中 Bert 和 GPT 的突破
2020年 ：
- Vision Transformer（ViT）系列出现，将 Transformer 架构引入 CV 领域并取得成功
- 学术界开始尝试将自然语言处理方法迁移到 CV ，如 iGPT、BEiT 等
- 理解：此时的迁移吃到了一波红利，相当于踩着 LLM 的路在走
2021年底 ：
- 张祥雨分析早期对比学习在大模型上不奏效的原因，认为其学到的不变性是手工设计而非数据驱动，同时对 Masked Image Modeling（MIM）的上限表示谨慎乐观
2022年初 ：
- 张祥雨发表观点文章，指出 MIM 没有明显的规模化效应（scaling law），随后该领域研究逐渐减少
- 理解：目前来看走这条路的人也已经越来越少
2022年 ：
- 张祥雨受 Jason Wei 关于思维链和涌现性的论文启发，对纯视觉领域研究产生悲观情绪，认为静态图像在生成、理解和人类对齐方面存在割裂，开始转向多模态研究
- 张祥雨构思利用视觉和语言的对齐关系开展多模态研究，短期目标基于图文混排数据，长期目标关注视频和具身系统
2023年 ：
- 张祥雨团队开发第一代多模态模型 Step-1，将数据组织成图文混排形式，文字和图像均进行 Token 化处理，图像生成外挂预训练的 Diffusion 模块
  - 该模型图像理解能力强，但生成效果差，且生成部分对理解部分影响小
- 张祥雨团队在 2023年底完成 Step-1 模型，参数约 100B+，随后在 2024 年初启动更大的 Step-2 模型，参数达万亿（1000B+），激活值 200B+
  - 但训练中发现数据不足导致效果不佳，且模型在数学推理能力上出现先升后降的现象
2024年 ：
- 张祥雨团队发现大模型在数学推理能力上存在先上升后平缓再下降的现象，分析认为这是 Next Token Prediction（NTP）范式的本质缺陷导致，模型在训练中倾向于跳步，而跳步在复杂问题中易出错（详细理解见下文：观点3）
- 张祥雨团队尝试通过 RL 解决大模型数学推理问题，但收益有限，直到 o1 模型出现，其通过引入反思等思维链模式，大幅提升了模型推理能力
- 张祥雨团队在视觉生成与理解一体化研究中遇到困难，发现生成部分可控性差，后受语言模型启发，开启视觉空间上的 COT（思维链）研究，尝试通过在图像上进行圈点批注等操作实现视觉推理，但生成数据泛化能力不足
  - 理解：这里张祥雨团队尝试了生成图片的 COT 数据给模型，但是效果不好，最终分析时由于 RL 本身很难带来新的东西，预训练中没有见过的推理能力很难通过 RL 训练出来；也就是说预训练才是学知识的，RL 是在引导模型把预训练见过的知识用起来
2025年 ：
- 张祥雨团队看到 Gemini 和 GPT-4o 模型在图像生成可控性上的进展，认为通过清洗数据和控制任务难度，可实现简单任务的高可控生成，并计划基于此构建生成与理解一体化模型
- 张祥雨认为多模态推理的 “GPT4时刻” 比较乐观，认为一两年内可能到来；此外，自主学习和在线学习可能在两年内取得突破
  - 理解：理由是因为大家都在做这个方向

多模态与 AGI 发展相关

2022年底 ：ChatGPT 发布，展示了大模型的强大能力，改变了人们对大模型的看法，大幅推动了 AGI 领域的发展
2023年 ：
- Gemini-1.0 和 GPT4V 等多模态模型发布，但在图像生成与理解一体化方面未取得实质性突破，仍通过外挂生成模块实现
- 业界开始关注多模态模型的发展，但对其难度估计不足
2024年 ：
- o1 模型出现，其基于 RL 和思维链模式，在推理能力上取得显著突破，被视为类似 “GPT时刻” 的进展
- 张祥雨团队发现多模态模型在生成与理解融合上的困难，开始探索视觉空间的 COT 和视频数据的利用
- 理解：访谈中提到，单独训练理解模型和生成模型后，融入两者做不到 1+1>2 的效果
2025年 ：
- 4o 最新版在图像生成可控性上表现出色，与语言模型融合较好，为多模态发展提供了新的方向
- 业界对多模态推理、自主学习和在线学习等领域的研究持续深入，认为这些是实现 AGI 的关键步骤

观点1：关于模型规模化（Scaling）

核心观点 ：模型规模化是推动深度学习发展的重要动力，包括模型、数据和算力的规模化。在不同阶段，规模化的难点不同，如早期模型规模化是关键，后期数据规模化成为瓶颈
论点支撑 ：
- AlexNet 的成功源于在 2012 年实现了模型、数据和算力的合理规模化
- ResNet 解决了模型深度规模化的问题，使模型层数得以大幅增加
- 2019年后，自然语言处理领域通过自监督学习实现了数据规模化，而 CV 领域在数据规模化上进展缓慢，缺乏类似 Bert 和 GPT 的突破
  - 理解：CV 领域不同于 NLP 领域，因为 NLP 领域的语言数据都是人类创造的，而 CV 领域的图片本身就在那里（不含有思维和人类思想），难以通过自回归实现数据规模化
- 大模型训练中，数据质量和数量至关重要，2021年国内大模型效果不佳的原因之一是数据不足，导致模型训练不充分

观点2：关于多模态研究

核心观点 ：多模态是实现AGI的重要路径，但目前多模态模型在生成与理解一体化上仍存在困难，需要解决数据、架构和算法等多方面的问题
论点支撑 ：
- 静态图像在生成、理解和人类对齐方面存在割裂，无法像自然语言那样形成自闭环，因此需要结合语言等其他模态
  - 理解：自然语言是人类创造的，天然带着人类的偏好和反馈，但是图片是天然就有的；
  - 理解：自闭环的本质是 “认知逻辑的符号化自洽” ，即像自然语言那样，在生成、理解及与人类意图对齐的过程中，能够形成一套完整、自洽且相互关联的系统，各环节之间可实现高效协同与反馈，无需依赖外部过多的额外信息或干预即可完成从输入到输出的连贯处理
- 早期多模态模型尝试将图像和文字统一处理，但生成效果差，生成与理解部分相互独立，未实现真正融合
- 视觉生成需要类似语言模型的 COT ，但目前视觉 COT 仍处于初级阶段，生成数据泛化能力不足
- 视频数据蕴含更丰富的信息，是多模态研究的长期方向，但数据清洗和与语言模态对齐是难点
- Gemini 和 4o 模型在图像生成可控性上的进展表明，通过数据清洗和任务限制，可实现简单任务的多模态融合，为多模态的 “GPT4时刻” 奠定基础

观点3：关于推理能力与Next Token Prediction（NTP）范式

核心观点 ：NTP 范式是支撑当前大模型的基础算法，但在推理能力，尤其是数学推理能力上存在本质缺陷，导致大模型在复杂推理任务上表现不佳
论点支撑 ：
- NTP 的本质是联合概率建模和数据压缩，其优化目标是最大化压缩率，而非直接优化推理任务的正确性
- 大模型在训练中倾向于跳步，以提高压缩率，但跳步在复杂数学问题中易出错，导致推理能力下降
- 小模型由于能力有限，无法拟合复杂函数，只能老老实实地一步步推理，在简单数学问题上正确率较高
- RL 可在一定程度上缓解 NTP 的缺陷，但效果有限，o1 模型通过引入反思等思维链模式，激发了模型的推理能力，是对 NTP 范式的重要改进
理解：访谈中提到，张祥雨认为大模型容易跳步的原因是因为模型够大，能够记住预训练的分布（数据中本就存在部分跳过的场景，小模型不够大，反而无法跳过中间步骤）；大模型的这种跳步有一定概率会失败，特别在数学推理需要多步的场景，容易导致大模型一个地方错了，后面全错

观点4：关于自主学习与在线学习

核心观点 ：自主学习和在线学习是实现 AGI 的关键步骤，能够使模型在真实环境中自主探索、学习和进化，解决当前模型依赖人工标注和环境不可规模化的问题
论点支撑 ：
- 当前的RL方法依赖人工定义目标和环境，缺乏内生驱动力，无法像人类一样自主学习
- 自主学习需要解决从自然语言等非结构化反馈中获取信息、无限长上下文建模和内生奖励设计等问题
- 在线学习可使模型在真实环境中持续改进，与环境动态交互，提高模型的适应性和泛化能力
- 自主学习和在线学习的突破可能在两年内实现，将推动 AGI 向更高水平发展
理解：
- 自主学习的定义：能够像人类一样，主动地从环境中获取信息、学习新知识，并将其融入到已有的知识体系中，以不断提升自身的智能水平和适应能力
  - 自主学习不仅包括对数据的学习，还涉及到对学习策略的自我优化，能够根据不同的任务和环境，自主地选择合适的学习方法和算法
  - 注：自主学习的核心是无需人工对每个具体的知识点进行详细标注和指导
- 在线学习的定义：在动态的环境中，能够实时地从新出现的数据流中学习，并不断调整和更新自身的模型和策略，以应对环境的变化和新的任务要求

观点5：关于架构与算法的关系

核心观点 ：架构服务于算法和系统，算法的突破是推动 AGI 发展的核心动力，而不是单纯的架构创新
论点支撑 ：
- ResNet 的成功源于解决了模型深度增加时的梯度问题，是算法和训练方法的创新，而非架构本身的独特性
- Linear Attention 等架构改进是为了适应 NTP 范式的并行化需求，而非本质性突破
- o1 模型的成功源于思维链模式和 RL 算法的应用，而非架构的变化
- 未来 AGI 的发展将依赖算法的创新，如自主学习算法，而架构将根据算法需求进行优化
理解：
- 这里所说的架构是指模型架构（即神经网络之间的连接方式等），而算法在这里则是指一种广泛通用的方法（比如 NTP 范式、ResNet等）

观点6：关于长上下文（Long Context）

核心观点 ：长上下文在应用中重要，但当前 Transformer 架构在长上下文建模上存在效率低、易受干扰等问题，需要借鉴人类记忆机制，采用分层记忆和多模块协作的方式解决
论点支撑 ：
- 人类记忆分为短期记忆、中期记忆和长期记忆，具有分层和选择性遗忘的特点，而 Transformer 的长上下文建模缺乏类似机制，导致效率低下
- 长上下文会导致模型注意力涣散，干扰后续推理，解决方法包括采用多模型协作、分层记忆和任务驱动的上下文裁剪等
- 多 Agent 协作和思维链扩展可有效减少对长上下文的依赖，实现更高效的推理
理解：
- 访谈中提到，这里所说的多 Agent 其实是类比于人类不同脑区负责不同功能的做法，使用一个上层的脑区来负责切分关注模块，下层的脑区仅需要理解较短的上下文即可
- 访谈中还提到，类似于这种方法，使用 RL 来训练，可以实现端到端训练

观点7：RL 只能激发预训练阶段学到的知识

核心观点 ：RL 只能激发预训练阶段学到的知识，不能给模型输入新的知识
理解：实际上这个已经成为了大家的共识了

NLP——A-Survey-on-Post-Training-of-LLMs

注：本文包含 AI 辅助创作

参考链接：
- 可参考：(PoLMs Survey)A Survey on Post-training of Large Language Models, arXiv 20250308, HUST
- 又名（增加了开源地址）：Large Language Models Post-training: Surveying Techniques from Alignment to Reasoning, arXiv 20250521, HUST
- 开源地址：github.com/Mr-Tieguigui/LLM-Post-Training

Paper Summary

重点说明：
- 论文首次全面综述了后训练语言模型（Post-training Language Model, PoLM） ，系统追溯了从 2018 年 ChatGPT 的对齐起源到 2025 年 DeepSeek-R1 的推理里程碑的发展轨迹
- 论文评估了广泛的技术（即微调、对齐、推理、效率以及集成与适配）
- 论文的分析强调，后训练语言模型显著提升了大语言模型的能力，从最初的对齐创新发展到复杂的推理框架；
- 揭示了一些持续存在的挑战，包括偏差持久性、计算可扩展性以及依赖上下文的伦理对齐
LLM 的出现从根本上改变了自然语言处理领域，使其在从对话系统到科学探索等多个领域都变得不可或缺，但 LLMs 的预训练架构在特定场景中往往存在局限性，包括
- 推理能力有限（restricted reasoning capacities）
- 伦理不确定性（ethical uncertainties）
- 特定领域性能欠佳（suboptimal domain-specific performance）
这些挑战需要先进的 后训练语言模型（PoLM） 来解决，例如 OpenAI-o1/o3 和 DeepSeek-R1（统称为大型推理模型，Large Reasoning Model, LRM）
论文首次对 PoLM 进行了全面综述，系统追溯了其在五个核心范式中的演变：
- 微调（Fine-tuning） ，用于提高特定任务的准确性；
- 对齐（Alignment） ，确保伦理一致性并与人类偏好对齐；
- Reasoning ，在奖励设计面临挑战的情况下推进多步推理；
- 效率（Efficiency） ，在复杂性不断增加的情况下优化资源利用；
- 集成与适配（Integration and Adaptation） ，在解决一致性问题的同时跨多种模态扩展能力
从 2018 年 ChatGPT 的基础对齐策略到 2025 年 DeepSeek-R1 在推理方面的创新进展，论文阐述了 PoLM 如何利用数据集来减轻偏见、深化推理能力并增强领域适应性
论文的贡献包括：
- 对 PoLM 演变的开创性综合分析
- 对技术和数据集进行分类的结构化分类法
- 强调 LRM 在提高推理能力和领域灵活性方面作用的战略议程
作为首个此类范围的综述，论文整合了近期 PoLM 的进展，并为未来研究建立了严谨的理论框架，促进在精度、伦理稳健性和跨科学与社会应用的多功能性方面表现卓越的 LLM 的发展

Introduction and Discussion

人们普遍认为，真正的智能赋予论文推理能力、检验假设的能力以及为未来可能发生的事情做准备的能力

It is generally agreed upon that authentic intelligence equips us with reasoning capabilities, enables us to test hypotheses, and prepares for future eventualities. —— Jean Khalfa 《WHAT IS INTELLIGENCE（1994）》
语言模型（Language Models, LMs）（2018, 2018）代表了旨在建模和生成人类语言的复杂计算框架
- 这些模型通过使机器能够以接近人类认知的方式理解、生成和与人类语言交互，彻底改变了自然语言处理领域（2011）
与通过与环境互动和接触语境自然习得语言技能的人类不同，机器必须经过广泛的、数据驱动的训练才能发展出类似的能力（2025）
- 这带来了重大的研究挑战，因为要使机器理解和生成人类语言，同时进行自然的、符合语境的对话，不仅需要大量的计算资源，还需要完善的模型开发方法（2024, 2023）
以 GPT-3（2020）、InstructGPT（2023）和 GPT-4（2023）为代表的 LLMs 的出现，标志着语言模型进化的一个变革性阶段
- 这些模型以其庞大的参数规模和先进的学习能力为特点，旨在捕捉海量数据集中的复杂语言结构、语境关系和细微模式
- 这使大语言模型不仅能够预测后续词语，还能在包括翻译、问答和摘要在内的广泛任务中生成连贯的、与语境相关的文本
- 大语言模型的发展引发了极大的学术兴趣（2024, 2023），其发展可分为两个主要阶段：预训练和后训练
预训练 ：预训练的概念源于计算机视觉（Computer Vision, CV）任务中的迁移学习（2023）
- 其主要目标是利用大量数据集开发一个通用模型，以便轻松微调用于各种下游应用
- 预训练的一个显著优势是它能够利用任何未标记的文本语料库，从而提供丰富的训练数据源
- 然而，早期的静态预训练方法，如神经网络语言模型（Neural Network Language Models, NNLM）（2000）和Word2vec（2013），难以适应不同的文本语义环境，这促使了像 BERT（2018）和 XLNet（2019）这样的动态预训练技术的发展
- BERT 通过利用 Transformer 架构和在大规模未标记数据集上采用自注意力机制，有效解决了静态方法的局限性
  - BERT 确立了“预训练和微调”的学习范式，启发了众多后续研究，这些研究引入了多种架构，包括 GPT-2（2019）和 BART（2019）
后训练 ：后训练指的是在模型经过预训练后采用的技术和方法，旨在完善模型，使其适应特定任务或用户需求
- 随着拥有 175B 参数的 GPT-3（2020）的发布，后训练领域的兴趣和创新显著激增
- 各种旨在提高模型性能的方法应运而生，包括：
  - 微调（2020, 2021）：利用标记数据集或特定任务数据调整模型参数；
  - 对齐策略（2022, 2022, 2023）：优化模型以更好地符合用户偏好；
  - 知识适应技术（2022, 2021）：使模型能够整合特定领域的知识；
  - 推理改进（2024, 2024）：增强模型进行逻辑推理和决策的能力
- 以上这些技术统称为后训练语言模型（Post-training Language Models, PoLMs），促成了GPT-4（2023）、LLaMA-3（2024）、Gemini-2.0（2025）和 Claude-3.5（2024）等模型的开发，标志着大语言模型能力的显著进步
- 然而，后训练模型通常难以在不重新训练或大幅调整参数的情况下适应新任务 ，这使得后训练模型的开发成为一个活跃的研究领域
如前所述，预训练语言模型（Pre-trained Language Models, PLMs）主要旨在提供通用知识和能力，而后训练语言模型则专注于使这些模型适应特定任务和需求
- 最新的大语言模型 DeepSeek-R1（2025）就是这种适应的一个显著例子，它展示了后训练语言模型在增强推理能力、符合用户偏好以及提高跨领域适应性方面的进化（2024）
- 此外，开源大语言模型（如 LLaMA（2023）、Gemma（2024）和 Nemotron（2024））和特定领域的大型数据集（如 PromptSource（2022）和 Flan（2023））的日益普及，正促使学术研究人员和行业从业者开发后训练语言模型
- 这一趋势凸显了人们越来越认同后训练语言模型领域中定制化适应的重要性
在现有文献中，预训练语言模型已被广泛讨论和综述（2023, 2023, 2023, 2020），而后训练语言模型却很少被系统地综述
- 为了推进这些技术，有必要彻底审视现有研究，以确定关键挑战、差距和进一步完善的机会
- 本综述旨在通过为不断发展的后训练研究提供一个结构化框架来填补这一空白
如图1所示，它探讨了后训练的多个阶段，特别关注从 ChatGPT 到 DeepSeek 所采用的阶段
- 这些技术涵盖了广泛的方法，包括微调、大语言模型对齐、推理增强和效率改进
- 图中的蓝色部分专门突出了 DeepSeek 所应用的后训练方法集，强调了有助于其在适应用户偏好和特定领域需求方面取得成功的创新策略

Major Contributions

论文是第一篇关于后训练语言模型的全面综述，对该领域的最新进展进行了彻底、结构化的探索
以前的综述通常集中在大语言模型开发的特定方面，如偏好对齐（2024）、参数高效微调（2024）和大语言模型的基础技术（2025），但它们主要集中在狭窄的子主题上
相比之下，本综述采用整体方法，全面回顾了后训练中常用的核心技术，并对其进行了系统分类
此外，论文研究了对这些方法至关重要的数据集和实际应用，如图2所示，并确定了开放挑战和未来研究的有前景的方向
本综述的主要贡献如下：
- 全面的历史综合（Comprehensive Historical Synthesis） ：论文首次深入综合了后训练语言模型，追溯了它们从 ChatGPT 最初的 RLHF 到 DeepSeek-R1 创新的冷启动强化学习方法的演变
  - 这种综合涵盖了关键技术（即微调、对齐、推理、效率以及整合与适应），分析了它们的发展和相关挑战，如计算复杂性和伦理考虑
  - 通过将这一进展作为一个连贯的叙述呈现，并辅以必要的参考文献，论文为研究人员提供了近年来后训练演变的全面概述，作为该领域的基础资源
- 结构化分类法和框架（Structured Taxonomy and Framework） ：论文引入了一个结构化分类法（如图2所示），将后训练方法分为五个不同类别，并将数据集组织为七种类型，同时将应用划分为专业、技术和交互领域
  - 该框架阐明了这些方法的相互关系和实际意义，提供了对其发展的系统视角
  - 通过提供明确定义的类别和分析见解，论文提高了新手和专家的可访问性和理解度，建立了一个全面的指南，用于驾驭后训练研究的复杂性
- 未来方向（Future Directions） ：论文强调了新兴趋势，特别是大型推理模型（Large Reasoning Models, LRMs）的兴起，如 o1（2024）和 DeepSeek-R1（2025），它们利用大规模强化学习突破推理的界限
  - 论文强调，持续进步对于进一步提高推理能力和领域适应性至关重要
  - 论文的分析确定了关键挑战，包括可扩展性限制、伦理对齐风险和多模态整合障碍
  - 论文提出了研究途径，如自适应强化学习框架和公平感知优化
  - 这些方向旨在推动后训练向前发展，确保大语言模型在精度、可信度方面达到更高水平，以满足未来的需求

Organization

本综述被系统地组织起来，以全面探讨后训练语言模型，涵盖其历史演变、方法、数据集、应用和未来轨迹
第2节提供了后训练语言模型的历史概述
第3节研究微调，包括
- 3.1节中的 SFT
- 3.3节中的强化微调（Reinforcement Fine-Tuning, RFT）
第4节讨论对齐，包括
- 4.1节中的 RLHF
- 4.2节中的 RLAIF（Reinforcement Learning from AI Feedback, RLAIF）
- 4.3节中的直接偏好优化
第5节关注推理，包括
- 5.1节中的 Self-Refine 方法
- 5.2节中的用于推理的强化学习
第6节综述提高效率的方法，包括
- 6.1节中的模型压缩
- 6.2节中的参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）
- 6.3节中的知识蒸馏
第7节研究整合与适应，探讨多模态方法、领域适应和模型合并
第8节回顾后训练中使用的数据集
第9节探讨大语言模型的应用
第10节评估开放问题和未来方向
第11节以总结和研究展望结束

Overview

History of PoLMs

LLM 的发展是 NLP 领域的关键篇章，而后训练方法则是推动其从通用预训练架构向专门化、任务自适应系统演进的重要催化剂
本节将阐述后训练语言模型（Post-training Language Models, PoLMs）的历史轨迹，追溯其从以 BERT（2018）和 GPT（2018）为代表的预训练里程碑，到以当代模型（如 o1（2024）和 DeepSeek-R1（2025））为体现的复杂后训练范式的发展过程
如图3所示，这一进程反映了从建立广泛语言能力到增强任务特定适应性、伦理对齐、推理复杂性和多模态整合的转变，标志着大语言模型能力的变革之旅
现代后训练语言模型历史的开端与 2018年 的预训练革命相契合，以 BERT（2018）和 GPT（2018）的发布为标志，它们重新定义了自然语言处理的基准
- BERT 的双向自编码框架利用 Transformer 架构和自注意力机制，在问答等任务中出色地捕捉了上下文相互依赖关系
- GPT 的自回归设计则优先考虑生成连贯性，为文本生成树立了先例
BERT 和 GPT 模型确立了“预训练和微调”范式，随后在 2019年 通过 T5（2019）得到改进，T5 将各种任务统一在文本到文本框架下，促进了多任务学习，并为后训练进展奠定了坚实基础
2020年起，后训练语言模型的格局开始发生重大演变，这是因为人们越来越需要使预训练模型能够凭借有限的数据高效适应各种任务
- 早期创新（如 Prefix-Tuning（2021）和 Prompt-Tuning（2021））引入了轻量级适应策略，通过修改模型输入而非重新训练整个架构，实现了多任务灵活性，从而节省了计算资源并扩大了适用性
- 这一时期还出现了向以用户为中心的优化的关键转变 ，2021年 RLHF（Reinforcement Learning from Human Feedback, RLHF）（2022）问世，该技术利用人类评估使模型输出与主观偏好保持一致，提高了对话场景中的实际效用
- 到 2022年 ，RLHF 随着 PPO（2017）的采用而成熟，改进了对齐稳定性并减轻了对噪声反馈的过拟合
- 2022年末 ，ChatGPT（2023）的发布集中体现了这些进步，展示了 RLHF 在创建响应迅速、与用户对齐的大语言模型方面的变革潜力，并推动了后训练语言模型研究的激增
- 同时， CoT 提示（2022）作为一种推理增强策略出现，鼓励模型在复杂任务中阐明中间步骤，从而提高了逻辑推理和问题解决领域的透明度和准确性
2022年 至 2024年 间，后训练语言模型（PoLMs）向解决领域特异性（domain specificity）、伦理稳健性（ethical robustness）和多模态整合（multi-modal integration）等方向多元化发展，反映出对大语言模型优化的日益细致的方法
- 领域适应技术（如检索增强生成（Retrieval-Augmented Generation, RAG）（2020））应运而生，用于整合外部知识库，无需完全重新训练就能为专业领域提供富含上下文的输出，这对于需要最新信息的专业应用而言是一项关键进步
- 伦理对齐方面的努力也在加强，2023年 直接偏好优化（Direct Preference Optimization, DPO）（2024）通过直接根据人类偏好优化模型输出来简化 RLHF，绕过了中间奖励建模，以提高效率和稳健性
- 同时，对多模态能力的追求也获得了关注，像 PaLM-E（2023）和 Flamingo（2022）等模型开创了视觉-语言整合，随后 BLIP-2（2023）和 LLaVA（2023）将这些努力扩展到医学成像等更广泛的领域
- 效率创新与这些发展并行，特别是通过 MoE 架构实现；
  - 谷歌 2022年 的 Switch-C Transformer（2022）引入了 1.6T 参数的稀疏激活，分布在 2048 个专家中，而 Mixtral（2024）完善了这一范式，平衡了可扩展性和性能
- 这一时期的推理增强（如自我对弈（Self-play）（2024）和结合思维链的蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）（2021））通过模拟迭代推理路径进一步增强了大语言模型的决策能力，为以推理为重点的高级模型奠定了基础
随着混合专家模型的兴起，一项重大的架构进步出现了，与传统的密集架构不同，混合专家模型通过动态激活选择性参数子集，在优化计算效率的同时适应了庞大的参数规模
- 这一范式由谷歌 2022年 的 Switch-C Transformer（2022）开创，其特点是 1.6T 参数分布在 2048 个专家中，这种开创性方法平衡了资源需求和性能提升
- 后续版本（如 Mixtral（2024）和 DeepSeek V2.5（2024），其中 DeepSeek V2.5 利用 236B 总参数（160 个专家，激活参数 21B））进一步完善了这一框架，在 LMSYS 基准测试中取得了 SOTA 结果，并证明了稀疏混合专家架构在可扩展性和功效方面都能与密集模型相媲美
  - 注：LMSYS，即 LmArena，是一个 LLM 排行榜基准
- 这些发展强调了向注重效率的后训练语言模型的转变，使大语言模型能够以更低的计算开销处理复杂任务，这是扩大其实用性的关键一步
- 到 2025年 ，DeepSeek-R1（2025）成为后训练语言模型创新的里程碑，它摆脱了对传统 SFT 的依赖，采用思维链推理和探索性强化学习策略
  - 以 DeepSeek-R1-Zero 为代表，该模型整合了自我验证、反思和扩展的思维链生成，在开放研究范式中验证了强化学习驱动的推理激励，并引入了蒸馏技术（distillation techniques，2025），将复杂的推理模式从更大的架构转移到更小的架构
  - 这些技术不仅相对单独的强化学习训练产生了更优异的性能，还预示了一种可扩展的、以推理为中心的大语言模型范式，有望解决后训练方法中计算效率和任务适应性的长期挑战

Formula Foundations of PoLMs

Principle of Policy Optimization

PPO 算法（2017）是一种关键的强化学习技术，在 RLHF（2022）等场景中特别有用，在这些场景中，保持稳定性和效率至关重要
- PPO 通过限制策略更新的大小来实现这些目标，确保模型行为的变化是渐进和可控的，从而防止性能出现灾难性的变化
- 这在微调大规模语言模型时尤为重要，因为剧烈的策略更新可能导致不良或不可预测的行为
定义（Definition） ：在 PPO 的背景下，状态 $s_{t} \in S$ 表示时间 $t$ 的环境，包括模型做出决策所需的所有相关信息
- 动作 $a_{t} \in A(s_{t})$ 表示模型在状态 $s_{t}$ 下做出的选择
  - 这个动作是模型所做的一系列决策的一部分
- 执行动作后，智能体会收到奖励 $r_{t} \in \mathbb{R}$，作为来自环境的反馈，表明所采取动作的成功或失败
- 优势函数 $A^{\pi}(s, a)$ 衡量在当前策略 $\pi$ 下，在状态 $s$ 中采取动作 $a$ 相对于该状态下动作的预期值的优势
- 它正式定义为动作值函数 $Q^{\pi}(s, a)$ 和状态值函数 $V^{\pi}(s)$ 之间的差异，定义如下：
  $$A^{\pi}(s, a)=Q^{\pi}(s, a)-V^{\pi}(s) \tag{1}$$
  - 其中 $Q^{\pi}(s, a)$ 表示在状态 $s$ 中采取动作 $a$ 并遵循策略 $\pi$ 所获得的预期累积奖励，$V^{\pi}(s)$ 是从状态 $s$ 开始并遵循策略 $\pi$ 的预期累积奖励
  - 这两个函数都考虑了未来的奖励，并通过因子 $\gamma$ 进行贴现（discounted by $\gamma$）
策略更新（Policy Update） ：PPO 算法基于优势函数进行增量更新，从而优化策略 $\pi_{\theta}$，策略更新使用剪辑目标函数执行：
$$L^{CLIP}(\theta)=\hat{\mathbb{E} }_{t}\left[\min \left(r_{t}(\theta) \hat{A}_{t}, \operatorname{clip}\left(r_{t}(\theta), 1-\epsilon, 1+\epsilon\right) \hat{A}_{t}\right)\right]$$
- 其中 $r_{t}(\theta)$ 表示在当前策略 $\pi_{\theta}$ 下采取动作 $a_{t}$ 的概率与在旧策略 $\pi_{\theta_{\text {old } } }$ 下的概率之比。该比率定义为：
  $$r_{t}(\theta)=\frac{\pi_{\theta}\left(a_{t} | s_{t}\right)}{\pi_{\theta_{\text {old } } }\left(a_{t} | s_{t}\right)}$$
  - $\hat{A}_{t}$ 是时间步 $t$ 的估计优势，剪辑函数 $\operatorname{clip}\left(r_{t}(\theta), 1-\epsilon, 1+\epsilon\right)$ 将策略更新限制在由超参数 $\epsilon$ 控制的安全范围内
  - 这种剪辑机制确保更新不会与先前的策略偏离太多，从而在训练期间保持稳定性
值函数更新 ：值函数 $V_{\phi}$ 估计在策略 $\pi_{\theta}$ 下，从给定状态 $s_{t}$ 获得的预期累积奖励
- 为了确保值函数提供准确的估计，通过最小化预测值与实际奖励之间的均方误差来优化它：
  $$\phi_{k+1}=\arg \min_{\phi} \mathbb{E}_{s_{t} \sim \pi_{\theta_{k} } }\left[\left(V_{\phi}\left(s_{t}\right)-R\left(s_{t}\right)\right)^{2}\right]$$
  - 其中 $R(s_{t})$ 是从状态 $s_{t}$ 获得的实际累积奖励，$V_{\phi}(s_{t})$ 是在当前策略下的估计值
  - 目标是调整参数 $\phi$，以最小化预测奖励和实际奖励之间的差异，提高值函数的准确性

Principle of RLHF

RLHF 是一种通过在学习过程中利用人类生成的反馈使模型与人类偏好保持一致的关键方法
- 这种方法包含一个明确捕捉人类输入的奖励函数，使模型能够更好地适应用户偏好和实际应用
定义：在 RLHF 中，语言模型 $\rho$ 生成词汇表 $\sum$ 中标记序列的概率分布
- 模型 $\rho$ 从输入空间 $X=\sum^{\leq m}$ 生成标记序列 $x_{0}, x_{1}, …, x_{n-1}$，其中每个标记都条件依赖于先前的标记
- 模型的输出由以下条件概率分布定义：
  $$\rho\left(x_{0} \cdots x_{n-1}\right)=\prod_{0 \leq k<n} \rho\left(x_{k} | x_{0} \cdots x_{k-1}\right)$$
- 模型 $P$ 在由输入空间 $X$ 、 $X$ 上的数据分布 $D$ 和输出空间 $Y=\sum^{\leq n}$ 定义的任务上进行训练
  - 例如，在文本摘要中，如（2020）所示，GPT-2模型（2019）使用 RLHF 进行训练，其中任务涉及基于CNN/DailyMail（2015）和TL;DR（2017）等数据集预测文本摘要
目标函数 ：策略 $\pi$ 是一个与原始模型 $\rho$ 结构相同的语言模型
- 最初，策略 $\pi$ 被设置为等于 $\rho$，目标是通过优化策略来最大化输入-输出对 $(x, y)$ 的预期奖励 $R(x, y)$
- 奖励函数 $R(x, y): X \times Y \to \mathbb{R}$ 为每个输入-输出对分配一个标量值，通过解决以下最大化问题获得最优策略 $\pi^{*}$ ：
  $$\pi^{*}=\max_{\pi} \mathbb{E}[R]= \max_{\pi} \mathbb{E}_{x \sim \mathcal{D}, y \sim \pi(\cdot | x)}[R(x, y)]$$
- 这个目标函数代表了一个标准的强化学习问题，其中模型通过在环境中的交互学习最大化预期奖励，并以人类反馈为指导

Principle of DPO

直接偏好优化（Direct Preference Optimization, DPO）在 RLHF 的基础上，直接根据人类偏好（通常以成对比较的形式表达）优化模型的输出
- 直接偏好优化消除了对传统奖励函数的需求，而是专注于通过最大化基于偏好的奖励来优化模型行为
目标函数（Objective Function） ：论文从与先前方法（2019, 2023, 2020）相同的强化学习目标开始，采用通用奖励函数 $r^{*}$ 。KL约束奖励最大化目标的最优解由下式给出：
$$\pi_{r}(y | x)=\frac{1}{Z(x)} \pi_{\text {ref } }(y | x) \exp \left(\frac{1}{\beta} r(x, y)\right)$$
- 其中 $Z(x)$ 是确保输出在所有可能动作上归一化的配分函数
- 即使利用真实奖励 $r^{*}$ 的最大似然估计 $r_{\phi}$，也可以近似配分函数 $Z(x)$，从而简化优化过程
- 这种表述通过直接根据人类反馈调整策略，实现了更高效的偏好优
偏好模型（Preference Model） ：使用 Bradley-Terry model（1952），该模型对两个输出 $y_{1}$ 和 $y_{2}$ 之间的偏好进行建模，最优策略 $\pi^{*}$ 满足以下偏好模型：
$$p^{*}\left(y_{1} \succ y_{2} | x\right)=\frac{1}{1+\exp \left(\beta \log \frac{\pi^{*}\left(y_{2} | x\right)}{\pi_{\text {ref } }\left(y_{2} | x\right)}-\beta \log \frac{\pi^{*}\left(y_{1} | x\right)}{\pi_{\text {ref } }\left(y_{1} | x\right)}\right)}$$
- 其中 $p^{*}(y_{1} \succ y_{2} | x)$ 表示在给定输入 $x$ 的情况下，人类偏好输出 $y_{1}$ 胜过 $y_{2}$ 的概率
- 这种方法有效地将人类偏好纳入模型的优化过程

Principle of GRPO

GRPO 算法是强化学习中 PPO 算法的一种变体，最早在DeepSeek之前的工作《DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models》（2024）中提出
- 组相对策略优化省略了评论家模型，而是使用组分数估计基线，与 PPO 相比显著减少了训练资源消耗
定义：组相对策略优化和 PPO 算法之间最显著的区别在于优势函数的计算方法
- 从 2.2.1节的式（1）中可以看出，PPO 中的优势函数 $A^{\pi}(s, a)$ 的值源于 Q值和 V值之间的差异
目标函数 ：具体而言，对于每个问题 $q$，组相对策略优化从旧策略 $\pi_{\theta_{\text {old } } }$ 中采样一组输出 $\left\{o_{1}, o_{2}, \ldots, o_{G}\right\}$，然后通过最大化以下目标来优化策略模型：
$$\begin{aligned} \mathcal{J}_{G R P O}(\theta) & =\mathbb{E}\left[q \sim P(Q),\left\{o_{i}\right\}_{i=1}^{G} \sim \pi_{\theta_{oid } }(O | q)\right] \\ & \frac{1}{G} \sum_{i=1}^{G} \frac{1}{\left|o_{i}\right|} \sum_{t=1}^{\left|o_{i}\right|}\left\{ m i n \left[\frac{\pi_{\theta}\left(o_{i, t} | q, o_{i,<t}\right)}{\pi_{\theta_{old } }\left(o_{i, t} | q, o_{i,<t}\right)} \hat{A}_{i, t}, clip\left(\frac{\pi_{\theta}\left(o_{i, t} | q, o_{i,<t}\right)}{\pi_{\theta_{old } }\left(o_{i, t} | q, o_{i,<t}\right)}, 1-\epsilon, 1+\epsilon\right) \hat{A}_{i, t}\right] -\beta D_{K L}\left[\pi_{\theta} | \pi_{ref }\right]\right\}, \end{aligned}$$
- 其中 $\epsilon$ 和 $\beta$ 是超参数，$\hat{A}_{i, t}$ 是仅基于每个组内输出的相对奖励计算的优势，这将在5.2小节中详细介绍

PoLMs for Fine-Tuning

微调是使预训练的 LLM 适应特定任务的基础，它通过有针对性地调整参数来优化模型的能力
这个过程利用有标签或特定任务的数据集来提升性能，从而缩小通用预训练和特定领域需求之间的差距
本章将探讨三种主要的微调范式：
- 监督微调（Supervised Fine-Tuning，在3.1节中介绍），它利用带 annotations（标注）的数据集来提高特定任务的准确性；
- 自适应微调（Adaptive Fine-Tuning，在3.2节中介绍），它通过 Instruction Tuning 和基于提示的方法来定制模型行为；
- 强化微调（Reinforcement Fine-Tuning，在3.3节中介绍），它结合强化学习，根据奖励信号迭代优化输出，通过动态交互促进模型的持续改进

SFT

SFT （2022）通过利用特定任务的带标签数据集，使预训练的大语言模型适应特定任务
与依赖指令提示的 Instruction Tuning不同，监督微调直接使用带 annotations 的数据来调整模型参数 ，使模型既精确又能适应上下文，同时还保留了广泛的泛化能力
监督微调弥合了预训练阶段编码的广泛语言知识与目标应用的细致需求之间的差距（2021）
预训练的大语言模型通过接触大量语料库，获取了通用的语言模式，这减少了在微调时对大量特定领域数据的依赖
模型的选择至关重要：
- 较小的模型，如 T5（2019），在数据集有限、资源受限的环境中表现出色；
- 较大的模型，如 GPT-4（2023），则凭借其更强的能力在复杂、数据丰富的任务中表现优异

Dataset Preparation for SFT

构建高质量的监督微调数据集是一个多方面的过程，对微调的成功至关重要
监督微调数据集的构建（SFT Dataset Construction） ：监督微调数据集通常被构建为 $D=\{(I_{k}, X_{k})\}_{k = 1}^{N}$，其中 $I_{k}$ 是一条指令，$X_{k}$ 是其相应的实例
- 这种配对能让大语言模型识别特定任务的模式并生成相关输出
- 像 Self-Instruct（2022）这样的方法，通过合成新的指令-输出对，丰富了数据集的多样性，并使用如 ROUGE-L（2015）这样的指标过滤重复内容，以保持多样性
监督微调数据集的筛选（SFT Dataset Screening） ：筛选确保最终数据集中只保留高质量的指令-实例对
- 使用筛选函数 $r(·)$ 来评估每对 $(I_{k}, X_{k})$ 的质量，从而得到一个经过筛选的子集 $D’$ ：
  $$\mathcal{D}’=\{(I_{k}, X_{k}) \in \mathcal{D} | r(I_{k}, X_{k}) \geq \tau\}$$
  - 其中 $\tau$ 是用户定义的质量阈值
  - 例如，指令跟随难度（Instruction Following Difficulty, IFD）指标（2023）用于量化给定指令引导模型生成预期响应的有效程度
  - IFD 函数表示为：
    $$r_{\theta}(Q, A)=\frac{\sum_{i = 1}^{N} \log P(w_{i}^{A} | Q, w_{1}^{A}, …, w_{i - 1}^{A} ; \theta)}{\sum_{i = 1}^{N} \log P(w_{i}^{A} | w_{1}^{A}, …, w_{i - 1}^{A} ; \theta)}$$
    - 其中 $Q$ 表示指令，$A$ 是预期响应，$\theta$ 代表模型的可学习参数
    - 这个指标通过比较在有指令和无指令情况下生成响应的可能性，提供了一种标准化的方法来衡量指令对响应生成的促进效果
    - 不符合选定 IFD 阈值的指令-实例对将被排除，从而得到一个优化后的数据集 $D’$
    - 注：特别需要注意的是，上述表达式中的分子分母均小于 0，所以，$r_{\theta}(Q, A) > 1$ 时，说明分子小于分母
  - 注：这里 IFD 的表达式中同时省略了分子分母的负号，虽然结果一致，但会对理解 IFD 指标带来一定的困扰
    - 补充：IFD 的原始计算方式（原始论文：From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning, 20240406）：IFD 通过计算条件回答分数（Conditioned Answer Score，CAS）与直接答案分数（Direct Answer Score，DAS）的比值得到，公式为：
      $$ \mathrm{IFD}_\theta(Q,A)=\frac{s_\theta(A|Q)}{s_\theta(A)}$$
      - $s_\theta(A|Q)$ 表示模型在给定指令 $Q$ 的情况下生成答案 $A$ 的分数
        $$ s_{\theta}(A | Q) = -\frac{1}{N} \sum_{i = 1}^{N} \log P\left(w_{i}^{A} | Q, w_{1}^{A}, w_{2}^{A}, \cdots, w_{i - 1}^{A} ; \theta\right)$$
      - $s_\theta(A)$ 表示模型直接生成答案 $A$ 的分数
        $$ s_{\theta}(A) = -\frac{1}{N} \sum_{i = 1}^{N} \log P\left(w_{i}^{A} | w_{1}^{A}, \cdots, w_{i - 1}^{A} ; \theta\right) $$
    - 补充：IFD 指标意义 ：IFD 值可以反映指令对模型生成答案的影响程度
      - IFD 值超过 1 的数据通常被视为异常数据
        
        理解：由于分子分母都是正数，此时说明分子大于分母，即条件概率小于直接生成概率： $P(A|Q,W) < P(A|W) $，这说明，加入 Q 对 A 的生成非但没有帮助，反而是负向影响
      - IFD 高但不超过 1，意味着提示对模型生成答案有帮助，但帮助不显著，这类样本属于 “difficulty” 样本；
        
        理解：此时条件概率大于直接生成概率 $P(A|Q,W) > P(A|W) $，但是大的不多，即 Q 对 A 的生成影响不大，此时 模型难以将答案与给定的指令内容对齐 ，这种样本对模型来说挑战较大
      - 低 IFD 值表明提示极大地简化了答案的生成，属于 “easy” 样本
        
        理解：此时条件概率大于直接生成概率 $P(A|Q,W) > P(A|W) $，且大很多，即 Q 对 A 的生成影响非常大，这种样本很容易学习（甚至不需要学习？）
      - 较高的 IFD 分数表明模型难以将答案与给定的指令内容对齐 ，说明指令难度更高 ，对模型调优更有利
监督微调数据集的评估（SFT Dataset Evaluation） ：
- 评估监督微调数据集需要选择一个高质量的子集 $D_{eval}$，作为衡量模型性能的基准
- 这个子集可以从经过筛选的数据集 $D’$ 中抽样，或者从独立的部分数据中获取，以确保公正性
- 传统的监督微调评估方法，如 Few-Shot GPT（2020）和微调策略（2023），资源消耗大，而指令挖掘（Instruction Mining）（2023）提供了一种更高效的替代方法
  - 指令挖掘使用线性质量规则和一组指标，如响应长度和平均奖励模型分数（2023），来衡量数据集质量，并评估这些指标与整体数据集质量之间的相关性
  - 注：指令挖掘（Instruction Mining）通常是指从大量数据中自动或半自动地筛选、提取和构建高质量的指令遵循（instruction-following）数据的过程
  - 问题：到底是 SFT Evaluation 还是 SFT Dataset Evaluation？

Process of SFT

如图4所示，数据集准备好以后，微调过程从一个预训练的大语言模型开始
- 这个预训练模型通常是通过在大规模原始数据集上进行无监督或自监督预训练得到的）
- 预训练阶段的目标是获取适用于各种任务的通用特征表示（2021）
在微调阶段，模型的参数会使用特定任务的带 annotations 数据进行调整，使模型符合给定应用的要求（这个阶段常用的目标函数是交叉熵损失函数）
对于一个有 $N$ 个样本和 $C$ 个类别的分类任务，它可以表示为：
$$L_{\text{fine-tune}}(\theta)=-\frac{1}{N} \sum_{i = 1}^{N} \sum_{j = 1}^{C} y_{ij} \log P(y_{j} | x_{i} ; \theta)$$
- 其中 $y_{ij}$ 是样本 $i$ 在类别 $j$ 中的真实标签，$P(y_{j} | x_{i} ; \theta)$ 表示模型预测样本 $i$ 属于类别 $j$ 的概率
- 最小化这个损失函数可以使模型更好地与真实标签对齐，从而提高在目标任务上的性能
一个突出的例子是 BERT 模型（2018），它在如 BooksCorpus 和 Wikipedia 等广泛的语言语料库上进行了广泛的预训练
在微调阶段，这些广泛的表示会使用特定任务的数据（例如用于情感分析的 IMDB 数据集（2011））进行优化，使 BERT 能够专注于诸如情感分类和问答等任务

Full-Parameter Fine-Tuning

全参数微调指的是调整预训练模型的所有参数的过程，这与像 LoRA（2021）或 Prefix-Tuning（2021）等仅修改部分参数的参数高效方法不同
全参数微调通常用于需要高精度的任务，如医疗和法律领域（2023），但它需要大量的计算资源
- 例如，微调一个有 65B 参数的模型可能需要超过 100GB 的 GPU 内存，这给资源受限的环境带来了挑战
  - 理解：这里低估了吧，65B 模型全参数微调至少需要 1000GB 显存
- 为了缓解这些限制，像 LOMO（2023）这样的内存优化技术被引入，它减少了梯度计算和优化器状态的内存占用
- 模型的参数根据以下规则更新：
  $$\theta_{t + 1}=\theta_{t}-\eta \nabla_{\theta} L(\theta_{t})$$
  - 其中 $\theta_{t}$ 表示在迭代 $t$ 时的模型参数，$\eta$ 是学习率，$\nabla_{\theta} L(\theta_{t})$ 表示损失函数的梯度
  - 使用混合精度训练（Mixed Precision Training）（2017）和激活检查点（Activation Checkpointing）（2016）等内存优化技术，有助于减少内存需求，使大型模型能够在硬件资源有限的系统上进行微调
从 GPT-3 到 InstructGPT（2022）就是一个全参数微调的显著例子，在这个过程中，模型的整个参数集使用为指令跟随任务设计的数据集进行了微调。这种方法能带来最佳性能，但由于需要更新所有参数，计算成本很高

Adaptive Fine-Tuning

自适应微调通过修改预训练模型的行为，更好地满足用户特定需求，并处理更广泛的任务
这种方法引入了额外的提示来指导模型生成输出，为定制模型的响应提供了一个灵活的框架
自适应微调中值得注意的方法包括 Instruction Tuning 和基于提示的微调（prompt-based tuning），这两种方法都通过引入特定任务的指导，显著增强了大语言模型的适应性

Instruction Tuning

Instruction Tuning（2023）是一种通过在专门构建的指令数据集上对基础大语言模型进行微调，来优化模型的技术
这种方法大大提高了模型在各种任务和领域中的泛化能力，增强了其灵活性和准确性
如图5所示，这个过程首先将现有的 NLP 数据集（例如用于文本分类、翻译和摘要的数据集）转换为自然语言指令，这些指令包括任务描述、输入示例、预期输出和示例演示
- 像 Self-Instruct（2022）这样的技术，通过自动生成额外的指令-输出对，进一步增强了这些数据集的多样性，扩大了模型接触的任务范围
- 微调过程使模型的参数与这些特定任务的指令保持一致，从而使大语言模型在熟悉和以前未见过的任务中都能表现出色
- 例如，InstructGPT（2022）和 GPT-4（2023）在众多应用中，指令跟随能力都有显著提升
Instruction Tuning 的有效性在很大程度上取决于指令数据集的质量和广度
- 高质量的数据集应涵盖广泛的语言、领域和任务复杂性，以确保模型具有广泛的适用性（2023）
- 指令的清晰度和组织方式在使模型有效解释和执行任务方面起着关键作用
- 诸如整合示例演示，包括思维链提示（Chain-of-Thought prompting）（2022）等技术，可以显著提高在需要复杂推理的任务上的性能
- 此外，在微调阶段 确保任务的平衡分布至关重要 ，这可以避免因任务覆盖不均衡而导致的过拟合或模型性能下降
  - 像按比例任务采样或加权损失函数这样的技术，有助于解决这些问题，确保每个任务在微调过程中都能做出公平的贡献
- 结论：通过精心构建和管理指令数据集，研究人员可以大大提高微调后的大语言模型的泛化能力，使其在广泛的任务和领域中表现出色（2023）

Prefix-Tuning

Prefix-Tuning（2021）是一种参数高效的微调方法，它在语言模型的每个 Transformer 层添加一系列可训练的前缀标记（连续向量），同时保持核心模型参数不变
如图6（a）所示，这些前缀向量是特定于任务的，并且起着虚拟 token embedding 的作用
为了优化前缀向量，使用了一种重参数化技巧，即学习一个小型多层感知器（Multi-Layer Perceptron, MLP）函数，将一个较小的矩阵映射到前缀参数，而不是直接优化前缀向量
- 这种方法已被证明可以稳定训练过程
前缀向量被优化后，映射函数会被丢弃，只保留导出的前缀向量来提高特定任务的性能
通过在输入序列前添加学习到的连续提示，并利用分层提示，模型的行为被引导向特定任务的输出，而无需对整个模型进行微调
由于只调整前缀参数，这是一种一种更高效的参数调整方法
在此基础上，P-Tuning v2（2021）将分层提示向量整合到 Transformer 架构中 ，专门用于自然语言理解任务
- 这种方法还利用多任务学习来跨任务优化共享提示，从而在不同的参数规模上提高模型性能（2021）
Prefix-Tuning 能够快速有效地使大语言模型适应特定任务，这使它成为需要灵活性和效率的应用中的一种有吸引力的策略

Prompt-Tuning

Prompt-Tuning（2021, 2020）是一种旨在通过优化输入层的可训练向量 ，而不修改模型内部参数 ，来有效调整大语言模型的方法
如图6（b）所示，这项技术在离散提示方法（2020, 2021）的基础上，引入了软提示标记，这些标记可以采用无限制格式（2021）或前缀形式（2020）
这些学习到的提示嵌入在模型处理之前与输入文本嵌入相结合，从而在保持预训练权重不变的情况下引导模型的输出
Prompt-Tuning 的一个值的提到的实现是 P-tuning（2021），它使用一种灵活的方法来组合上下文、提示和目标标记，适用于理解和生成任务
- 这种方法通过双向长短期记忆（Long Short-Term Memory, LSTM）架构增强了软提示表示的学习
- 相比之下，标准 Prompt-Tuning（2020）采用了更简单的设计，其中前缀提示被添加到输入之前，并且在训练过程中仅根据特定任务的监督更新提示嵌入
研究表明，Prompt-Tuning 在许多任务上可以达到与全参数微调相媲美的性能，同时所需的可训练参数要少得多
- 但它的成功与底层语言模型的能力密切相关，因为 Prompt-Tuning 只在输入层修改少量参数（2021）
在这些进展的基础上，像 P-Tuning v2（2021）这样的新方法已经证明，Prompt-Tuning 策略可以有效地扩展到各种模型大小，处理以前认为需要完全微调的复杂任务
这些发现确立了 Prompt-Tuning 作为传统微调的一种高效替代方法，在降低计算和内存成本的同时提供了可比的性能

Reinforcement Fine-Tuning

强化微调（Reinforcement Fine-Tuning, ReFT）（2024）是一种先进的技术，它将 RL 与监督微调相结合，以增强模型解决复杂动态问题的能力
强化微调与传统的监督微调不同
- 传统监督微调通常为每个问题使用单一的思维链 annotations
- 强化微调使模型能够探索多种有效的推理路径 ，从而提高其泛化能力和解决问题的技能
强化微调过程从标准的监督微调阶段开始，在监督微调阶段，模型最初有标签数据（labeled data）上进行训练，通过监督 annotations 学习基本的任务解决能力
在初始微调之后，模型使用强化学习算法（如 PPO（2017））进行进一步优化
在强化阶段，模型为每个问题生成多个思维链 annotations，探索不同的潜在推理路径。通过将模型的预测答案与真实答案进行比较来评估这些生成的路径，正确输出给予奖励，错误输出则给予惩罚。这个迭代过程促使模型调整其策略，最终改进其推理策略
如图7所示，强化微调过程分两个阶段执行
- 上半部分代表监督微调阶段，在这个阶段，模型在训练数据上迭代，在几个训练周期内学习每个问题的正确思维链 annotations
- 在图的下半部分，引入了强化微调阶段：
  - 从经过监督微调训练的模型开始，模型根据其当前策略生成替代的思维链 annotations $(e’)$，并将其预测答案 $(y’)$ 与真实答案 $(y)$ 进行比较
  - 正确答案给予正奖励，错误答案给予负奖励 ，从而推动模型提高性能
  - 这些奖励信号随后用于通过强化学习更新模型的策略，增强其生成准确多样的思维链 annotations 的能力
最近的研究表明，强化微调明显优于传统的监督微调方法（2024）
- 此外，在推理时集成多数投票和重排序等策略，可以进一步提高性能，使模型在训练后能够优化其输出
- 值得注意的是，强化微调在不需要额外或增强训练数据的情况下实现了这些改进，仅从监督微调阶段使用的现有数据集中学习
- 这突出了模型卓越的泛化能力，因为它能够更高效地从可用数据中学习

PoLMs for Alignment

LLM 的对齐是指引导模型输出符合人类期望和偏好，尤其在安全关键或面向用户的应用中
本章将讨论实现对齐的三种主要范式：
- RLHF（在4.1节中介绍）：使用人类标记的数据作为奖励信号；
- RLAIF（在4.2节中介绍）：利用人工智能生成的反馈来解决可扩展性问题；
- 直接偏好优化（在4.3节中介绍）：直接从成对的人类偏好数据中学习，不需要显式的奖励模型
每种范式在追求稳健对齐方面都有其独特的优势、挑战和权衡
这些方法及相关方法的简要比较总结在表2中

RLHF（Reinforcement Learning with Human Feedback）

SFT 是引导大语言模型遵循人类指令的基础技术
但在纯监督场景中，带 annotations 数据的多样性和质量可能参差不齐，而且监督模型捕捉更细微或适应性更强的人类偏好的能力往往有限
为了应对这些不足，人们提出了基于 RL 的微调方法。在强化学习方法中，RLHF（2022）是最早且最具影响力的基于强化学习的后训练对齐方法之一
如图8所示：RLHF 首先以偏好标签或奖励信号的形式聚合人类反馈，然后使用这些信息来训练奖励模型
- 在这个奖励模型的指导下，策略会不断调整，以更好地匹配人类偏好
- 与监督微调相比，RLHF 融入了持续的、基于偏好的更新，从而带来更强的对齐效果
- 值得注意的是，像 GPT-4（2023）、Claude（2024）和 Gemini（2023）这样的现代大语言模型都受益于这些机制，在指令跟随、事实一致性和用户相关性方面都有改进
下面，论文将讨论 RLHF 的主要组成部分，包括反馈机制、奖励建模和策略学习策略

Feedback Mechanisms of RLHF

人类反馈是 RLHF 的核心，它向奖励模型告知用户偏好并指导策略更新
本小节采用（2023）的分类法对常见的人类反馈形式进行分类
表3从粒度、参与程度和明确性等维度展示了这些反馈类型
- 每种反馈方式都对模型优化的不同方面有所贡献，并在可解释性、可扩展性和抗噪声性方面表现出不同的水平
主要反馈（Primary Feedback） ：这类反馈是 RLHF 中最直接影响奖励模型的反馈类型，例如：
- 评论（Critique）（2020）侧重于人类对智能体行为的明确评估，通常通过二元或多标签 annotations 来减少噪声
- 比较（Comparisons）（2011）允许评估者比较多个输出或轨迹；虽然更大的选择集可以提供更丰富的信号，但也可能导致因果混淆
- 跨时间反馈（Inter-Temporal Feedback）（2019）通过在不同时间步提供判断来优化轨迹评估
- 代理奖励（Proxy Rewards）（2021）整合了近似奖励函数，引导模型朝着用户定义的目标前进
- 社会行为（Social Behavior）（2021）利用隐含线索（如面部表情）使智能体目标与用户情绪保持一致
- 改进（Improvements）（2023）强调人类的实时干预，以逐步优化策略
- 自然语言反馈（Natural Language Feedback）（2023）利用文本信息传达偏好和改进建议
补充反馈（Supplementary Feedback） ：除了主要反馈外，还有两类反馈进一步强化奖励建模过程
- 紧急停止（e-stops）（2023）允许人类通过中断智能体的轨迹来干预其行为，而无需提出替代方案
  - 这种反馈的特点是隐含参与，并且专注于防止不良行为
- 重要性标签（Importance labels）（2021）表明特定观察结果对实现目标的重要性，提供不直接改变行为的明确反馈
  - 这种反馈因上下文而异，作为补充输入，强化奖励模型的整体学习过程
特定表示反馈（Representation-Specific Feedback） ：某些反馈类型主要用于增强表示学习，而不是直接塑造奖励函数
- 特征轨迹（Feature Traces）（2022）促使人类操作员展示特定特征的单调变化，从而实现特征集的动态扩展
- 相似性查询（Similarity Queries）（2023）通过比较轨迹三元组，通过轨迹空间中的成对距离来指导表示学习
- 通过利用这些特定表示的反馈形式，RLHF 可以更好地泛化到新任务和新环境

Reward Model of RLHF

真实的奖励函数 $r(x, y)$ 通常是未知的，因此有必要基于人类提供的偏好构建一个可学习的奖励模型 $r_{\theta}(x, y)$
- 该模型预测候选输出 $y$ 在给定输入 $x$ 的情况下与人类期望的对齐程度
为了获得 $r_{\theta}(x, y)$ 的训练数据，人类评估者会根据输出的相对适用性对输出对进行比较或标记，并且该模型通常使用这些比较的交叉熵损失进行训练
为了防止策略 $\pi$ 与初始模型 $\rho$ 偏离太远，在奖励函数中引入了一个由超参数 $\beta$ 控制的惩罚项：
$$r_{\theta}(x, y)=r(x, y)-\beta \log \frac{\pi(y | x)}{\rho(y | x)}$$
- 其中 $\pi(y | x)$ 是微调后的策略 $\pi$ 在给定输入 $x$ 时产生输出 $y$ 的概率，而 $\rho(y | x)$ 是原始模型 $\rho$ 对应的概率
- 这个项确保 $\pi$ 在适应人类反馈的同时，仍然受到 $\rho$ 所捕捉的先验知识的约束
评估奖励函数 $r_{\theta}(x, y)$ 至关重要，因为它直接影响学习效果和策略性能
- 准确评估这个函数有助于确定适合的奖励结构，使模型输出与人类偏好保持一致
- 但在安全敏感领域，由于在线交互、偏差和对真实奖励的需求等相关风险，标准的滚动方法（2017, 2019）和离线策略评估（2019, 2019）可能不可行
为了应对这些挑战，通常采用两种主要方法：
- 距离函数（Distance Functions） ：最近的研究集中在奖励评估距离函数上，这些函数考虑了潜在的转换，如潜在塑造。例如
  - EPIC（2020）在各种转换下测量奖励函数的等价性
  - DARD（2022）优化规范化以确保评估基于可行的转换
  - 类 EPIC 距离（2022）通过允许规范化、标准化和度量函数的可变性来推广 EPIC 的方法
  - STARC（2023）保留了 EPIC 的理论特性，同时提供了额外的灵活性
- 可视化和人工检查（Visual and Human Inspection） ：其他方法依靠可解释性和精心设计的数据集来评估学习到的奖励函数的有效性
  - PRFI（2022）使用预处理步骤来简化奖励函数，同时保持等价性，从而提高其透明度
    8 同时，CONVEXDA 和 REWARDFUSION（2023）提出了旨在测试奖励模型对提示语义变化的响应一致性的数据集
  - 这些技术共同有助于更可靠地评估奖励函数，加强大语言模型与人类偏好的对齐

Policy Learning of RLHF

如图9所示，RLHF 的策略学习包括在在线和离线环境中通过人类反馈优化策略
在线学习（Online Learning） ：在 Online RLHF 中，系统收集关于新生成的模型轨迹的实时人类偏好
- 像 DPS（2020）这样的算法使用贝叶斯更新来管理竞争过程，而 PPS 和 PEPS（2020）整合了动态规划和多臂老虎机的思想来优化策略行为
- 在 LPbRL（2022）中，特征嵌入捕捉不断变化的奖励结构，而 PbOP（2022）整合了最小二乘估计用于转换动态和偏好信号
- 最近，PARL（2023）通过将反馈获取视为策略优化的一个组成部分，以提高数据收集效率为目标
离线学习（Offline Learning） ：在 Offline RLHF 中，以前收集的带有偏好标签的轨迹被用于学习或优化策略
- 例如，（2023）研究了带有成对比较数据的策略学习的悲观最大似然估计，并建立了性能界限
- 像 FREEHAND（2023）和 DCPPO（2023）这样的扩展推广到未知的偏好模型，探索离线数据覆盖范围和策略泛化之间的相互作用
- 此外，（2024）解决了成对比较的玻尔兹曼模型中的过拟合问题，而 DCPPO（2023）进一步研究了动态离散选择模型以提高反馈效率
在线学习和离线学习的融合（Blending Online and Offline Learning） ：混合方法将离线预训练与在线偏好聚合相结合，充分利用预先收集的数据，同时仍然整合实时更新
- PFERL（2022）采用两阶段方法来最小化人类查询，而 PERL（2020）探索用于主动探索的乐观最小二乘策略
- 竞争强化学习（Dueling RL）（2023）及其扩展（如 PRPRL（2023）中的 REGIME）通过仔细划分数据获取和反馈收集来减少人类标记需求，从而优化样本效率、 annotations 成本和策略性能之间的权衡

RLAIF（Reinforcement Learning with AI Feedback）

基于 AI 反馈的强化学习（Reinforcement Learning with AI Feedback, RLAIF）扩展了 RLHF 范式，它采用大语言模型生成反馈信号
这种方法可以补充或替代人类反馈，在人类 annotations 稀缺、昂贵或不一致的任务中提供更具可扩展性、成本更低的偏好数据

RLAIF vs RLHF

RLHF 在大规模应用中面临的一个主要挑战是其对人类生成的偏好标签的依赖，这需要大量资源来收集、整理和标记数据
- 标注数据的过程既耗时又昂贵，而且人类评估者可能会引入不一致性，从而使在所有模型输出上进行大规模、一致的标注变得复杂
- 这些限制极大地限制了 RLHF 的可扩展性和效率
为了应对这些挑战，（2022）提出了 RLAIF，它结合人类反馈和人工智能生成的反馈，通过强化学习来训练模型
- 通过利用大语言模型作为反馈源，RLAIF 减少了对人类标注者的依赖，为传统的 RLHF 提供了一种可行的替代方案
- 这种方法能够持续生成反馈，显著提高可扩展性，同时保留人类引导的模型优化的灵活性
如图10所示，RLHF 和 RLAIF 的主要区别在于反馈源：
- RLHF 依赖于人类生成的偏好，而 RLAIF 使用人工智能生成的反馈来指导策略更新
- 实证研究（如（2023）的研究）表明：RLAIF 可以达到与 RLHF 相当甚至更优的性能 ，这是由人类评估者评估的
- RLAIF 不仅超过了传统的监督微调基线，而且使用与策略模型规模相同的大语言模型偏好标注器来实现这一点 ，突显了该方法的效率

RLAIF Training Pipeline

RLAIF 的训练流程遵循几个关键阶段，在这些阶段中，人工智能生成的反馈被用于迭代优化模型的行为
正如（2023）所详细描述的，该流程使大语言模型的输出能够以跨各种任务的可扩展方式与人类期望保持一致
这些阶段如下：
- 人工智能反馈收集（AI Feedback Collection） ：在这个阶段，人工智能系统根据预定义的标准生成反馈，这些标准可能包括特定任务的指标、响应的正确性或模型输出的适当性
  - 与需要解释和手动标注的人类反馈不同，人工智能反馈可以在广泛的模型输出中一致地生成
  - 这种特性使人工智能反馈能够持续提供，显著扩大了反馈循环的规模
- 奖励模型训练（Reward Model Training） ：人工智能生成的反馈随后被用于训练或优化奖励模型
  - 该模型将输入-输出对映射到相应的奖励，使模型的输出与反馈所指示的期望结果保持一致
  - 虽然传统的 RLHF 依靠直接的人类反馈来评估输出，但 RLAIF 利用人工智能生成的标签，尽管这可能会引入一致性和偏差相关的问题，但在可扩展性和不依赖人力资源方面具有优势
- 策略更新（Policy Update） ：最后阶段包括基于前一步训练的奖励模型更新模型的策略
  - 采用强化学习算法来调整模型的参数，优化策略以在各种任务中最大化累积奖励
  - 策略更新过程是迭代的，奖励模型指导模型的输出朝着与预期目标更高程度的对齐方向发展
RLAIF 的主要优势在于：它能够在不需要持续人类干预的情况下扩展反馈循环
- 通过用人工智能生成的反馈替代人类反馈，RLAIF 促进了大语言模型在多个任务中的持续改进，缓解了人类标注工作带来的瓶颈

Direct Preference Optimization

如前所述，RLHF（2022）通常包括三个阶段：
- 监督微调（2021, 2022）
- 奖励建模
- 强化学习（通常通过 PPO 实现）（2017）
尽管 RLHF 是有效的，但它可能很复杂且容易不稳定，特别是在拟合奖励模型然后使用该模型微调大语言模型的阶段
- 困难在于创建一个准确反映人类偏好的奖励模型，以及在微调语言模型以优化这个估计奖励的同时，使其与原始模型保持接近
为了解决这些问题，直接偏好优化（Direct Preference Optimization, DPO）（2024）作为一种更稳定且计算效率更高的替代方案被引入
直接偏好优化通过将奖励函数直接与最优策略联系起来，简化了奖励优化过程
它将奖励最大化问题视为基于人类偏好数据的单阶段策略训练问题，从而避免了奖励模型拟合的复杂性以及对 Bradley-Terry model（1952）的依赖

Foundation of DPO

RLHF 包括训练奖励模型（Reward Model, RM）和通过强化学习微调语言模型
直接偏好优化通过直接使用人类偏好数据训练语言模型，将奖励模型隐含地捕获在策略本身中，从而简化了这个过程
KL 正则化奖励最大化目标（KL-Regularized Reward Maximization Objective） ：直接偏好优化始于成熟的KL正则化奖励最大化框架，如下所示的目标：
$$\pi^{*}=\arg \max_{\pi} \mathbb{E}_{x \sim \mathcal{D}, y \sim \pi(\cdot | x)}\left[r(x, y)-\beta K L\left(\pi(\cdot | x) | \pi_{r e f}(\cdot | x)\right)\right] \tag{14}$$
- 其中 $r(x, y)$ 表示奖励函数，$\beta>0$ 是控制与参考策略 $\pi_\text{ref}$ 接近程度的系数，而 $KL(\cdot | \cdot)$ 表示 KL 散度（Kullback-Leibler divergence）
- 这里，$x \sim \mathcal{D}$ 表示从数据分布中抽取的输入，$y \sim \pi(\cdot | x)$ 表示从策略中采样的输出
最优策略的推导（Deriving the Optimal Policy） ：在适当的假设下，式（14）的解以玻尔兹曼分布（Boltzmann distribution）的形式导出（2019, 2023, 2020）：
$$\pi^{*}(y | x)=\frac{1}{Z(x)} \pi_{r e f}(y | x) \exp \left(\frac{1}{\beta} r(x, y)\right) \tag{15}$$
- 其中配分函数：
  $$Z(x)=\sum_{y} \pi_{r e f}(y | x) \exp \left(\frac{1}{\beta} r(x, y)\right)$$
  - 作为归一化项，确保 $\pi^{*}$ 仍然是一个有效的概率分布（即其概率之和为1）
奖励的重参数化（Reparameterizing the Reward） ：对式（15）的两边取自然对数，我们可以将奖励 $r(x, y)$ 与最优策略 $\pi^{*}$ 联系起来。这产生：
$$r^{*}(x, y)=\beta\left[\log \pi^{*}(y | x)-\log \pi_{r e f}(y | x)\right]+\beta \log Z(x) \tag{16}$$
- 其中 $\beta \log Z(x)$ 是一个不影响奖励成对比较的常数
- 如果已知最优策略 $\pi^{*}$，则真实奖励 $r^{*}(x, y)$ 的值取决于这个常数
Bradley–Terry 偏好（Preferences） ：在 Bradley-Terry model（1952）下，人类对两个输出 $y_{1}$ 和 $y_{2}$ 的偏好由它们的奖励值之差决定
- 偏好 $y_{1}$ 胜过 $y_{2}$ 的概率由下式给出
  $$p^{*}\left(y_{1} \succ y_{2} | x\right)=\frac{\exp \left(r^{*}\left(x, y_{1}\right)\right)}{\exp \left(r^{*}\left(x, y_{1}\right)\right)+\exp \left(r^{*}\left(x, y_{2}\right)\right)} \tag{17}$$
- 将式（17）代入式（18），论文得到最终的偏好模型：
  $$p^{*}\left(y_{1} \succ y_{2} | x\right)=\frac{1}{1+\exp \left(\beta\left[\log \frac{\pi^{*}\left(y_{2} | x\right)}{\pi_{r e f}\left(y_{2} | x\right)}-\log \frac{\pi^{*}\left(y_{1} | x\right)}{\pi_{r e f}\left(y_{1} | x\right)}\right]\right)}$$
- 这个表达式将成对的人类偏好概率与最优策略 $\pi^{*}$ 和参考策略 $\pi_\text{ref}$ 的比率联系起来

Training Details of DPO

直接偏好优化框架建立在两个核心模型之上：参考策略 $\pi_\text{ref}$ 和目标策略 $\pi_\text{tar}$
参考策略通常是一个经过预训练和监督微调的语言模型，在整个训练过程中保持固定
相比之下，目标策略从 $\pi_\text{ref}$ 初始化，并使用基于偏好的反馈进行迭代更新，从而更好地与人类判断保持一致
图11描述了这个整体流程
数据收集和准备 ：直接偏好优化依赖于一个精心挑选的偏好数据集，该数据集是通过为每个提示 $x$ 从 $\pi_\text{ref}$ 中采样多个候选响应获得的
- 然后，人类标注者根据连贯性、相关性和清晰度等标准对这些响应进行比较或排序
- 由此产生的偏好标签作为优化 $\pi_\text{tar}$ 的核心训练信号
训练过程 ：通过一系列基于梯度的更新来优化目标策略，旨在最小化损失 $L_{DPO}$ ，具体来说：
- 1）生成： $\pi_\text{ref}$ 为每个提示 $x$ 生成候选输出；
- 2）标注：人类标注者比较生成的输出，确定它们的相对偏好；
- 3）优化：利用这些成对的偏好，$\pi_\text{tar}$ 被迭代更新，以更好地模仿人类偏好的输出
- 在整个过程中，$\pi_\text{ref}$ 保持不变，为衡量改进提供了一个稳定的基线
实际考虑因素 ：选择一个稳健的参考策略通常对有效初始化直接偏好优化至关重要
- 监督微调通常会为 $\pi_\text{ref}$ 产生一个性能良好的基线，确保后续基于偏好的更新可以专注于优化，而不是基本技能的获取
  - 理解：SFT 注入知识或技能，DPO 仅仅专注策略优化，而不是基本技能的学习
- 此外，偏好数据必须足够多样化，以捕捉用户期望的变化，从而促进模型的适应性并防止在定义狭窄的任务上过拟合

Variants of DPO

已经出现了多种直接偏好优化的变体，以解决特定的对齐挑战并优化文本生成的不同方面
表2概述了这些方法，范围从 Token-level 生成优化到控制冗长性以及处理列表式或负面偏好
用于优化生成的直接偏好优化（DPO for Optimizing Generation） ：Token-level DPO 和 iterative DPO 策略有助于更细粒度或持续地与人类偏好保持一致
- token-level DPO（2024）被重新表述为一个老虎机问题，采用由 $(S, A, f, r, \rho_{0})$ 定义的马尔可夫决策过程（Markov Decision Process, MDP）
  - 这种方法减轻了诸如不受欢迎的标记的过度 KL 散度等挑战
- TDPO（2024）应用顺序前向 KL 散度而不是反向 KL 散度，同时改进了文本生成中的对齐和多样性保留
- Iterative DPO（2024）采用多轮方法，通过重复的偏好评估（通常由模型本身执行）来持续优化输出
- 成对厌恶优化（Pairwise Cringe Optimization, PCO）（2024）通过使用软边际来平衡探索和利用，将二元反馈扩展到成对设置
- Step-wise DPO（2024）对偏好数据集进行分区，并应用迭代更新，将每一轮的更新策略作为下一轮的基线
可控和灵活的直接偏好优化（Controllable and Flexible DPO） ：一些直接偏好优化变体旨在管理冗长性并减少对固定参考策略的需求
- R-DPO（2024）通过目标函数中的正则化项惩罚输出长度，解决过度冗长或冗余的响应
- SimPO（2024）通过归一化响应长度并简化损失函数以处理期望和不期望的输出，消除了对参考策略的需求
- RLOO（2024）利用 REINFORCE 算法而不训练价值模型，大大减少了计算开销（问题：RLOO 算是 DPO 变体？）
  - 它将整个响应视为单个动作，并从稀疏奖励中学习，与传统的基于 PPO 的方法相比，简化了实现
Listwise DPO ：列表式直接偏好优化方法不是将偏好数据限制为成对比较，而是对输出集进行优化
- LiPO（Listwise Preference Optimization, 列表式偏好优化）（2024）直接在候选响应的排序列表上应用学习排序技术，相对于重复的成对比较提高了效率
- RRHF（2023）将偏好对齐整合到监督微调中，消除了对单独参考模型的需求
- PRO（2024）将列表式偏好分解为更简单的二元任务，简化了监督微调期间的对齐
Negative DPO ：某些任务需要从不受欢迎或有害的输出中学习：
- NN（Negating Negatives, 否定负面）（2024）丢弃正面响应，并最大化与较不受欢迎的输出的差异
- NPO（Negative Preference Optimization, 负面偏好优化）（2024）对负面偏好应用梯度上升，有效减少有害输出并减轻灾难性崩溃

PoLMs for Reasoning

推理是使 LLM 能够处理涉及多步逻辑、复杂推理和复杂决策任务的核心支柱
本章探讨两种增强模型推理能力的核心技术：
- Self-Refine for Reasoning（5.1节），它指导模型自主检测并纠正自身推理步骤中的错误；
- Reinforcement Learning for Reasoning（5.2节），它采用基于奖励的优化来提高模型 CoT 的一致性和深度。这些方法共同使模型能够更稳健地处理长期决策、逻辑证明、数学推理和其他具有挑战性的任务

Self-Refine for Reasoning

在优化大语言模型以处理需要复杂逻辑推理和依赖上下文的决策任务时，推理仍然是一个核心挑战
在这种情况下，Self-Refine 作为一种强大的机制出现，它能在文本生成过程中或生成后迭代地找出并纠正错误，从而显著提高推理深度和整体可靠性
如图12所示， Self-Refine 方法可分为四类：
- 内在 Self-Refine （Intrinsic Self-refine），它依赖模型内部的推理循环；
- 外在 Self-Refine （External Self-refine），它整合外部反馈资源；
- 微调内在 Self-Refine （Fine-tuned Intrinsic Self-refine），它基于自我生成的修正迭代更新模型的推理过程；
- 微调外在 Self-Refine （Fine-tuned External Self-refine），它利用外部信号和微调以更具适应性、更长期的方式优化推理
表4进一步说明了每类方法如何增强大语言模型在各种任务中的推理能力

Intrinsic Self-Refine

Intrinsic Self-Refine 方法专注于使模型自身能够在不借助外部工具的情况下检测并修正错误
- RCI 提示（RCI Prompting）（2024）仅在识别到矛盾或错误时才触发修正，避免对微小的不确定性反应过度
- CAI修订（CAI Revisions）（2022）纠正不良输出（如攻击性文本），同时教会模型自我调节其响应
- Self-Refine（2024）利用从低质量提示到高保真指令的转变，优化中间逻辑以提高一致性
- CoVe（2023）通过将多答案问题分解为子任务来处理这类问题，每个子任务都经过单独验证，以确保整个推理链的精确性和一致性
- 弱到强泛化（Weak-to-Strong Generalization, W2SG）方法利用先进算法，使强大的学生模型能够从能力较弱的教师模型产生的含噪声演示中有效学习（2023）
  - 该框架在不同领域已有多项重要发展和应用
- 最近的研究通过各种创新增强了弱到强泛化。例如
  - 集成学习技术已成功应用于提高弱到强泛化方法的稳健性和有效性（2024）
  - （2024）采用弱到强外推来增强大语言模型的对齐

External Self-Refine

External Self-Refine 方法涉及利用外部反馈源或计算工具来指导和纠正模型的推理
- CRITIC（2024）系统地检查分步输出，提高复杂推理任务的可靠性
- Reflexion（2024）和自我调试（Self-Debug）（2023）分别将生成的答案与参考解决方案或少样本示例进行比较，迭代优化逻辑
- 像 FLARE（2023）和 Logic-LM（2023）这样的技术整合来自外部文档或符号求解器的参考，从而最大限度地减少逻辑失误
- RARR（2022）和 SelfEvolve（2023）表明，验证中间状态（如编译器消息或相关知识源）是一种有效的方法，可及早修剪错误路径并引导模型找到正确解决方案
- （2024）提出了基于人类反馈的迭代偏好学习，包括用于在线场景的直接偏好优化（Direct Preference Optimization, DPO）算法的迭代版本，以及用于离线场景的多步拒绝采样策略
- PIT（2024）从人类偏好数据中间接学习改进目标

Fine-tuned Intrinsic Self-refine

通过专门针对内部修订（internal revision）对基础模型进行微调，Fine-tuned Intrinsic Self-refine 方法系统地加强大语言模型的自我纠正循环
- 自我批判（Self-Critique）（2022）旨在通过自我审查改进摘要
- SelFee（2023）使用迭代反馈循环确保更高水平的逻辑一致性
- Volcano（2024）通过在大语言模型架构中微调专用的校正模块来减少多模态幻觉
- RL4F（2023）利用基于强化学习的批判循环，在需要深入推理的基准测试中平均提高 10% 的性能
- REFINER（2024）同样专注于中间推理路径，而不改变模型原始的生成过程，这表明通过训练模型仔细重新检查其部分输出，可以实现持续的改进
- 易到难泛化（easy-to-hard generalization）作为弱到强泛化的一种有前景的变体出现，其中模型首先在易于验证的示例上训练，然后再处理更复杂的任务（2024）
  - 这种方法的一个显著实现是在人类可验证的示例上训练强大的奖励模型，该模型随后指导在具有挑战性的任务上对更强大的模型进行监督（2024）
  - 此外，弱到强泛化的有效性不仅限于大语言模型，在计算机视觉任务中也有成功应用（2024）

Fine-tuned External Self-refine

Fine-tuned External Self-refine 方法下，在需要长期改进的场景中，模型的参数通过外部反馈机制进行更新。例如：
- 自我编辑（Self-Edit）（2023）基于执行结果重新生成代码输出，从而实现正确性的迭代改进
- Baldur（2023）通过添加或修改上下文来加强定理证明
- CodeRL（2022）采用基于测试的批判来验证程序合成任务中的功能准确性
总之，这些技术表明，将外部资源与有针对性的微调相结合，有助于在模型的整体推理性能方面实现可靠的、逐步的进步

Reinforcement Learning for Reasoning

在5.1节中，论文探讨了 Self-Refine 方法，这是一种通过局部调整和优化来提高大语言模型推理能力的广泛使用的方法
这种技术通常应用于单步任务或输出优化，如文本生成和问答，可快速提升推理效果；但对于需要多步逻辑的复杂、长期推理任务，它却难以胜任
OpenAI 的 o1 系列（2024）的发布凸显了 RL 作为一种强大的替代方案，它通过基于奖励的反馈优化长内部思维链，训练大语言模型进行高级推理
- 这显著提高了在数学证明和战略规划等复杂任务中的性能
o1 的成功推动了对大规模强化学习的研究，像 QwQ-32B-Preview（2023）在数学和编程方面表现出色，DeepSeek-R1（2025）则与 o1 的能力相当
本小节探讨强化学习在增强推理方面的作用，重点介绍领先的开源模型 DeepSeek-R1 和 DeepSeek-R1-Zero

Formulating Reasoning as an MDP

大语言模型中的推理可以巧妙地建模为一个顺序决策过程，其中模型为响应输入查询 $x$ 迭代构建一系列中间步骤 $a_{1}, a_{2}, …, a_{T}$，以优化得出正确最终答案的可能性
这种概念化将推理转变为适合强化学习的结构化框架，具体而言，是通过马尔可夫决策过程（Markov Decision Process, MDP）的视角，记为 $M=(S, A, P, R, \gamma)$
马尔可夫决策过程包含状态、动作、转移、奖励和时间折扣的动态相互作用，为训练大语言模型处理复杂推理任务提供了坚实的数学基础
通过将推理构建为一系列深思熟虑的选择，这种方法使模型能够系统地探索和优化其逻辑路径，这与游戏或机器人等领域的决策制定类似，但又适应了语言和概念推理的独特挑战
最终目标是推导出一个最优策略 $\pi^{*}(a_{t} | s_{t})$，该策略最大化预期累积奖励，表示为
$$ J(\theta)=\mathbb{E}_{\pi_{\theta} }[\sum_{t = 1}^{T}\gamma^{t}R(s_{t}, a_{t})]$$
并利用诸如 PPO（2017）或 A2C（Advantage Actor-Critic，2016）等强化学习技术，基于环境反馈迭代增强推理能力
状态空间（State Space） ：
- 状态空间 $s$ 构成了这个马尔可夫决策过程的基础，每个状态 $s_{t} \in S$ 表示时间步 $t$ 的当前推理轨迹，它是语言和结构元素的丰富组合，对推理过程至关重要
- 具体而言，$s_{t}$ 包括初始查询 $x$ 、先前推理步骤序列 $\{a_{1}, …, a_{t-1}\}$，以及编码逻辑依赖关系和中间结论（如部分解决方案或推断关系）的内部记忆表示
- 随着推理的展开，这个状态会动态演变，通过整合通过生成步骤明确表达的路径和从上下文理解中提取的潜在知识，反映思维的进展
- 例如，在数学证明中，$s_{t}$ 可能包括问题陈述、先前推导的方程以及适用定理的记忆，使模型能够在各个步骤之间保持一致性
- 这种多方面的状态表示确保大语言模型能够自适应地跟踪其推理上下文，这是处理需要持续逻辑连续性的任务（如多步问题解决或文本生成中的叙事连贯性）的先决条件
动作空间（Action Space） ：
- 动作空间 $A$ 定义了每个步骤可能的决策范围，其中动作 $a_{t} \in A$ 对应于下一个推理步骤的选择，为推进推理过程提供了多功能工具包
- 这些动作可能包括生成自然语言中的一个 Token 或短语来表达推理片段、应用预定义的逻辑或数学变换（如代数简化）、从知识库中选择相关定理或规则来扩展推理链，或者在得出结论性答案后终止过程
- 动作空间的性质因任务而异：
  - 它可能是离散的（如在形式证明中从有限的逻辑规则集中选择）
  - 也可能是连续的（如在开放式推理场景中生成自由形式的文本）
  - 这反映了大语言模型的生成灵活性
- 这种双重性使模型能够处理结构化领域（如符号逻辑）和非结构化领域（如常识推理），根据任务需求调整其策略，同时保持朝向解决方案的连贯轨迹
转移函数（Transition Function） ：
- 由函数 $P(s_{t + 1} | s_{t}, a_{t})$ 封装的转移动态控制状态如何随每个动作演变，描述了马尔可夫决策过程框架内推理轨迹的进展
- 与传统强化学习环境中随机性来自外部变量（如环境噪声）不同，大语言模型中的推理转移主要是确定性的，由模型的自回归输出或结构化推理规则（如在证明中应用演绎步骤）驱动
- 然而，不确定性来自模型固有的局限性（如不完善的知识、模糊的中间状态或文本生成中的概率采样） ，这引入了强化学习必须解决的可变性
  - 问题：如何理解这里的可变性？LLM 中动作即状态吧
- 对于自回归大语言模型，转移遵循可预测的序列生成过程，但错误累积或解释分歧的可能性使得需要稳健的设计来确保可靠性
- 这种确定性但不确定的动态强调了需要自适应策略，以在各种上下文中稳定推理，从精确的数学推导到微妙的叙事构建
奖励函数（Reward Function） ：
- 奖励函数 $R(s_{t}, a_{t})$ 作为马尔可夫决策过程的评估核心，为每个推理步骤的质量提供关键反馈，以指导模型的学习过程
- 与具有明确奖励（如游戏中的分数）的传统强化学习任务不同，推理奖励必须精心设计以平衡稀疏性和密集性，反映任务的复杂性和目标
  - 稀疏奖励（如仅在得出正确最终答案时赋值）虽然简单，但在多步场景中可能会延迟学习；
  - 密集奖励（评估步骤的正确性、逻辑有效性或与人类偏好的一致性）则提供细致的指导，如5.2.2节所述
- 这种灵活性使奖励函数能够适应各种推理需求，无论是奖励证明中有效推理规则的应用，还是叙事片段的连贯性，确保模型获得有意义的信号，以优化其在即时和扩展推理范围内的策略
折扣因子（Discount Factor） $\gamma$ ：
- $\gamma \in[0,1]$ 是一个标量，它决定了即时奖励和未来奖励之间的权衡
- 较高的 $\gamma$ 鼓励多步推理优化，促进深度推理链而非短期启发式
- 基于这种马尔可夫决策过程表述，目标是学习一个最优推理策略 $\pi^{*}(a_{t} | s_{t})$，该策略最大化预期累积奖励：
  $$J(\theta)=\mathbb{E}_{\pi_{\theta} }\left[\sum_{t = 1}^{T}\gamma^{t}R\left(s_{t}, a_{t}\right)\right]$$
  - 该框架使强化学习技术（如 PPO（2017）或 A2C（2016））能够应用于通过基于推理环境的反馈迭代调整策略 $\pi_{\theta}$，从而优化大语言模型的推理能力

Reward Design for Reasoning

与具有明确奖励（如游戏分数）的传统强化学习任务不同，大语言模型中的推理需要结构化的奖励设计，以反映正确性、效率和信息量
常见方法包括：
- 二元正确性奖励，为正确的最终答案分配 $r_{T}=1$，否则分配 $r_{T}=0$，这种方法简单但由于反馈稀疏而引入高方差；
- 分步准确性奖励，基于推理规则有效性或中间步骤一致性等指标提供增量反馈，以指导多步推理；
- 自我一致性奖励，测量多个推理路径的稳定性，并为一致性高的情况分配更高奖励，以增强稳健性；
- 基于偏好的奖励，源自 RLHF 或 RLAIF，其中在人类或人工智能反馈上训练的模型 $r_{\phi}(s_{t}, a_{t})$ 评估推理质量，为复杂任务提供细致的指导

Large-Scale RL on Base Model

大规模强化学习已成为一种变革性的后训练范式，用于增强大语言模型的推理能力，将重点从传统的监督微调转向动态的、自我进化的优化策略
这种方法利用广泛的计算框架和基于迭代奖励的反馈直接优化基础模型，绕过了对预标注数据集的需求，并使模型能够自主发展复杂的推理技能
通过整合大规模强化学习，大语言模型能够处理复杂的多步推理任务（如数学问题解决、逻辑演绎和战略规划），而传统的监督微调由于依赖静态的、人工整理的数据，在这些任务中往往表现不佳（2022）
DeepSeek-R1 模型就是这种范式的例证，它采用先进的强化学习技术实现了 SOTA 推理性能，同时优化了资源效率，如图13所示
本小节阐述支撑 DeepSeek-R1 成功的关键方法，包括新颖的优化算法、自适应探索和轨迹管理，这些共同重新定义了强化学习驱动的大语言模型推理的潜力
GRPO ：
- DeepSeek-R1-Zero 模型利用 PPO 的一种复杂变体，称为 GRPO ，以减轻大语言模型传统强化学习训练中固有的大量计算和资源需求
- 与依赖大量评论家网络的标准 PPO 不同，组相对策略优化采用基于组的基线估计来简化优化过程，在保持策略更新稳健性的同时显著减少训练开销
- 这种效率使大规模强化学习能够部署在资源受限的系统上，促进跨扩展轨迹的推理策略的迭代优化
- 通过在可管理的计算范围内优化策略，组相对策略优化使 DeepSeek-R1-Zero 成为增强推理能力的可扩展解决方案，如图13所示，使其成为当代强化学习驱动的推理研究的基石
DeepSeek-R1-Zero ：
- DeepSeek-R1-Zero 体现了大规模强化学习在提升大语言模型推理方面的变革潜力，它不依赖传统的监督微调作为初始步骤，而是采用纯强化学习驱动的自我进化范式
- 这种方法使模型能够通过基于奖励反馈迭代优化其内部思维链，自主发展复杂的推理技能，绕过了监督微调通常所需的预标注数据集
- 其结果是在复杂的多步推理任务（如数学问题解决和逻辑推导）中性能显著提升，这表明强化学习有能力从基础模型中解锁高级推理能力
- 作为最强大的开源推理模型之一，DeepSeek-R1-Zero 的成功凸显了冷启动强化学习策略的可行性，它提供了一种资源高效的传统训练 Pipeline 替代方案，同时达到与最先进基准相当的性能
分步奖励建模（Stepwise Reward Modeling） ：
- 为了在轨迹 $\tau=(s_{1}, a_{1}, …, s_{T}, a_{T})$ 中指导推理，DeepSeek-R1 采用分步奖励模型 $f_{\theta}$，该模型在每个时间步提供细致的反馈，定义为 $r_{t}=f_{\theta}(s_{t}, a_{t} | D_\text{reasoning})$，其中 $D_\text{reasoning}$ 包含带有步骤级正确性标签的人工标注思维链序列
  - 问题：DeepSeek-R1 没有使用分布奖励吧？不是使用的 GRPO 吗？
- 这种密集的奖励结构与稀疏的序列末尾奖励形成对比，它提供关于各个推理步骤质量的即时、可操作的见解，使模型能够精确微调其策略
- 通过利用专家精心整理的数据，奖励模型确保反馈与人类推理标准保持一致，促进扩展推理链的一致性和准确性，这是处理需要长期逻辑合成的任务的关键特征
自适应探索（Adaptive Exploration） ：
- DeepSeek-R1 通过整合到其目标中的自适应探索机制增强策略优化：
  $$\begin{aligned}\mathcal{L}_\text{PPO+}=&\mathbb{E}_{\tau}\left[min \left(\frac{\pi_{\phi}(a | s)}{\pi_{old}(a | s)}A_{t}, clip\left(\frac{\pi_{\phi}(a | s)}{\pi_{old}(a | s)}, 1-\epsilon, 1+\epsilon\right)A_{t}\right)\right] \&+\lambda_{t} \mathcal{H}\left(\pi_{\phi}(\cdot | s)\right),\end{aligned}$$
  - 其中熵项 $H$ 由自适应系数 $\lambda_{t}=\alpha \cdot \exp (-\beta \cdot \operatorname{Var}(R(\tau_{1: t})))$ 调节，该系数根据轨迹上的奖励方差动态调整。这种方法平衡了探索和利用，鼓励模型在训练早期探索多样化的推理路径，同时在方差减小时收敛到最优策略，从而提高推理优化的稳健性和效率
轨迹剪枝（Trajectory Pruning） ：
- 为了优化推理过程中的计算效率，DeepSeek-R1 实现了双注意力评论家 $V_{\psi}(s_{t})=\text{LocalAttn}(s_{t})+\text{GlobalAttn}(s_{1: t})$，它通过结合局部步骤评估和全局轨迹上下文来评估每个状态的价值
- 当 $V_{\psi}(s_{t})<\gamma \cdot \max_{k \leq t} V_{\psi}(s_{k})$ 时进行剪枝，终止低价值推理路径，将资源集中在有前景的轨迹上
- 这种机制减少了无效探索，加速了收敛，并确保模型优先考虑高质量推理序列，这有助于其在复杂推理任务中表现出色

RL for Reasoning with Cold Start

DeepSeek-R1-Zero 通过采用冷启动方法进一步推进了强化学习的应用，它避开了监督微调，完全依赖于从未训练的基础模型进行大规模强化学习
- 这种自我进化策略通过迭代反馈优化推理，生成稳健的思维链序列，而不依赖预标注数据
通过直接在推理任务上训练，DeepSeek-R1-Zero 展示了强化学习的多功能性，其性能与从监督微调整开始的模型（如其对应模型DeepSeek-R1）相当甚至更优
- 这种方法不仅减少了对大量标记数据集的依赖，还展示了强化学习自主发展复杂推理能力的潜力，为未来大语言模型的发展提供了一种可扩展的范式
总之，强化学习为增强推理提供了一个有前景的框架，有效的奖励设计、策略优化（如组相对策略优化）和探索策略仍然至关重要
未来的研究可以探索结合模仿学习或自监督目标的混合方法，以进一步优化这些能力，巩固强化学习在推进大语言模型推理方面的作用

PoLMs for Efficiency

基于前面章节讨论的后训练优化技术，后训练的效率专门针对 LLM 在初始预训练后的运行性能
- 其主要目标是优化关键的部署指标（例如处理速度、内存使用和资源消耗），从而使大语言模型在实际应用中更具实用性
实现后训练效率的方法主要分为三类：
- 模型压缩（Model Compression，6.1节），通过剪枝和量化等技术来降低整体计算负担；
- 参数高效微调（Parameter-Efficient Fine-Tuning，6.2节），仅更新模型的部分参数或采用专门的模块，从而最小化重新训练的成本并加速对新任务的适应；
- 知识蒸馏（Knowledge Distillation，6.3节），将知识从较大的预训练模型转移到较小的模型，使较小的模型能够在减少资源需求的情况下实现可比的性能

Model Compression

模型压缩包含一系列旨在减小大语言模型的规模和计算需求的技术，其中包括后训练量化、参数剪枝和低秩近似

Post-training Quantization

大语言模型的一种关键压缩方法是量化，它将高精度数据类型 $X^{H}$（30位浮点数）转换为低精度格式 $X^{L}$（8位整数）(2021)。这种转换可表示为：
$$\mathcal{X}^{L} = \text{Round}\left(\frac{\text{absmax}\left(\mathcal{X}^{L}\right)}{\text{absmax}\left(\mathcal{X}^{H}\right)} \mathcal{X}^{H}\right)=\text{Round}\left(\mathcal{K} \cdot \mathcal{X}^{H}\right)$$
- 其中 $\mathcal{K}$ 代表量化常数，$\text{absmax}$ 指元素的绝对最大值
- 函数 $\text{Round}$ 将浮点数转换为整数
大语言模型的量化包括后训练量化（post-training quantization，PTQ）和量化感知训练（quantization-aware training，QAT）
后训练量化允许在预后训练调整模型的权重和激活值，使用一个小的校准数据集来优化计算效率和性能，如图14所示
此外，表5展示了几种著名的大语言模型量化方法的性能指标
仅权重量化（Weight-Only Quantization, WOQ） ：仅权重量化专注于压缩模型权重以提高效率
- GPTQ (2023) 使用最优脑量化（Optimal Brain Quantization, OBQ）进行逐层量化，将权重降低到 3 或 4 比特，以减少内存使用和处理时间
- QuIP (2024) 引入了用于2比特量化的非相干处理，提供了更紧凑的表示，进一步提高了效率
- AWQ (2024) 和 OWQ (2024) 通过对特别敏感的权重保持高精度来解决精度保留问题，从而最小化推理过程中可能的精度损失
- SpQR (2023) 将稀疏量化与解码相结合，实现了高效的 token-by-token 推理，同时保持模型的响应能力
权重-激活值联合量化（Weight-Activation Co-Quantization, WAQ） ：权重-激活值联合量化将权重和激活值结合起来以提高效率
- LLM.int8() (2022) 使用精确存储来处理激活值异常值，并量化为 8 比特，同时保持性能
- SmoothQuant (2023) 实现了每通道缩放，将量化难度从激活值转移到权重，以实现无损结果
- OS+ (2023) 通过通道移位和缩放减轻了异常值的影响，从而提高了效率
- OmniQuant (2024) 将量化障碍从激活值转移到权重，并对极值的裁剪阈值进行微调
- RPTQ (2023) 对相似通道进行分组，以确保量化参数的一致性（进一步提高了效率）
KV 缓存量化（KV-Cache Quantization, KVQ） ：KV 缓存量化解决了大语言模型中的内存优化挑战，特别是随着输入 Token 数量的增加
- KVQuant (2024) 引入了针对大上下文长度的高效推理的定制方法，在性能损失最小的情况下保持性能
- KIVI (2024) 通过对键和值缓存应用不同的量化策略来优化内存节省，实现了 2 比特量化而无需微调
- WKVQuant (2024) 进一步通过二维量化策略和跨块正则化对其进行了改进，提供了与权重-激活值量化相当的内存效率，且性能几乎相同

Parameter Pruning

参数剪枝 (2022) 是一种通过最小化模型大小和复杂性来提高大语言模型效率的关键技术，同时又不牺牲准确性
如图15所示，剪枝可分为非结构化剪枝和结构化剪枝
非结构化剪枝（Unstructured Pruning） ：非结构化剪枝通过消除不重要的权重来提高大语言模型的稀疏性
- SparseGPT (2023) 方法通过单次剪枝实现了高达 60% 的稀疏性，同时保持最小的损失
- Wanda (2023) 方法基于权重大小和激活值进行剪枝，无需重新训练
- SAMSP (2024) 利用 Hessian 矩阵的敏感性进行稀疏性的动态调整，旨在最小化误差
- DSnoT (2024) 通过采用迭代剪枝周期来提高性能
- Flash-LLM (2023) 从全局内存中检索稀疏权重，并在片上缓冲区中将其密集重建，以促进高效计算
结构化剪枝（Structured Pruning） ：结构化剪枝则侧重于剪枝大语言模型中的整个参数组 ，以提高硬件效率并简化结构
- LLM-runner (2023) 评估 LLaMA (2023) 的重要性，并使用 LoRA (2021) 在剪枝后恢复精度
- FLAP (2024) 使用结构化指标在不进行微调的情况下优化压缩
- SliceGPT (2024) 采用 PCA 进行剪枝，同时保持效率
- Sheared LLaMA (2023) 通过基于正则化的剪枝来优化模型形状
- LoRAPrune (2024) 通过基于 LoRA 重要性的迭代结构剪枝来提高效率
- Deja Vu (2023) 通过预测关键注意力头和 MLP 参数，利用上下文稀疏性来减少延迟，同时保持准确性
低秩近似（Low-Rank Approximation） ：低秩近似通过用更小的矩阵 U 和 V 近似权重矩阵 W 来压缩大语言模型 ，从而实现 $W \approx U V^{\top}$ 。这种方法不仅减少了参数数量 ，还提高了操作效率（enhances operational efficiency）
- TensorGPT (2023) 采用 TTD（Tensor-Train Decomposition）来开发更高效的嵌入格式
- LoSparse (2023) 将低秩近似与剪枝相结合，专门针对压缩相干神经元组件
- FWSVD (2022) 实现了加权 SVD 方法
- ASVD (2023) 提供了免训练的 SVD 替代方案
  - FWSVD 和 ASVD 两者都以后训练效率为目标
- SVD-LLM (2024) 通过建立奇异值与压缩损失之间的直接关系进一步改进了压缩

Parameter-Efficient Fine-Tuning

参数高效微调（PEFT）的过程包括冻结完整的大语言模型主干，同时只修改有限数量的新添加参数
如图16所示，PEFT 方法分为四类： Additive PEFT、Selective PEFT、Reparameterized PEFT 和 Hybrid PEFT

Additive PEFT

Additive PEFT 将新的可训练模块整合到大语言模型中，而不改变原始参数，允许特定任务的微调，同时保留基础模型的知识，这对于微调是高效的
适配器（Adapters） ：适配器在 transformer 块中集成紧凑层，定义为：
$$\text{Adapter}(x) = W_\text{up} \sigma\left(W_\text{down} x\right) + x$$
- 其中，适配器层包括
  - 下投影矩阵 $W_\text{down} \in \mathbb{R}^{r \times d}$
  - 非线性激活函数 $\sigma$
  - 上投影矩阵 $W_\text{up} \in \mathbb{R}^{d \times r}$
- 这里，$d$ 是隐藏层维度，$r$ 是瓶颈维度，在保持性能的同时降低复杂性
- 基于这种结构：
  - Serial Adapter (2019) 在每个 transformer 块中引入了两个模块
  - AdapterFusion (2020) 通过将适配器放置在 Add&Norm 之后来提高效率
  - 并行适配器（Parallel Adapter, PA）(2021) 使适配器与子层并行运行
  - CoDA (2023) 通过使适配器与子层并行运行来进行优化
  - MerA (2023) 使用最优传输技术统一适配器的权重和激活值（这与 AdapterFusion 不同）
软提示（Soft Prompt） ：软提示通过向输入序列添加可调整向量而不是优化离散 Token 来提高模型性能 (2023)。这种方法形式化为：
$$X^{(l)} = \left[s_{1}^{(l)}, …, s_{N_{S} }^{(l)}, x_{1}^{(l)}, …, x_{N_{X} }^{(l)}\right]$$
- 其中：
  - $s_{i}^{(l)}$ 表示软提示 Token
  - $x_{i}^{(l)}$ 表示原始输入 Token
  - $N_{S}$ 和 $N_{X}$ 分别是软提示和原始输入 Token 的数量
- Prefix Tuning (2021) 在 transformer 层之间引入可学习向量，通过重参数化来稳定，并通过 P-Tuning v2 (2021) 和 APT (2021) 进行改进
- Prompt Tuning (2021) 专注于初始嵌入层，以低计算成本优化大型模型
- Xprompt (2022) 和 IDPG (2022) 简化提示生成和插入
- SPoT (2021) 和 PTP (2023) 之类的方法解决了稳定性和收敛速度问题
- DePT (2023) 和 SMoP (2023) 通过优化的提示结构降低计算需求
其他 Additive 方法（Other Additive Methods） ：
- 除了前面的技术外，诸如 $(IA)^3$ (2022) 和 SSF (2022) 之类的方法通过对模型参数进行最小但有效的调整来关注后训练效率
- 自注意力和 FFN 操作在数学上定义为：
  $$SA(x) = \text{Softmax}\left(\frac{Q \cdot \left(l_{k} \odot K\right)^{T} }{\sqrt{d_{head} } }\right) \cdot \left(l_{v} \odot V\right) \\
  FFN_\text{transformer}(x) = W_\text{up} \cdot \left(l_{ff} \odot \sigma\left(W_\text{down} x\right)\right)\tag{26;27}$$
  - $\odot$ 表示哈达玛积
  - 尺度向量 $l_{k}$ 和 $l_{v}$ 可以平滑地合并到 $A_{Q}$ 和 $A_{W}$ 的权重矩阵中
- IPA (2023) 使诸如 GPT-4 之类的大语言模型与用户特定需求保持一致
  - IPA 不需要改变基础模型，因此在微调过程中保持效率

Selective PEFT

Selective PEFT 通过仅微调参数的一个子集来提高效率 ，如图16(b)所示
Selective PEFT 将二进制掩码 $M = \{m_{1}, m_{2}, …, m_{n}\}$ 应用于参数 $\theta = \{\theta_{1}, \theta_{2}, …, \theta_{n}\}$，其中每个 $m_{i}$ 指示是否选择 $\theta_{i}$ 进行微调
更新的参数集表示为：
$$\theta_{i}’ = \theta_{i} - \eta \cdot m_{i} \cdot \frac{\partial \mathcal{L} }{\partial \theta_{i} }$$
- 其中，$\eta$ 是学习率，$\frac{\partial L}{\partial \theta_{i} }$ 是损失函数的梯度
- 只有选定的参数（其中 $m_{i} = 1$ ）会被更新，从而降低计算成本，同时保持有效性
- Diff pruning (2020)，使用可微分的 $L_{0}$-范数来正则化可学习的二进制掩码
- FishMask (2021)，基于 fisher 信息选择参数以提高相关性
- LT-SFT (2021) 将彩票假设（Lottery Ticket Hypothesis）应用于识别有影响力的参数
  - 补充彩票假设（Lottery Ticket Hypothesis）：其核心观点是，随机初始化的密集神经网络中存在一个稀疏子网络（“中奖彩票”），当单独训练该子网络时，性能可匹配甚至超越原网络
- SAM (2023) 采用二阶近似进行选择
- Child-tuning (2021) 在子网络中动态选择参数
- FAR (2022) 和 BitFit (2021) 专注于优化特定参数组

Reparameterized PEFT

Reparameterized PEFT 主要采用低秩参数化来提高效率，如图16(c)所示
LoRA（低秩适应）(2021) 引入两个可训练矩阵 $W_\text{up} \in \mathbb{R}^{d \times r}$ 和 $W_\text{down} \in \mathbb{R}^{r \times k}$，将输出修改为：
$$h_{out} = W_{0} h_{in} + \alpha \left(W_\text{up} W_\text{down} h_{in}\right)$$
- 其中，$\alpha$ 是缩放因子
LoRA 允许有效地适应新任务，同时保留核心知识
在 LoRA 的基础上，还有许多工作有进一步的改进：
- Intrinsic SAID (2020) 最小化微调参数空间，进一步降低计算需求
- 动态变体（包括 DyLoRA (2022) 和 AdaLoRA (2023)），根据特定任务需求动态调整秩
  - 其中，AdaLoRA 结合了基于 SVD 的剪枝以提高效率
- SoRA (2023) 通过去除正交性约束来简化过程
- Laplace-LoRA (2023) 应用贝叶斯校准进行微调
- Compacter (2021) 和 VeRA (2023) 进一步降低参数复杂性
- DoRA (2024) 优化方向分量的更新以提高效率和性能
- HiRA (2025) 采用哈达玛积进行高阶更新以提高效率和性能
- 为了处理多个任务和不断变化的领域：Terra (2024) 集成了时变矩阵，ToRA (2025) 利用 Tucker 分解进一步改进 LoRA 结构
- （除了结构设计外）PiSSA (2025) 和 LoRA-GA (2025) 使用 SVD 和梯度对齐优化 LoRA 的初始化
- LoRA+ (2024)、LoRA-Pro (2024) 和 CopRA (2024) 进一步完善梯度更新策略
- ComLoRA (2025) 采用竞争学习来选择性能最佳的 LoRA 组件

Hybrid PEFT

Hybrid PEFT 方法通过整合或优化各种微调策略来提高后训练效率
一种著名的技术 UniPELT (2021) 在 transformer 块中融合了 LoRA、前缀调优和适配器
- 这种方法通过由前馈网络（FFN）管理的门控机制动态激活组件，这些前馈网络产生标量 $G \in [0, 1]$，最终优化参数利用率
另一种创新方法 MAM Adapter (2021) 通过在自注意力层中战略性地放置前缀调优，并在馈送前层中使用缩放的并行适配器来改进此技术
基于 NAS 的方法（如 NOAH (2022) 和 AUTOPEFT (2024)）通过识别为特定任务量身定制的最佳 PEFT 配置来提高后训练效率
- 神经架构搜索（Neural Architecture Search，NAS）是一种自动设计神经网络架构的技术，旨在通过算法自动找到最优或接近最优的神经网络架构，以优化特定任务的性能
HeadMap (2025) 使用贪心方法识别在某些任务中起关键作用的一系列注意力头（即知识电路），并通过将这些注意力头的输出映射回大语言模型的残差流来有效地提高模型性能
LLM-Adapters (2023) 提供了一个框架，用于在大语言模型中集成各种 PEFT 技术，确保最有效的模块放置，以在不同模型规模上保持效率

Knowledge Distillation

知识蒸馏（KD）是大语言模型后训练优化中的核心技术，能够将知识从大型预训练教师模型转移到紧凑的学生模型，以提高效率而不牺牲性能
知识蒸馏最初是在模型压缩的背景下引入的，由于其能够将复杂知识提炼到资源高效的架构中，使其能够部署在受限环境（如边缘设备和嵌入式系统）中，因此受到了广泛关注
通过利用教师模型的细微输出分布（比传统的硬标签更丰富），知识蒸馏使学生不仅能够复制类别预测，还能复制教师表示中包含的类间关系和细微模式
知识蒸馏过程通常涉及优化一个复合损失函数，该函数平衡监督学习目标和特定于蒸馏的目标，显著降低计算和内存需求，同时保留泛化能力
知识蒸馏的基本机制取决于最小化混合损失，该损失将传统分类损失与蒸馏项相结合。形式上，给定教师模型的软输出概率 $p_{t}$ 和学生模型的预测 $p_{s}$，以及真实标签 $y$ 和学生输出 $y_{s}$，知识蒸馏损失表示为：
$$\mathcal{L}_{K D} = \alpha \mathcal{L}_{C E}\left(y, y_{s}\right) + (1 - \alpha) \mathcal{L}_{K L}\left(p_{t}, p_{s}\right)$$
- $L_{CE}$ 表示捕获与真实标签对齐的交叉熵损失
- $L_{KL}$ 表示测量教师和学生分布之间差异的 Kullback-Leibler 散度 (1951)
- $\alpha \in [0, 1]$ 是调节这些目标之间权衡的超参数
- 软目标 $p_t$ 通常通过温度参数 $T$ 进行调整（即 $p_{t} = \text{Softmax}(z_{t} / T)$
  - 其中 $z_{t}$ 是教师 logits），编码更丰富的概率信息，使学生能够模仿教师的决策细微差别，而不仅仅是标签准确性
知识蒸馏广泛用于资源受限环境中的模型压缩和迁移学习，其中预训练教师指导特定任务的学生
知识蒸馏的有效性取决于教师能力、学生架构和蒸馏损失设计等因素
最近的进展将知识蒸馏扩展到输出蒸馏之外，使大语言模型在后训练优化中更高效和适应性更强
根据对教师模型内部参数和中间表示的访问级别，知识蒸馏方法大致可分为黑盒知识蒸馏和白盒知识蒸馏
如表6所示，知识蒸馏方法大致可分为两类：黑盒知识蒸馏和白盒知识蒸馏
论文系统地总结了 LLM 中的各种知识蒸馏技术，以及它们相应的技能、教师模型和学生模型

Black-box KD

黑盒知识蒸馏是指学生模型仅从教师的输出 logits 中学习，而无法访问其内部表示或架构细节
黑盒知识蒸馏最初由 Hinton (2015) 提出，与经典的知识蒸馏范式一致，并且由于其灵活性而被广泛采用
黑盒知识蒸馏的一个关键优势是它将教师模型视为一个不透明的函数 ，即使教师是具有受限访问权限的专有模型或预训练模型，也能实现知识转移
在实践中：
- 教师模型通常用于生成高质量输出：例如 ChatGPT 和 GPT-4 (2023) 等
- 学生模型通常是较小的语言模型（smaller language models，SLM）：包括 GPT-2 (2019)、T5 (2019)、Flan-T5 (2022) 和 CodeT5 (2021)
  - 这些较小的语言模型针对效率进行了优化，同时保持强大的泛化能力，使其适合部署在资源受限的环境中
问题：这里的定义是不是有问题，ChatGPT 也拿不到模型的 logits 吧，黑盒蒸馏 ChatGPT 是指蒸馏其最终文本输出而不是 logits?
回答：黑盒知识蒸馏（Black-Box Knowledge Distillation）的真实定义是指在知识蒸馏过程中，学生模型无法直接访问教师模型的内部结构、参数、中间层输出或预 softmax 层的 logits ，只能通过教师模型的外部可观察输出（例如，最终的预测结果、生成的文本、或者通过 API 返回的概率分布）来学习

White-box KD

白盒知识蒸馏通过利用来自教师内部表示的额外 insight 扩展了传统的蒸馏范式
当教师模型的架构已知且可访问时，这种方法是有益的，允许更丰富的监督形式
白盒知识蒸馏与将教师视为不透明函数的黑盒知识蒸馏不同，白盒知识蒸馏允许学生模型不仅从教师的输出 logits 中学习，还可以从教师的中间激活、隐藏层，甚至注意力权重中学习 (2018)

DeepSeek-R1: Direct Distillation of Reasoning Patterns

直接蒸馏（Direct Distillation） ：DeepSeek-R1 通过将复杂的推理模式从大规模模型提炼到紧凑架构中，展示了知识蒸馏的变革潜力，显著增强了较小大语言模型的推理能力，而无需在这些模型上进行直接强化学习的计算负担
DeepSeek-R1 利用由大型教师模型生成的大约 800K 个样本的精选数据集，其中包括来自 DeepSeek-V3 的 200K 个非推理实例和由 DeepSeek-R1-Stage1 检查点生成的 600K 个推理实例
- 这些样本构成了 SFT 的基础，并将其应用于开源基础模型（如 Qwen 和 LLaMA 小型变体），使学生模型能够继承通常只为更大模型保留的复杂推理能力
如图17所示，DeepSeek-R1 中的直接蒸馏过程以结构化 Pipeline 展开
- 最初，在广泛数据集上预训练的教师模型生成包含推理和非推理输出的多样化语料库，捕捉各种逻辑模式和事实知识
  - 非推理数据（约 200K 个样本）提供一般知识的基线，而推理数据（约 600K 个样本）包含通过教师的高级能力提炼的多步推理链
- 然后，该数据集用于 SFT 阶段，其中学生模型被训练以使其输出分布与教师的输出分布保持一致，使用推理数据直接微调较小的模型以提炼紧凑的推理模型
  - 与直接应用于小型模型的传统强化学习（可能由于容量有限而产生次优推理）不同，DeepSeek-R1 的直接蒸馏通过转移预优化的推理行为规避了此类限制，以减少的资源需求实现卓越的性能
DeepSeek-R1 的知识蒸馏方法的一个显著特征是其强调在模型规模上保持推理完整性
- 通过集成通过大规模强化学习提炼的 DeepSeek-R1-Stage1 的推理轨迹，学生模型不仅复制事实准确性，还模仿复杂的推理过程，例如数学问题解决或逻辑演绎所需的过程
- 这种有针对性的转移与传统知识蒸馏形成对比，并强调了 DeepSeek-R1 在面向推理的蒸馏方面的创新
  - 注：传统知识蒸馏通常优先考虑分类任务
- 该方法最大限度地减少了在学生上进行大量强化学习迭代的需求，利用教师的预计算推理输出来简化训练，从而提高效率和可扩展性
- 这种方法将 DeepSeek-R1 定位为将高级推理提炼到紧凑大语言模型中的范例，为未来的后训练优化工作提供了蓝图

PoLMs for Integration and Adaptation

集成和适配技术对于提升 LLM 在各种现实应用中的通用性和有效性至关重要
这些方法能让大语言模型无缝处理异构数据类型，适应特定领域的需求，并利用多种架构的优势，从而应对复杂、多方面的挑战
本章将阐述三种主要策略：
- 多模态集成（第7.1节），使模型能够处理文本、图像和音频等多种数据模态；
- 领域适配（第7.2节），针对特定行业或应用场景优化模型；
- 模型融合（第7.3节），将不同模型的能力整合起来，优化整体性能
总体而言，这些方法提高了大语言模型的适应性、效率和稳健性，拓宽了它们在各种任务和场景中的应用范围

基于前面章节中阐述的后训练优化策略，本节将探讨先进的方法，这些方法旨在增强大语言模型和大型多模态模型（Large Multi-modal Model, LMM），以便有效地处理多模态数据
虽然监督微调能提高大语言模型在特定任务中的熟练度，但它在充分利用多模态能力方面存在局限性，这就需要更复杂的后训练方法
这些技术通过将不同的数据类型集成到一个统一的框架中，使大型多模态模型能够处理复杂的跨模态任务，例如：
- 从视觉输入生成网页代码 (2022)
- 解读像表情包这样微妙的文化产物 (2022)
- 在不依赖光学字符识别（optical character recognition，ORC）的情况下进行数学推理 (2023)）
通常，大型多模态模型由模态编码器、预训练的大语言模型骨干和模态连接器组成，如图18所示
- 这种架构构成了后训练方法的基础，通过优化每个组件，促进强大的多模态集成和性能提升

模态连接方法对于将多模态数据整合到一个连贯的表征框架中至关重要，主要分为三种策略（如图19所示）：
- 基于投影的方法
- 基于查询的方法
- 基于融合的方法
基于投影的模态连接（Projection-based Modal Connection） ：基于投影的方法将各种模态的输入转换到统一的文本嵌入空间 ，使其特征与大语言模型的语言维度对齐 ，以实现无缝集成
- LLaMA-Adapter (2023) 通过整合图像编码器将大语言模型扩展到多模态系统中，实现了基于图像的指令跟踪
- LLaMA-Adapter V2 (2023) 通过将视觉标签嵌入到早期的大语言模型层中，改进了这一过程，促进了对视觉知识的更好吸收
- FROMAGe (2023) 在冻结的大语言模型和视觉编码器框架内对输入和输出层进行微调，以实现跨模态交互
- LLaVA-1.5 (2023) 则使用双线性多层感知器（MLP）来增强多模态处理的稳健性
- Shikra (2023) 集成了空间坐标以增强自然语言对话
- VILA (2024) 优化了视觉语言预训练以实现卓越的零样本学习能力
- DetGPT (2023) 进一步推进了这一范式，将基于推理的目标检测与自然语言交互相结合，利用投影技术促进有效的多模态通信
- SOLO (2024) 采用单一的 Transformer 架构进行统一的端到端视觉语言建模，它可以接受原始图像 patches（以像素为单位）和文本作为输入，而无需使用单独的预训练视觉编码器
- MiniGPT-4 (2023) 通过单个投影层将冻结的视觉编码器与 Vicuna 对齐，通过两阶段训练过程实现了类似 GPT-4 的能力
- Idefics (2023) 凭借自回归设计和多阶段预训练在高效推理方面表现出色
- LaVIT (2024) 使用离散视觉标记器统一视觉和语言，实现无缝生成
- DeepSeek-VL2 (2024) 通过动态平铺和多头潜在注意力增强了高分辨率图像理解
- Qwen2.5-VL (2025) 通过重新设计的视觉 Transformer 在多模态任务中取得进展，在感知和视频理解方面表现出色
基于查询的模态连接（Query-based Modal Connection） ：基于查询的方法通过使用可学习的 query Token 从不同模态中提取结构化信息 ，弥合了文本和非文本数据之间的差距，从而增强了多模态集成
- BLIP-2 (2023) 率先采用 query Transformer，有效地整合了文本和视觉输入
- Video-LLaMA (2023) 通过组合视觉编码器将该技术扩展到视频理解领域
- InstructBLIP (2023) 改进了查询机制，以确保精确遵循指令
- X-LLM (2023) 通过专门的接口对齐多模态输入
- mPLUG-Owl (2023) 和 Qwen-VL (2023) 优化了 Q-Former 架构以提高计算效率
- LION (2024) 进一步证明了基于查询的方法在推进视觉知识集成方面的有效性，强调了它们在提升大型多模态模型在各种任务中的性能方面的实用性
- Qwen-VL (2023) 是一系列基于 Qwen-7B 构建的大规模视觉语言模型，它结合了视觉接收器、位置感知适配器和三阶段训练 Pipeline，实现了多语言、细粒度的视觉语言理解
- Lyrics (2023) 是一个细粒度的视觉语言预训练和 Instruction Tuning 框架，通过视觉精炼器（图像标记、目标检测和语义分割）和多尺度查询 Transformer（MQ-Former）集成语义感知的视觉对象，增强了大型视觉语言模型（large vision-language models，LVLM）的能力
基于融合的模态连接（Fusion-based Modal Connection） ：基于融合的技术通过将多模态特征直接嵌入到大语言模型架构中 ，加深了跨模态交互，在推理层面促进了更丰富的集成
- Flamingo (2022) 使用交叉注意力层在 Token 预测期间融合视觉特征，实现动态多模态处理
- OpenFlamingo (2023) 在其基础上进行扩展，允许冻结的大语言模型关注视觉编码器的输出，增强了灵活性
- Otter (2023) 引入指令调优，以改进多模态指令遵循能力
- CogVLM (2023) 在 Transformer 层内集成视觉专家模块，实现无缝的特征合成
- Obelics (2024) 利用交错的图像文本训练数据，突出了基于融合的方法在实现一致的多模态性能方面的稳健性
- InternVL (2023) 是一个大规模的视觉语言基础模型，它将视觉编码器扩展到 6B 参数，并使用语言中间件（QLLaMA）逐步将其与大语言模型对齐
- Llama 3 (2024) 是 Meta 开发的一个新的多语言、工具使用基础模型系列，扩展到 405B 参数，具有 128K Token 的上下文窗口，通过改进数据质量、更大规模的训练和结构化的后训练策略进行了优化

模态编码器将原始的多模态输入压缩成紧凑、语义丰富的表示形式，使其能够在各种任务和模态中高效处理
这些组件对于将异构数据转换为与大语言模型骨干兼容的格式至关重要，支持从视觉推理到音频理解等各种应用
表7全面总结了视觉、音频和其他模态中常用的编码器，详细介绍了它们的特点以及对多模态集成的贡献
视觉编码器（Vision Encoder） ：视觉编码器是多模态学习的基础，有助于大型多模态模型对视觉数据进行解释和生成
- CLIP (2021) 通过对比学习建立了联合图像文本表示，增强了跨模态对齐
- EVA (2023) 改进了视觉注意力机制以提高效率
- ImageBind (2023) 创建了一个跨多种模态的统一嵌入空间，提升了零样本识别能力
- SigLIP (2023) 引入了配对的sigmoid损失来优化图像文本预训练
- DINOv2 (2023) 采用无监督学习从各种来源提取强大的视觉特征
- LLaVA (2023) 采用自指令策略将图像转换为文本描述，使用先进的大语言模型生成新的数据集
- Video-ChatGPT (2023) 借助大规模指令数据集支持对话式视频理解
- BT-Adapter (2023) 通过高效的时间建模优化了视频理解
- VideoChat (2023) 专注于时空推理，利用专门的数据集
- CoDi-2 (2024) 和 Mipha (2024) 等模型在多模态处理中实现了效率提升
- VL-Mamba (2024) 和Cobra (2024) 引入了状态空间模型以优化推理
- SPHINX-Tiny (2024) 强调数据多样性和训练效率
音频编码器（Audio Encoder） ：音频编码器增强了大型多模态模型处理和解释听觉输入的能力，拓宽了它们的多模态范围
- SpeechGPT (2023) 将大规模语音数据集与卷积和 Transformer 架构相结合 (2020)，实现了强大的指令遵循能力
- AudioPaLM (2023) 使用通用语音模型（USM）编码器 (2023) 结合文本和语音处理，在零样本语言翻译等任务中表现出色
- WavCaps (2024) 采用 CNN14 (2020) 和 HTSAT (2022) 来缓解音频语言数据稀缺的问题，利用先进的大语言模型来优化数据集质量并提升学习效果，这突出了音频模态在多模态系统中的关键作用
其他编码器（Other Encoder） ：除了视觉和音频，用于其他模态（如 3D 理解和多模态融合）的编码器对于全面的大型多模态模型也至关重要
- NEXT-GPT (2023) 促进了跨文本、图像、视频和音频的跨模态内容生成，通过最小的参数调整推进了类人人工智能能力
- ImageBind-LLM (2023) 对齐视觉和语言嵌入，以改进跨模态的指令遵循
- LL3DA (2024) 处理点云数据以进行 3D 推理和规划，引入了新颖的空间理解方法
- X-LLM (2023) 对图像和视频输入使用 Q-Former (2023)，对语音使用 C-Former (2023)，将音频特征压缩为 Token-level 嵌入，以提高多模态学习效率

Domain Adaptation

领域适配（Domain Adaptation, DA）是一种关键的后训练策略，用于优化大语言模型，使其在特定领域中表现出色，确保它们在目标应用中发挥实效
基于迁移学习的原理 (2018; 2024)，领域适配通过适配函数 $F_\text{adapt}$ 对初始模型 $M_\text{source}$ 进行转换，生成特定领域的模型 $M_\text{target}$，如下所示：
这个过程使 $M_{target}$ 能够满足特定领域的独特需求和复杂性，从而优化其性能和相关性
通过提高大语言模型在编程 (2023; 2022) 和数学推理 (2023) 等领域的熟练度，领域适配不仅提升了特定领域的能力，还提高了计算效率，减轻了通用模型在处理特定领域术语和推理范式时常常遇到的局限性
此外，领域适配大大减少了从头开始训练特定领域模型通常所需的大量标记数据集和计算资源 (2024)，使其成为后训练方法的基石

Knowledge Editing

知识编辑是一种复杂的后训练方法，旨在修改大语言模型以满足特定领域的要求 ，同时不损害其基本能力
这种技术有助于进行有针对性的参数调整，在整合新的或更新的领域知识时，保留模型原有的性能
通过快速适应不断变化的知识环境，知识编辑成为后训练流程中不可或缺的一部分
表8概述了主要的方法（例如，包括外部知识利用、集成和内在编辑）
知识编辑的形式化定义（Formal Definition of Knowledge Editing） ：
- 考虑一个由 $\theta$ 参数化的原始大语言模型，它在数据集 $\mathcal{D}_\text{old}$ 上进行了预训练
- 设 $\mathcal{D}_\text{new}$ 表示包含新的或更新信息 $\Delta K$ 的数据集。知识编辑的目标是通过应用调整 $\Delta \theta$ 来导出修订后的参数集 $\theta’$，从而有效地吸收 $\Delta K$，同时最小化对 $\mathcal{D}_\text{old}$ 的性能下降。形式上，这被构建为一个约束优化问题，其中更新后的参数定义为：
  $$\theta’=\theta+\Delta \theta, \text{ where } \mathcal{L}\left(\theta’ ; \mathcal{D}_{new }\right) \to min$$
  - $c$ 代表一个损失函数（例如交叉熵），用于评估模型在 $\mathcal{D}_\text{new}$ 上的质量
- 为了保护模型在原始数据集上的性能，施加了一个约束（确保新参数 $\theta’$ 对旧数据 $\mathcal{D}_\text{old}$ 的拟合能力不要降低太多）：
  $$\mathcal{L}\left(\theta’ ; \mathcal{D}_{old }\right) \leq \mathcal{L}\left(\theta ; \mathcal{D}_{old }\right)+\epsilon$$
  - 其中 $\epsilon$ 是一个小的正常数，用于限制模型在 $\mathcal{D}_\text{old}$ 上的性能损失
  - 这个公式确保 $\theta’$ 在整合 $\Delta K$ 的同时，保留模型的先验知识库
  - 在实际操作中，$\Delta \theta$ 可能被限制在特定的架构组件（例如注意力层（Attn）或前馈网络（FFN）），以减少计算开销，并通过避免全面重新训练来保留核心功能
知识识别 ：知识编辑的初始阶段侧重于检测新信息并将其整合到模型中
- PokeMQA (2023) 使用可编程范围检测器和知识提示来剖析查询，有效地检索相关事实
- SERAC (2022) 将反事实模型与分类器相结合，以确定新的知识来源的适用性，提供了一种微创方法，在无需进行广泛结构修改的情况下保留了基础模型的完整性
- 相关工作 (2024，[406]) 分析了大语言模型知识更新产生混乱涟漪效应的原因：
  - 实际的编辑通常源于新出现的事件，这些事件包含新事实与过去事实之间的逻辑联系
  - 基于这一观察，EvEdit (2024, [407]) 提出了一种基于事件的知识编辑方法，以确定知识锚点和知识更新边界
知识关联 ：在识别之后，此阶段将新获取的信息与模型现有的知识框架相关联
- Transformer-Patcher (2023) 调整 Transformer 架构以整合更新的事实
- CaliNET (2022) 重新校准参数以与事实内容对齐
- 诸如 Eva-KELLM (2023)、MELO (2024) 和 REMEDI (2023) 等方法为精确更新优化特定行为
- GRACE (2024) 在知识插入后提高预测准确性，确保与先前表示的无缝集成
内在知识编辑 ：最后阶段将关联的事实嵌入到模型的内部结构中，确保全面吸收
- 虽然传统的微调可能消耗大量资源，但先进的技术减轻了这一负担
- Constrained Fine-tuning (2020) 和元学习 (2021) 最大限度地减少知识损失和过拟合风险
- Editable Training (2020) 和 KnowledgeEditor (2021) 能够快速调整参数，同时将性能影响降至最低
- SLAG (2023)、MEND (2021) 和 MALMEN (2024) 解决编辑冲突并支持大规模更新，在整合新的领域见解的同时保持基本能力
- LLM Surgery (2024) 通过应用反向梯度去除过时数据、使用梯度下降整合新事实以及使用 KL 散度项保留现有知识，统一了遗忘和编辑，实现了显著的计算效率
- KNE (2024) 引入了知识神经元集成方法，精确定位并仅更新与新插入事实密切相关的神经元，在保留无关知识的同时实现更准确的编辑
- OVERTONE (2025) 通过引入 Token-level 平滑技术来解决知识编辑中的异构 Token 过拟合问题，该技术自适应地优化训练目标，从而保留预训练知识并提高模型对新插入事实的推理能力
这些有针对性的技术确保模型在整合新获取的信息时保留其基本能力

Retrieval-Augmented Generation

检索增强生成（Retrieval-Augmented Generation, RAG）将传统的信息检索与现代大语言模型相结合，以提高生成输出的相关性和事实准确性 (2020; 2023; 2024)
通过从外部来源动态检索相关信息并将其嵌入到生成过程中，检索增强生成解决了大语言模型在特定领域知识方面的不足，并减少了生成幻觉内容的倾向
这种方法在需要精确、最新信息的领域特别有效，例如问答系统 (2020)、科学研究 (2023) 和医疗保健 (2024)，能够处理复杂查询和知识密集型任务
此外，检索增强生成减少了对话系统中误导性响应的普遍性，提高了基于知识的自然语言生成的保真度 (2024; 2023)
本节重点关注基于训练的检索增强生成方法 (2024)，认识到无训练检索增强生成方法 (2020; 2023; 2024) 可能由于缺乏特定任务优化而损害知识利用效率
三种主要的训练策略：
- 独立训练
- 顺序训练
- 联合训练
提高了模型的适应性和集成能力，如图20所示
独立训练（Independent Training） ：该策略将检索器和生成器作为不同的模块进行训练，能够灵活地采用针对任务需求定制的稀疏或密集检索器
- DPR (2020) 利用双BERT网络分别对查询和段落进行编码，应用对比学习优化检索，而无需与生成器交互
- 相关工作 (2024) 提出了 Reward-RAG，它利用奖励模型根据基于GPT的反馈仅微调检索器，而不改变生成器
顺序训练（Sequential Training） ：顺序训练通过一次优化一个模块来提高效率，促进检索器和生成器之间的协同作用
- 它包括检索器优先方法 (2023; 2023; 2023; 2023; 2023)，如 RETRO (2022)，该方法先预训练基于 BERT 的检索器，然后训练编码器-解码器以无缝整合检索到的内容，从而提高性能
- LLM 优先方法 (2023; 2023; 2023)，如 RA-DIT (2023)，先微调语言模型以有效利用检索到的知识，然后优化检索器以实现更好的对齐和连贯性 (2023; 2023)
联合训练（Joint Training） ：联合训练在端到端框架中同步优化检索器和生成器
- RAG (2020) 最小化负对数似然以共同训练两个组件
- REALM (2020) 通过最大内积搜索（Maximum Inner Product Search, MIPS）(2015) 提高检索精度
这些方法适应特定任务的需求，最大限度地利用外部知识的优势，并最大限度地减少生成错误

Model Merging

模型融合已成为提高大语言模型在训练和推理阶段性能和效率的重要后训练策略 (2024; 2024)
模型融合将专门的模型整合到一个统一的架构中，避免了大规模重新训练的需求，并解决了大型模型尺寸和计算需求带来的挑战
模型融合将单任务模型整合为一个能够执行多任务的整体（这与在合并的数据集上训练不同），为多任务学习提供了一种资源高效的范式
通过简化训练流程并促进开发在各种应用中具有强大泛化能力的通用模型，该技术优化了大语言模型在不同场景中的部署
给定一组候选模型 $M = \{M_{1}, M_{2}, …, M_{n}\}$，目标是设计一个融合函数 $F_\text{merge}$，生成一个统一的模型 $M’$，可能以基础模型 $M_{1}$ 为锚点，如下所示：

Model Merging at Hierarchical Levels

模型融合技术系统地分为三个层级（如图21所示）：
- 权重级（weight-level merging）
- 输出级（output-level merging）
- 模型级融合（model-level merging）
权重级模型融合（Weight-Level Model Merging） ：权重级融合直接操作参数空间 ，使其特别适用于具有相似架构或在相关任务上训练的模型
- 形式上，给定参数集 $\theta_{1}, \theta_{2}, …, \theta_{n} \in \mathbb{R}^{d}$，线性融合方案将这些参数集聚合为一个统一的集合 $\theta’$，表示为：
  $$\theta’=\alpha_{1} \theta_{1}+\alpha_{2} \theta_{2}+…+\alpha_{n} \theta_{n}, \\
  \text{ subject to }\quad \alpha_{k} \geq 0, \sum_{k=1}^{n} \alpha_{k}=1$$
- Model Soup (2022; 2020) 是一个权重级模型融合例子
  - Model Soup 通过线性组合在不同任务上微调的模型的权重，生成一个单一、高效的模型
- Task Arithmetic（TA）(2022) 通过参数的算术运算扩展了这种灵活性，提高了性能适应性
- TIES-merging (2024) 确保参数一致性（为了减轻对齐问题）
- DARE (2024) 通过概率性地调整参数增量来最小化干扰，优化融合过程的连贯性和效率
输出级模型融合（Output-Level Model Merging） ：当模型在架构或初始化方面存在差异 ，使得权重级方法不可行时，输出级融合变得有利
- 输出级模型融合方法聚合输出分布而不是内部参数，表示为：
  $$ y’=\alpha y_{1}+(1-\alpha) y_{2}, \alpha \in[0,1] $$
  - 其中 $y_{1}$ 和 $y_{2}$ 分别表示模型 $M_{1}$ 和 $M_{2}$ 的概率分布
  - 与集成策略类似，这种方法将模型预测合成为一个统一的输出
- LLMBlender (2023) 通过生成独立输出并通过排序和生成过程将其融合来实现这一点
- FuseLLM (2024) 将组合的输出概率蒸馏到单个网络中，以实现分布保真度
- FuseChat (2024) 通过将知识从多个大语言模型转移到一个整合的目标中，架起了权重级和输出级融合之间的桥梁，增强了跨模型协同作用
模型级模型融合（Model-Level Model Merging） ：模型级融合通过路由机制整合子模型或层 ，通常在 MoE 框架内 ，表示为：
$$ M’=\text{Merge}\left(M_{1}, M_{2}\right) $$
- 其中 Merge 表示硬路由或软路由函数
- Switch Transformer (2022) 采用离散门控来选择性地激活专家层，减少计算负载，尽管由于刚性路由可能会有潜在的性能权衡
- SoftMoE (2023) 和 SMEAR (2023) 利用连续门控促进专家之间更平滑的过渡，增强组件集成和模型凝聚力

Pre-Merging Methods

Pre-Merging Methods 通过优化独立模型的权重空间、架构一致性和参数对齐，为模型融合建立兼容性基础，从而最大限度地减少后续融合阶段的冲突和干扰
这些技术提高了融合过程的有效性，确保得到的统一模型保留其组成部分的优势，同时减轻潜在的性能下降
线性化微调（Linearization Fine-tuning） ：
- 这种方法在预训练模型的切空间内优化模型，避开原始的非线性参数空间，以实现权重解耦，减少融合过程中的干扰
- 诸如适配器（例如 TAFT (2023)）或注意力层 (2024) 的部分线性化技术将权重更新对齐到不相交的输入区域，在融合模型中保留独立功能 (2023)
- 通过将更新约束在一个线性化框架内，这种方法促进了不同模型之间的无缝集成
架构转换（Architecture Transformation） ：
- 该策略将具有不同架构的异构模型转换为适合直接参数融合的同构形式
- 方法包括知识蒸馏，如 FuseChat (2024) 所示，以及身份层插入，如 CLAFusion (2021)
- GAN Cocktail (2021) 初始化目标模型以吸收来自不同架构的输出，实现跨越结构差异的统一融合过程
权重对齐（Weight Alignment） ：这种方法通过排列将模型对齐到共享的权重域，利用线性模式连接（Linear Mode Connectivity, LMC）特性来提高兼容性
- 技术包括最优传输（OTFusion (2019)）、启发式匹配（Git re-basin (2022)）和基于学习的对齐（DeepAlign (2021)）
- REPAIR (2022) 减轻了缺乏归一化层的模型中的对齐失败，确保在融合前参数能够稳健收敛

During-Merging Methods

During-Merging Methods 专注于动态优化参数融合策略，以解决任务冲突、减轻干扰，并提高所得融合模型的性能和泛化能力
这些方法实时处理整合不同模型的挑战，增强统一架构的适应性和稳健性
基本融合（Basic Merging） ：
- 这种方法利用简单的参数平均或任务向量算术，将任务向量 $\tau_{t}$ 定义为第 $t$ 个任务的微调参数 $\Theta^{(t)}$ 与初始预训练参数 $\Theta^{(0)}$ 之间的偏差：
  $$\tau_{t}=\Theta^{(t)}-\Theta^{(0)}$$
- 并通过公式 $\Theta^{(\text{merge} )}=\Theta^{(0)}+\lambda \sum_{t=1}^{T} \tau_{t}$ 促进多任务学习 (2022)
- 这种方法计算效率高且概念简洁，但经常遇到由于未减轻的参数相互作用导致的任务干扰，限制了其在需要复杂任务协调的场景中的实用性
加权融合（Weighted Merging） ：
- 该策略根据各个模型的重要性动态分配融合系数，定制贡献以优化融合结果
- MetaGPT (2024) 通过归一化每个任务向量的平方 L2 范数来计算最优权重：
  $$\lambda_{t}^{*}=\frac{\left| \tau_{t}\right| ^{2} }{\sum_{k=1}^{T}\left| \tau_{k}\right| ^{2} }$$
  - 从而为参数变化更大的任务分配更大的影响，如更高的 $\left|\tau_{t}\right|^{2}$ 所示
- SLERP (2024) 采用球面插值确保参数的平滑过渡，保留模型连续性
- 分层 AdaMerging (2024) 通过在每层粒度上优化系数来改进此过程，提高融合架构内的任务特定精度
子空间融合（Subspace Merging） ：
- 这种方法将模型参数投影到稀疏子空间中 ，以最大限度地减少干扰，同时保持计算效率，解决参数贡献的重叠问题
- TIESMerging (2024) 保留按幅度排列的前 20% 参数，解决符号冲突以保持连贯性
- DARE (2024) 缩放稀疏权重以减少冗余
- Concrete (2023) 利用双层优化来构建自适应掩码，确保模型组件的精细集成，减少跨任务干扰
基于路由的融合（Routing-based Merging） ：
- 该技术根据输入特定属性动态融合模型，实现上下文响应式集成过程
- SMEAR (2023) 计算依赖于样本的专家权重以优先考虑相关特征
- Weight-Ensembling MoE (2024) 采用输入驱动的线性层路由进行选择性激活
- Twin-Merging (2024) 融合任务共享和任务私有知识，培养灵活的融合框架，适应不同的输入需求并增强多任务稳健性
融合后校准（Post-calibration） ：
- 这种技术通过将统一模型的隐藏表示与独立组件的隐藏表示对齐来纠正融合后的表示偏差，减轻性能下降
- Representation Surgery (2024) 就是一个例子，它通过改善表示一致性来增强融合模型的稳健性和准确性

Datasets

后训练技术经过精心设计，旨在提高 LLM 对特定领域或任务的适应性，而数据集是这一优化过程的基石
对以往研究的深入考察 (2024; 2024) 强调，数据的质量、多样性和相关性对模型效能有着深远影响，往往决定了后训练工作的成败
为了阐明数据集在这一背景下的关键作用，论文对后训练阶段所使用的数据集进行全面回顾和深入分析，并根据其收集方法将其分为三大类
- 人工标注数据
- 蒸馏数据
- 合成数据
这些类别反映了数据整理的不同策略，模型要么采用单一方法，要么采用融合多种类型的混合方法，以在可扩展性、成本和性能之间取得平衡
表9详细概述了这些数据集类型，包括它们的来源、规模、语言、任务和后训练阶段（如 SFT 和 RLHF ），论文将在后续章节中探讨它们在提升大语言模型能力方面的贡献和面临的挑战

Human-Labeled Datasets

人工标注数据集以其极高的准确性和语境保真度著称，这些特性源于标注者对任务复杂性的细致理解，以及他们做出精确、符合语境调整的能力
这些数据集是优化 Instruction Tuning 的基石，通过提供高质量、专业整理的训练信号，显著提升大语言模型在各类任务中的性能
在这一类别中，Flan (2021)、P3（Public Pool of Prompts）(2021)、Sup-Natinst（Super-Natural Instructions）(2022) 和 Dolly-15K (2023) 等著名示例成为大语言模型后训练中广泛采用的资源，每一种都通过人类专业知识为模型能力的优化做出了独特贡献
用于监督微调的人工标注数据 ：在监督微调阶段，人工标注数据集发挥着不可或缺的作用，Flan、Sup-Natinst 和 Dolly-15K 的贡献就体现了这一点，它们提供精心设计的提示-响应对和特定任务指令，以提高大语言模型在各种自然语言处理基准测试中的效能
- Flan ：
  - Flan 数据集 (2021) 是一项基础性资源，最初包含 62 个广为人知的自然语言处理基准测试，如 HellaSwag (2019)、MRPC (2005) 和 ANLI (2019)，通过 1800K 个示例促进强大的多任务学习
  - 最近，FlanV2 (2023) 作为一个高级迭代版本出现，它整合了 Flan (2021)、P3 (2021)、Sup-Natinst (2022) 以及大量其他数据集，形成一个连贯、全面的语料库，从而增强了其在各种语言和任务领域的监督微调效用
- Sup-Natinst ：
  - 超级自然指令（Super-Natural Instructions，Sup-Natinst）(2022) 提供了涵盖 55 种语言的 76 种任务类型，是多语言大语言模型后训练的多功能资源
  - 每个任务都与一个指令精心配对，该指令包括清晰的任务定义（概述从输入文本到期望输出的映射）和一组示例，这些示例既展示正确响应也展示错误响应，为引导模型实现精确的任务执行和增强跨语言适应性提供了坚实框架
- Dolly-15k ：
  - 由 Databricks 员工开发的 Dolly-15K (2023) 是一个精心整理的语料库，包含 15,000 个高质量的人工生成提示-响应对，专门设计用于大语言模型的 Instruction Tuning
  - 它涵盖广泛的主题和场景，包括头脑风暴、内容生成、信息提取、开放式问答和摘要，反映了丰富多样的任务类型，使模型能够灵活适应各种指令语境，并提高语境相关性
上述语料库充分体现了人工标注数据集在监督微调中的效力，即广泛覆盖各种任务和场景
除上述语料库外：
- OpenAssistant (2023) 提供了一个庞大的多语言对话语料库，该语料库源自全球众包工作，可免费用于推进研究工作
- OpenOrca (2023) 通过数百万个 GPT-3.5 和 GPT-4 完成内容扩展了 FlanV2 (2023)，成为一个动态扩展的微调与任务对齐资源
- 尽管这些数据集对模型泛化能力有显著贡献，但确保标注质量和多样性的一致性仍然是一项挑战，因此需要严格的质量控制以最大限度地发挥它们的作用
用于 RLHF 的人工标注数据 ：对于 RLHF，P3、其多语言扩展版本 xP3 (2022) 和 SHP (2021) 等人标注数据集提供了必要的人工标注评估，这些评估完善了大语言模型与用户偏好的对齐，为奖励建模提供了细致的反馈机制
- P3 ：
  - P3 数据集 (2021) 是一个精心整理的 Instruction Tuning 资源
  - 它从 Hugging Face Hub 聚合了 23000K 个多任务提示
  - 每个提示都配有手工编写的指令，涵盖各种自然语言处理任务，从而为 RLHF 提供丰富基础，以提高大语言模型在各种应用中的适应性和精确性
- xP3 ：
  - xP3（Crosslingual Public Pool of Prompts）(2022) 将 P3 扩展到多语言框架，包含 46 种语言和 16 种自然语言处理任务的提示和监督数据，旨在支持 BLOOMZ 和 mT0 等模型的多任务提示微调
  - 其内容整合了英文 P3 数据集、四个新的英文任务（如翻译、程序合成）以及 30 个多语言自然语言处理数据集，为跨语言 RLHF 优化提供全面资源
- SHP ：
  - SHP (2021) 包含 349,000 个人类偏好标注，这些标注针对 18 个学科领域的问题和指令的响应，评估响应的有用性，用于训练 RLHF 奖励模型和评估自然语言生成（NLG）质量
  - 与 HH-RLHF 等混合数据集不同，它的独特之处在于完全依赖人类创作的数据
这些数据集通过提供多样化的人工标注评估，完善了 RLHF，使模型更好地与用户偏好对齐
OpenAI Summarization (2021) 和 Webgpt (2021) 提供基于比较的结构化反馈和李克特量表评分，有助于使模型输出更符合人类期望
HH-RLHF (2022) 通过包含对有用性和无害性的评估进一步强化了这一框架，为旨在确保安全和符合伦理的响应的模型奠定了坚实基础
StackExchange (2023) 贡献了特定领域的用户生成内容，丰富了训练数据，尤其有利于需要技术领域专业知识的模型
但这些数据集面临着可扩展性、人工标注可能存在的偏差以及超出特定领域的适用性有限等挑战
因此，尽管它们很有价值，但可能需要补充更广泛的数据集，以实现模型在各种现实世界任务中的全面对齐

Distilled Dataset

蒸馏数据源于将庞大的原始数据集精炼为紧凑、优化的子集的复杂过程，这些子集保留了大语言模型训练所需的关键信息，在保持性能的同时提高了训练效率并降低了计算需求
这种方法产生的数据集在效能上常常媲美甚至超越未精炼的数据集，加速模型收敛并减少资源消耗，尤其在 RLHF 阶段
ShareGPT (2023) 和 HC3（Human-ChatGPT Comparison Corpus）(2023) 是关键示例，它们通过提炼现实世界交互和比较见解，成为大语言模型微调的广泛采用的资源，提供可操作的训练信号
ShareGPT
- ShareGPT (2023) 是一个动态数据收集平台，通过其 API 聚合了大约 90,000 个对话，这些对话来自用户与 ChatGPT 或 GPT-4 的真实交互
- 它包含真实的人类指令和查询以及相应的人工智能响应，将自然对话模式提炼为集中资源，使 RLHF 能够完善大语言模型的对话流畅性和语境响应能力，具有高度的相关性和质量
HC3 ：
- HC3 数据集 (2023) 专门设计用于对比 ChatGPT 生成的响应与人类编写的答案，包含 161,000 个问答对，涉及开放式话题、金融、医学、法律和心理学等领域
- 这个经过提炼的语料库便于对响应特征和质量进行比较分析，使研究人员能够在 RLHF 期间提高大语言模型输出的真实性和特定领域准确性，同时突出人类与人工智能生成内容之间的差异

Synthetic Datasets

合成数据是大语言模型后训练的监督微调阶段的变革性资产，它通过人工智能模型生成，为人工标注数据集提供了具有成本效益、可扩展且保护隐私的替代方案
通过自动创建指令-响应对和对话，合成数据能够构建庞大的训练语料库，提高模型的适应性
- Self-Instruct-52K (2022)、Vicuna (2023) 和 Baize (2023) 是广泛用于增强大语言模型指令遵循和对话生成能力的主要示例
基于 Self-Instruct 方法的数据集（Datasets Based on the Self-Instruct Method） ：
- 采用 Self-Instruct Method 的合成数据集从一小组手工编写的种子示例开始，利用大语言模型生成大量指令遵循数据，提高模型对各种指令的响应能力，Self-Instruct-52K、Alpaca 和 Magpie 系列就是这种方法的体现，它们通过可扩展自动化推进 Instruction Tuning
- Self-Instruct-52K ：
  - Self-Instruct-52K (2022) 为指令遵循模型建立了基准，它使用各种提示模板从手工编写的种子中生成 52,000 个示例，引导大语言模型更精确、一致地解释和执行特定任务指令
- Alpaca ：
  - Alpaca (2023) 和 Alpaca-GPT4 (2023) 分别使用 GPT-3 和 GPT-4 将初始的 175 个种子对扩展为 52,000 个高质量指令-响应对，提高了指令遵循能力；
  - InstInWild (2023) 为多语言语境调整了这种方法，生成英文和中文数据集，增强跨语言适应性
- Magpie 数据集（Magpie Datasets） ：Magpie 数据集 (2024) 利用对齐的大语言模型从预定义模板生成指令-响应对，产生了专门的系列，如：
  - 强调思维链推理的 Magpie Reasoning V2
  - 针对流行模型的 Magpie Llama-3 和 Qwen-2 系列
  - 适用于 Gemma 架构的 Magpie Gemma-2
  - 包含偏好优化信号的 Magpie-Air-DPO 等变体
- 通过这些数据集共同增强了对话和推理任务的监督微调与 Instruction Tuning
- 除此之外，下面的数据集显著扩大了指令生成的规模
  - Unnatural Instructions (2022)：240K examples
  - Evol-Instruct (2023)：通过迭代复杂度增强得到 70K-143K refined entries
  - Belle (2023)：来自 ChatGPT 的 500K-1100K 中文对话）
  - 然而，质量保证、复杂度校准和偏差缓解方面的挑战仍然存在，需要持续改进以确保在复杂应用中的可靠性
基于 Self-Chat 方法的数据集（Datasets Based on Self-Chat Methods） ：
- Self-Chat 数据集采用模型在内部或与同伴模拟多轮对话的技术，提高对话生成能力并弥补现有语料库的不足，Baize、UltraChat 和 OpenHermes 通过自动化交互策略体现了这种方法
- Baize ：
  - Baize (2023) 利用 ChatGPT 的 Self-Chat 技术生成 653,000 个多轮对话，整合来自 Quora、Stack Overflow 和 Alpaca 的种子数据以提高指令遵循质量，从而完善大语言模型的对话连贯性和任务遵循能力，用于监督微调
- UltraChat ：
  - UltraChat (2023) 利用多个 ChatGPT API 生成超过 12M 个高质量对话记录，涵盖各种主题，克服了多轮数据集普遍存在的质量低下和标注不准确等问题，为对话增强提供了强大的监督微调资源
- Openhermes ：
  - 由 Teknium 开发的 OpenHermes 包括 OpenHermes-1 (2023)（243K entries）及其扩展版本 OpenHermes-2.5 (2023)（1M entries），提供高质量的监督微调数据集，具有更大的体量和多样性，涵盖广泛的主题和任务类型，以提高对话和指令遵循能力
- 这些 Self-Chat 数据集使模型能够通过自交互生成多轮对话，如 Baize 利用具有各种种子的 ChatGPT 以及 UltraChat 利用广泛的 API 驱动对话，显著提高了对话质量并填补了训练数据可用性的关键空白
基于真实用户交互的数据集（Datasets Based on Real User Interactions） ：
- 源自真实用户交互的数据集利用与大语言模型的真实对话交换，捕捉多样化和真实的输入，以提高模型处理现实世界场景的能力，Vicuna、WildChat 和 GenQA 是这种方法的主要示例
- Vicuna ：
  - Vicuna (2023) 在从 ShareGPT 的公共 API 共享的大约 70,000 个用户对话上进行微调，通过将 HTML 转换为 markdown、过滤低质量样本以及分割冗长对话以适应模型语境长度来处理这些对话，确保高质量的监督微调数据用于真实交互建模
- WildChat ：
  - WildChat (2024) 包含 1M 个真实世界的 User-ChatGPT 交互，涵盖多种语言和提示类型，具有模糊请求和语码转换等独特交流方式，既作为监督微调资源，又作为分析用户行为的工具
- GenQA ：
  - GenQA (2024) 提供超过 10M 个经过清理和过滤的指令样本的庞大监督微调数据集，这些样本完全由大语言模型生成，无需人工输入或复杂流程，通过快速生成合成数据来弥补覆盖空白，补充现有语料库
- 与人工标注数据集相比，合成数据在成本、可扩展性和隐私方面具有优势，但在深度和真实性方面可能存在不足，存在偏差传播和过度简化的风险
- 依赖人工智能生成内容可能会延续模型固有的错误，这凸显了整合合成数据和人工生成数据以提高大语言模型在各种语境中的稳健性和适用性的必要性

Applications

尽管预训练赋予了 LLM 强大的基础能力，但在专业领域部署时，它们常常面临一些持续存在的局限性，比如上下文长度受限、容易产生幻觉、推理能力欠佳以及存在固有偏见等
这些缺陷在现实应用中尤为关键，因为精准性、可靠性和伦理一致性至关重要。这引发了一些核心问题：
- （1）如何系统性地提升大语言模型的性能以满足特定领域的需求？
- （2）有哪些策略能有效缓解实际应用中存在的固有障碍？
后训练作为一项关键解决方案，通过优化大语言模型对特定领域术语和推理模式的识别能力，同时保留其广泛的综合能力，从而增强了它们的适应性
本章将阐述后训练大语言模型在专业、技术和交互领域的变革性应用，详细说明定制化的后训练方法如何应对这些挑战，并提升模型在不同场景中的实用性

Professional Domains

法律助手（Legal Assistant） ：法律领域是利用后训练赋予大语言模型专业知识的典型场景，能让它们应对法学领域的复杂知识体系，并解决法学中固有的多方面挑战
- 大量研究 (2023; 2023; 2023) 探讨了大语言模型在法律领域的应用，涵盖法律问答 (2023; 2023)、判决预测 (2021; 2022)、文档摘要 (2023; 2024) 以及更广泛的任务，如检索增强和司法推理 (2024; 2024; 2024)
- 经过后训练的法律助手，如 LawGPT (2024) 和 Lawyer-LLaMA (2023)，已展现出卓越的能力，不仅能在各种法律事务中提供可靠指导，还能在专业资格考试中取得成功，这充分证明了它们具备先进的解释和分析能力
- LexiLaw (2023) 和 SAUL (2024) 等模型支持多语言，包括英语和中文，进一步扩大了其应用范围
- 这些进步的核心在于对精心整理的法律语料库进行后训练 ，例如 ChatLaw (2023)，它将大量法律文本整合到对话数据集中 ，使模型能够优化自身的推理能力和术语识别能力
医疗健康（Healthcare and Medical） ：后训练显著提升了大语言模型在医疗健康领域各类应用中的性能，这些模型利用特定领域的数据，精准满足临床和学术需求
- 在临床环境中，大语言模型助力完成药物发现 (2022)、药物协同预测 (2024)、催化剂设计 (2023)、诊断支持、医疗记录生成和患者交互等任务；
- 在学术领域，通过定制化的后训练，大语言模型在医疗报告合成 (2023) 和问答 (2024) 等方面表现出色。例如
  - ChatMed (2023) 基于 500K 条医疗咨询记录进行优化，展现出更高的诊断和咨询准确性；
  - PULSE (2023) 则使用涵盖中文医疗和通用领域的 4000K 条指令进行微调，展现出卓越的多任务处理能力
- 这些模型通过后训练获得的适应性，将复杂的医学知识融入其中，其性能优于通用模型，这凸显了定制化数据集在实现实际应用价值方面的不可或缺性
- 这些进步不仅提高了特定任务的成果，还为将大语言模型整合到医疗工作流程铺平了道路，在这些流程中，精准性和语境相关性至关重要，充分体现了后训练对实际医疗应用的变革性影响
金融经济（Finance and Economics） ：在金融和经济领域，大语言模型在情感分析 (2024)、信息提取 (2023) 和问答 (2023) 等任务中展现出巨大潜力，而后训练通过特定领域的优化进一步提升了它们的效能
- FinGPT (2023) 和 DISC-FinLLM (2023) 等专业模型在经过金融语料库的后训练后，在那些需要深入理解市场动态和专业术语的任务中表现比基础模型更出色
- XuanYuan (2023) 利用大量金融数据集和先进的后训练技术，提高了经济建模和预测的准确性，其性能超过了未经过微调的基准模型
- 这些发展表明，后训练在使大语言模型适应金融应用的复杂需求方面发挥着关键作用，因为在金融领域，精准解读定量数据和定性见解至关重要，这确保了模型能够提供可靠、符合行业标准和预期的特定领域输出
移动 Agent（Mobile Agents） ：大型多模态模型（LMM）的发展推动了一个新兴的研究领域，即基于大型多模态模型的图形用户界面（graphical user interface，GUI）Agent 研究 (2024)
- 该领域旨在开发能够在各种图形用户界面环境中执行任务的人工智能助手，包括网页界面（Web Interfaces） (2023; 2024; 2024; 2024; 2024)、个人计算平（personal computing platforms） (2023; 2024; 2024; 2024; 2024) 和移动设备（Mobile Devices） (2024; 2024; 2024; 2024; 2024)
- 在移动领域， (2024) 通过工具整合和额外的探索阶段 (2024; 2024) 提升了单个 Agent 的感知和推理能力
- 一些研究采用多 Agent 系统进行决策和反思 (2024; 2024)，展现出巨大潜力，从而提高了任务效能
- 值得注意的是，MobileAgent-E (2025) 在 Agent 之间引入了层次结构，促进了强大的长期规划，并提高了低级别动作的精度
- 这些进展凸显了多模态后训练策略在培养适应性强、高效的移动环境 Agent 方面的变革性作用

Technical and Logical Reasoning

Mathematical Reasoning ：大语言模型在数学推理方面展现出巨大潜力，涵盖代数运算、微积分和统计分析等领域，而后训练在缩小计算能力与人类水平能力之间的差距方面起着关键作用
- GPT-4 (2023) 在标准化数学评估中取得高分，这得益于其多样化的预训练语料库，而后训练进一步优化了这一能力
- DeepSeekMath (2024) 利用专门的数学数据集和 SFT、 GRPO (2024) 等技术，提高了推理精度，能够运用结构化的思维链（CoT）解决复杂问题
- OpenAI 的 o1 (2024) 通过 RL 在这一领域取得进展，不断优化推理策略，在多步骤推导和证明中实现更优异的性能
- 通过后训练进行的持续优化不仅提高了准确性，还使大语言模型的输出更符合严谨的数学逻辑，使它们成为教育和研究领域的宝贵工具，因为在这些领域中，高级推理至关重要
Code Generation ：后训练彻底改变了代码生成领域，赋予大语言模型在自动编码、调试和文档编制方面的卓越能力，从而改变了软件开发流程
- Codex (2021) 在庞大且多样化的代码库上进行训练，是 GitHub Copilot 的基础，能够提供实时编码辅助，且准确性极高
- Code Llama (2023) 这样的专业模型通过在特定编程数据集上进行后训练，进一步优化了这一能力，能为不同语言和框架的开发者提供帮助
- OpenAI 的 o1 (2024) 将其数学推理能力扩展到代码生成领域，生成高质量、符合语境的代码片段，其质量可与人类输出相媲美
- 当前的研究重点包括增强个性化、加深语境理解以及嵌入伦理保障措施，以降低代码滥用等风险，确保大语言模型在技术领域最大限度地提高生产力，同时遵循负责任的开发原则

Understanding and Interaction

推荐系统（Recommendation System） ：大语言模型已成为推荐系统领域的变革性力量，它们通过分析用户交互、产品描述和评论，以前所未有的精细度提供个性化建议 (2023; 2023; 2024)
- 后训练增强了它们整合情感分析的能力，使其能够细致理解内容和情感内涵，GPT-4 (2023) 等模型以及 LLaRA (2024) 和 AgentRec (2024) 等专门系统就体现了这一点
- 亚马逊和淘宝等电子商务巨头利用这些能力处理评论情感、搜索查询和购买历史，优化客户偏好模型，并高度精准地预测用户兴趣 (2023)
- 除了对物品进行排名外，经过后训练的大语言模型还能参与对话式推荐、规划和内容生成，通过提供动态、符合语境的交互来提升用户体验，这些交互能适应不断变化的偏好，这充分证明了后训练在将数据分析与实际应用价值相结合方面的作用
语音对话（Speech Conversation） ：经过后训练的大语言模型重新定义了语音处理，将识别、合成和翻译的自然度和准确性提升到前所未有的水平 (2024)
- 这些模型能处理文本转语音 (2023)、文本转音频生成 (2023) 和语音识别 (2018) 等任务，为亚马逊 Alexa、苹果 Siri 和阿里巴巴天猫精灵等广泛使用的工具提供支持
- Whisper (2023) 在高保真转录方面表现出色
- GPT-4o (2024) 引入了实时语音交互，无缝整合多模态输入
- 未来的发展方向包括多语言翻译和个性化语音合成，后训练将优化大语言模型，以打破语言障碍，并根据用户个人资料定制响应，在全球范围内增强人机交互的可访问性和参与度
视频理解（Video Understanding） ：将大语言模型扩展到视频理解领域是一项重要的前沿进展，后训练使 Video-LLaMA (2023) 等模型能够执行字幕生成、摘要和内容分析等任务，简化了多媒体创作和理解过程
- Sora (2024) 进一步革新了这一领域，它能根据文本提示生成复杂视频，通过降低技术壁垒和促进创新叙事，使内容创作大众化
- 这些进展利用后训练使大语言模型适应视觉-时间数据，提高了它们在从教育到娱乐等各种应用中的解释深度和实用性
- 但它们也带来了计算可扩展性、隐私保护和伦理治理等方面的挑战，特别是在生成内容的滥用方面
- 随着后训练方法的不断发展，解决这些问题对于确保在视频相关应用中实现可持续、负责任的部署至关重要，在推动创新的同时兼顾社会考量

Open Problems and Future Directions

在本节中，论文批判性地评估了 LLM 后训练方法中尚未解决的挑战和未来的发展方向，并结合 OpenAI 的 o1 (2024) 和 DeepSeek-R1 (2025) 的发布所带来的变革性进展进行分析
这些模型利用大规模 RL 重新定义了推理基准，然而，它们的出现也凸显了迫切需要解决后训练技术中存在的固有局限性
以下小节将阐述六个关键的开放问题，每个问题都强调了其对该领域发展的关键重要性以及解决这些问题的迫切性，同时还提出了推动未来研究并确保大语言模型在各种应用中负责任发展的可行策略

Reasoning Enhancement Beyond Large-Scale RL

o1 和 DeepSeek-R1 的推出标志着大语言模型推理能力的范式转变，它们利用广泛的强化学习框架（如 RLHF 和 GRPO）在数学证明和逻辑推导等多步骤问题解决中实现了前所未有的准确性。但对二元奖励信号和大量人类反馈的依赖暴露出一个关键局限性：它们在科学假设生成或动态环境中的战略决策等复杂、开放式任务中难以有效泛化
随着对大语言模型在现实世界场景中模拟人类推理的需求日益增长，这一差距变得愈发紧迫，而其重要性在于释放大语言模型作为自主智能代理的潜力，使其超越当前的基准测试
当前的强化学习方法在奖励稀疏性方面存在不足 ，且难以适应任务复杂性 ，因此需要创新框架
可行的解决方案包括开发多目标强化学习系统 ，这些系统整合自监督一致性检查（例如，验证推理步骤之间的逻辑连贯性）和特定领域的先验知识，如数学公理或科学原理，以在无需详尽人工标注的情况下指导推理 (2024; 2025)
这些进展可能减少对昂贵反馈循环的依赖，提高可扩展性，并使大语言模型能够应对未知的推理领域，DeepSeek-R1 的冷启动强化学习创新就证明了这一前景的可行性

Scalability of Post-Training for Next-Generation LLMs

随着大语言模型的规模和复杂性不断增加（下一代模型的参数密集型架构就是例证），后训练的可扩展性成为一项艰巨且紧迫的挑战
像 DeepSeek-R1 的冷启动方法等基于强化学习的方法需要大量计算基础设施，这限制了资金充足的机构的使用（restricts accessibility to well-funded entities），并引发了重大的可持续性问题，特别是在多模态应用（如视频分析）和实时系统（如对话代理）中
- 问题：是不是笔误，是限制了资金不充足的机构使用吧？
这个问题至关重要，因为它可能扩大资源丰富和资源有限的研究社区之间的差距，阻碍大语言模型开发的公平进展
虽然参数高效微调（PEFT）(2021) 减轻了一些开销，但其性能在大规模数据集上常常下降，这凸显了对可扩展替代方案的需求
可行的未来方向 (2024; 2024; 2024) 包括设计轻量级强化学习算法（可能为降低内存占用而调整 GRPO）、联邦后训练框架（在去中心化网络中分配计算负载）以及先进的蒸馏技术（在最小化资源需求的同时保留推理和适应能力）
如果这些解决方案得以实现，可能会使后训练民主化，符合该领域对可持续和包容性创新的迫切需求

Ethical Alignment and Bias Mitigation in RL-Driven Models

正如 o1 的谨慎对齐策略所展示的，通过强化学习进行后训练会放大伦理风险，因为它可能强化训练数据（如 HH-RLHF (2022) 或合成语料库）中嵌入的偏差
在医疗诊断和司法决策等敏感领域部署大语言模型时，这一挑战尤为紧迫
伦理对齐的动态可变性（在一种文化背景中公平的内容在另一种文化背景中可能构成偏差）为实现普遍值得信赖的大语言模型带来了重大障碍，这一问题对于确保人工智能系统的公平性和安全性至关重要
当前的方法可能过度审查（损害实用性，如抑制创造性输出）或校正不足（延续有害偏差，如种族或性别差异）
解决这一问题需要开发公平感知强化学习目标，整合多利益相关者偏好模型（如聚合多样化的人类判断）和对抗性去偏技术，以在训练过程中消除数据集偏差
这些方法的可行性 (2024) 得到了可解释性工具和多目标优化方面最新进展的支持，能够在伦理稳健性和实际功能之间取得平衡，o1 在现实世界部署中面临的挑战也凸显了这一必要性

向多模态大语言模型的发展趋势（o1 的推理增强和 GPT-4o (2024) 的合成能力预示了这一趋势）凸显了对后训练方法的迫切需求，这些方法需要无缝整合文本、图像、音频和其他数据类型，以实现整体推理
- 这一能力对于实时视频分析、增强现实和跨模态科学探究等应用至关重要
由于数据异质性和全面多模态训练语料库的稀缺性，当前方法难以实现强大的跨模态对齐，限制了大语言模型连贯推理各种输入的能力
这一挑战的重要性在于其有潜力释放变革性应用，但其解决离不开可扩展框架
DeepSeek-R1 的冷启动强化学习提供了一个有前景的起点，表明统一的模态编码器（如能够将异构数据编码到共享潜在空间的编码器）和动态强化学习策略（能够自适应地权衡模态贡献）可能弥合这一差距
未来的研究应优先创建多模态基准和合成数据集（基于 Magpie (2024) 等工作）以推动进展，鉴于多模态预训练和强化学习优化方面的最新进展，这一努力是可行的

Context-Adaptive Trustworthiness Frameworks（可信度框架）

人们日益认识到，后训练大语言模型的可信度是一个动态的、依赖于上下文的属性，而非静态品质，o1 在教育等敏感领域的谨慎输出与在创造性任务中的自由响应就体现了这一点
这种可变性（安全要求，如在教育环境中避免错误信息，可能与实用性需求，如在写作中培养创造力相冲突）带来了一项紧迫挑战，因为它对用户信任和大语言模型在各种现实场景中的适用性至关重要
当前的后训练方法往往过度优先考虑安全性，导致实用性权衡（降低实际价值），或无法适应特定上下文需求（损害可靠性）
解决这一问题需要上下文敏感的强化学习模型 ，这些模型动态调整安全-效用权衡，利用实时用户反馈和可解释的安全指标（如生成输出的透明度分数）确保适应性
这一方法的可行性 (2024) 得到了自适应学习系统和实时监控方面进展的支持，为平衡可信度和功能性提供了途径，随着 o1 等大语言模型扩展到高风险应用，这一需求变得愈发迫切

Accessibility and Democratization of Post-Training Innovations

先进后训练方法的计算密集性（以 DeepSeek-R1 的强化学习驱动方法为代表）将其应用限制在资源丰富的实体中，这对可访问性构成了紧迫障碍，扼杀了小型研究社区和行业部门的创新（即这一问题对于在人工智能领域促进公平进展至关重要）
这种排他性不仅限制了贡献的多样性，还阻碍了该领域协作应对全球挑战的能力
实现这些创新的民主化需要开发高效、开源的工具和框架，在不牺牲质量的情况下降低入门门槛，比如：
- 对强化学习的参数高效微调（PEFT）(2021) 适应性调整
- 共享后训练模型的协作平台（如 Hugging Face hubs）
- 类似于 Magpie (2024) 的简化合成数据生成 Pipeline
未来的努力应专注于优化这些解决方案以实现广泛采用，确保后训练的变革潜力（以 o1 和 DeepSeek-R1 为代表）超越精英机构，丰富更广泛的人工智能生态系统

Creative Intelligence & System 2 Thinking

将创造性智能整合到 System 2 推理中是大语言模型发展的一个新兴前沿，相关研究强调了这一点 (2025)
- 注：System 2 Thinking 即 “系统二思维”，是一种源于心理学的概念，由诺贝尔奖得主丹尼尔・卡尼曼（Daniel Kahneman）在其著作《思考，快与慢》中提出。它代表着人类认知中缓慢、深思熟虑、善于分析的部分，与快速、直觉的系统一思维相对应
虽然 OpenAI 的 o1 和 DeepSeek 的 R1 等推理大语言模型在刻意的、逐步的逻辑分析（模拟 System 2 思维）方面表现出色，但它们在创造性智能（包括生成新颖想法、综合不同概念以及灵活适应非结构化问题）方面的能力仍未得到充分探索
这一差距至关重要，因为创造性智能是诸如艺术创作、科学发现和战略创新等领域人类水平问题解决的基础，在这些领域，僵化的逻辑框架 alone 是不够的
应对这一挑战的紧迫性在于有潜力将大语言模型从分析工具提升为自主创造性 Agent，这是向人工通用智能（AGI）迈出的变革性一步。下面，论文基于本综述的见解，概述这一开放问题并提出未来方向

AGI——The-Second-Half

注：本文包含 AI 辅助创作

参考链接：
- 原始博客链接：The Second Half, 20250410, 姚顺雨

The Second Half 博客整体总结

TLDR：We’re at AI’s halftime.（我们正处于人工智能的中间休息时间）
几十年来，人工智能的发展主要集中在开发新的训练方法和模型上
- 这种方法行之有效：从击败国际象棋和围棋世界冠军，到在 SAT 和律师资格考试中超越大多数人类，再到赢得 IMO（国际数学奥林匹克）和 IOI（国际信息学奥林匹克）金牌
- 这些里程碑背后（如 DeepBlue、AlphaGo、GPT-4 以及o系列模型），是 AI 方法的根本性创新：
  - 搜索算法、深度强化学习（deep RL）、规模扩展（scaling）和推理能力，一切都在持续进步
那么，现在究竟发生了什么变化？
用三个词概括：RL finally works.（强化学习终于奏效了）
- 更准确地说：强化学习终于具备泛化能力了
经历了多次重大迂回和一系列里程碑式的突破后，我们终于找到了一种通用“配方”，能够利用语言和推理解决广泛多样的强化学习任务
- 就在一年前，如果你告诉大多数 AI 研究人员，存在一种单一的方法可以同时应对软件工程、创意写作、IMO 级别的数学题、鼠标键盘操作以及长篇问答，他们可能会嘲笑你是在幻想
- 毕竟，每一项任务都极其困难，许多研究者甚至要用整个博士生涯只专注于其中某一个狭窄领域
但这一切真的发生了
那么接下来会发生什么？
- AI的下半场（从现在开始），将重心从“解决问题”转向“定义问题”
- 在这个新时代，Evaluation比训练更重要
- 我们不再仅仅问：“我们能否训练一个模型来解决X？”而是要问：“我们应该训练 AI 去做什么？又该如何衡量真正的进展？” 要在这个下半场取得成功，我们需要及时转变思维方式和技能结构（或许更接近于一名产品经理的角色）

附录：我的个人见解和思考

其实我认为 AGI 还在上半场，特别是强化学习的发展还在上半场，多模态也还在上半场
作者认为强化学习的范式已经确定了，但是给的观点太大，细节上还有许多不同的落地方向
早在 23 年，我就认为真正的 AGI 很可能是在世界模型上进行反馈和交互得到的，随着世界模型的进化，智能体会越来越好
- 与作者评估的思路相似，但是我认为强化学习的算法仍然是重要的，如何让模型能记住之前与环境交互发生过什么（奖励，环境变化），算法可能还需要继续优化
从接触强化学习起，我基本上就确定 RL 是未来 AGI 的发展方向，但如今的大模型上 RL 用的还不够高明
- 比如简单的 SFT 就可以把数学分数刷的很高，不一定是 RL 带来的，RL 应该是与真实环境交互做决策
我认为 AGI 的核心：
- 让智能体在真实环境中成长，真的去感受，去交流，去沟通，记住这些遇到过的知识，最终实现 AGI

上半场（The first half）

要理解上半场，不妨看看它的“赢家”：你认为迄今为止最具影响力的 AI 论文有哪些？
作者在斯坦福CS224N课程中尝试过一个测验，答案并不令人意外：Transformer、AlexNet、GPT-3 等等
- 这些论文有什么共同点？它们都提出了某种根本性的突破，以训练出更好的模型
- 而且，它们通过在某些基准测试中表现出显著提升，成功发表了论文
但还有一个潜在的共性：这些“赢家”几乎都是训练方法或模型架构 ，而不是基准测试或任务本身
- 即便是堪称最有影响力的基准之一 ImageNet，其引用量也不到 AlexNet 的三分之一
- 这种“方法 vs 基准”的对比在其他地方更加悬殊
  - 例如，Transformer 论文本身的引用超过16万次，WMT’14 翻译任务（Transformer 的主要基准）对应的研讨会报告仅有约 1,300 次引用
这说明了上半场的游戏规则 ：重点在于构建新模型和新方法 ，评估与基准只是次要的（尽管必要，才能让论文体系运转起来）
为什么如此？一个重要原因是，在 AI 发展的上半场，方法比任务更难、也更激动人心
- 从零开始创造一种新算法或模型架构（比如反向传播算法、卷积神经网络（AlexNet），或是用于GPT-3的Transformer），需要非凡的洞察力和工程能力
- 相比之下，为 AI 定义任务往往显得简单得多：我们只需选取人类已有的任务（如翻译、图像识别或下棋），将其转化为可量化的基准测试即可（这并不需要太多创新或工程投入）
此外，方法通常比单个任务更具通用性和广泛适用性，因此价值更高
- 例如，Transformer 架构最终推动了计算机视觉（CV）、自然语言处理（NLP）、 RL 等多个领域的进步，远远超出了它最初验证的那个数据集（WMT’14翻译）
- 一个优秀的新方法可以“攀登”多个不同的基准，因为它足够简洁且通用，影响力远不止于单一任务
这套游戏机制运行了几十年，催生了改变世界的想法与突破，并体现在各个领域基准性能的不断提升上
- 为何这套机制会改变？因为这些思想和突破的累积已经带来了质的飞跃：我们终于找到了一套行之有效的“配方”来解决各类任务

这个“配方”是什么？（The recipe）

它的组成部分并不令人意外：大规模语言预训练、数据与算力的规模化、以及 “推理与行动（reasoning and acting）”的 idea
- 这些听起来像是你在旧金山每天都能听到的流行术语（buzzwords），但为何称之为“配方”？
我们可以通过RL 的视角来理解这一点
- RL 常被认为是 AI 的“终极目标”：理论上它能保证赢下游戏，经验上我们也很难想象任何超级智能系统（如AlphaGo）不依赖 RL 就能实现
在 RL 中，有三个关键要素：算法（algorithm）、环境（environment）和先验知识（priors）
- 长期以来，RL 研究者主要关注的是算法（如 REINFORCE、DQN、TD-learning、actor-critic、PPO、TRPO 等），这是智能体如何学习的核心智力部分
- 而将环境和先验视为固定或最小化的因素。例如，Sutton 和 Barto 的经典教材几乎全部聚焦于算法，对环境或先验几乎只字未提
然而，在深度强化学习时代，人们逐渐意识到环境在实践中至关重要 ：一个算法的表现往往高度依赖于它所设计和测试的具体环境
- 如果你忽视环境，就可能构建出一个在玩具环境中“最优”但在真实场景中完全失效的算法
- 那么，为什么不先明确我们真正想解决的环境，再寻找最适合它的算法呢？
这正是 OpenAI 最初的计划
- 他们创建了Gym，一个标准的RL环境平台，涵盖各种游戏；
- 接着推出了 World of Bits 和 Universe 项目，试图将互联网或整个计算机变成一个游戏环境
- 听起来是个好计划，不是吗？一旦我们将所有数字世界转化为可交互环境，再用聪明的 RL 算法去攻克它们，我们就拥有了数字世界的通用人工智能（AGI）
这个计划很好，但并未完全奏效
- OpenAI 沿着这条路径取得了巨大进展，用 RL 解决了 Dota、机械手控制等问题
- 但他们从未真正接近解决“电脑使用（computer use）”或“网页导航（web navigation）”这类任务，而且在一个领域有效的RL代理无法迁移到另一个领域
- Something is missing（缺了点什么？）
直到 GPT-2 或 GPT-3 出现，人们才意识到缺失的关键是先验知识（priors）
- 你需要强大的语言预训练，将常识和语言知识内化到模型中，然后在此基础上微调，使其成为 Web 代理（WebGPT）或聊天代理（ChatGPT），并由此改变世界
- 结果证明，RL 中最重要的一环可能根本不是 RL 算法或环境 ，而是先验知识 ，而这些先验知识的获取方式完全可以与 RL 无关
语言预训练为“聊天”创造了良好的先验，但对“控制电脑”或“玩视频游戏”却效果不佳
- 为什么？因为这些领域远离互联网文本的分布，如果直接在这些领域进行 SFT 或 RL ，泛化能力很差
我在 2019 年就注意到了这个问题，当时 GPT-2 刚发布，我尝试在其基础上做 SFT/RL 来解决文字冒险游戏（训练了 CALM）
- CALM 是世界上首个基于预训练语言模型构建的代理
- 但即便经过数百万步的 RL 训练，代理也只能勉强攻克一款游戏，且无法迁移到新游戏
  - 问题：RL 能做数百万步？即使模型很小也有点难吧？
- 虽然这对 RL 研究者来说并不奇怪（这正是 RL 的典型特征），但我感到困惑：人类却能轻松零样本地玩新游戏并表现良好
- 于是，我迎来了人生中第一次顿悟时刻（first eureka moment in my life）：
  - 顿悟：我们之所以能泛化，是因为我们不仅能选择“走到柜子2”或“用钥匙1打开箱子3”或“用剑杀死地牢怪兽”，我们还能选择思考：“地牢很危险，我需要武器。没有明显武器，也许得在锁着的箱子或柜子里找。柜子2里有箱子3，先去那里打开看看”
思考，或者说推理，是一种奇特的“动作” ，它不直接影响外部世界，但其思维空间是开放且组合爆炸的：
- 你可以思考一个词、一句话、一段话，甚至一万句随机英文单词，但周围的世界不会立即改变
- 在经典RL理论中，这简直是灾难，会让决策变得不可能
- 想象你要从两个盒子中选一个，其中一个有 100 万美元，另一个为空，你的期望收益是 50 万美元
  - 现在我再加无数个空盒子，你的期望收益就趋近于零
  - 问题：这个例子有点没太懂作者想表达的什么
- 但如果我们把“推理”加入任何 RL 环境的动作空间中，我们就能利用语言预训练带来的先验知识实现泛化，并根据不同决策灵活分配测试时的计算资源
- 这是一种非常神奇的现象，我在这里可能无法完全说清楚，也许需要另写一篇博客详细阐述
- 欢迎阅读 ReAct 论文了解“推理作为代理行为”的原始故事，以及我当时的心路历程
- 目前我的直观解释是：即使我加了无数空盒子，但你一生中见过各种游戏中的类似情况，选择这些“空盒子”的思考过程，反而让你在未来更有可能选中那个装钱的盒子
- 抽象地说：语言通过推理在代理中实现泛化（language generalizes through reasoning in agents）
一旦我们拥有了正确的 RL 先验（语言预训练）和 RL 环境（将语言推理作为动作之一），结果发现RL 算法本身反而可能是最不重要的部分
- 于是我们看到了o系列、R1、Deep Research、电脑使用代理……以及更多即将到来的成果
- 多么讽刺的转折！几十年来，RL 研究者极度重视算法，几乎无人关注环境，更没人关心先验
- 几乎所有 RL 实验都从零开始，但我们花了数十年的弯路才意识到，也许我们的优先级本该彻底颠倒
  - 问题：不对吧，在 RL 中一直都有先模仿学习再进行 RL 训练的先例，比如 AlphaGo 就先学习的专家决策
正如史蒂夫·乔布斯所说：“你无法向前连接点滴；你只能向后连接”（You can’t connect the dots looking forward; you can only connect them looking backward.）

“你无法在展望未来时串联起生命的点滴，只有在回顾过去时才能看清它们之间的联系”

下半场（The second half）

这套“配方”正在彻底改变游戏规则。回顾一下上半场的游戏：
- 1）我们开发新颖的训练方法或模型，以提升基准表现；
- 2）我们创建更难的基准，继续循环
但现在这个游戏正在被打破，原因如下：
- 这套“配方”已经基本标准化，并实现了工业化流水线式的基准刷分，不再需要太多新想法。你的某个特定任务上的创新方法可能带来5%的提升，而下一代o系列模型无需专门优化就能提升30%
- 即便我们创造出更难的基准，这套配方也会越来越快地将其攻克，我的同事Jason Wei制作了一张漂亮的图表，清晰地展示了这一趋势
- 图2
那么，在下半场我们还能做什么？
我认为我们必须从根本上重新思考Evaluation
- 这意味着不仅要创建新且更难的基准，更要从根本上质疑现有的评估框架，建立全新的评估体系，迫使我们发明超越当前“配方”的新方法
- 这很难，因为人类具有惯性，很少质疑基本假设，你往往把它们当作理所当然，而不意识到它们只是假设，而非自然法则
举个例子说明这种“惯性”：假设你在 2021 年发明了历史上最成功的评估之一，基于人类考试的评测
- 这在当时是个大胆创举，但三年后它已趋于饱和
- 你会怎么做？大概率是设计更难的考试
- 或者，假设你解决了简单的编程任务，下一步呢？很可能是寻找更难的编程题，直到达到 IOI 金牌水平
这种惯性是自然的，但问题在于：AI 已经击败了国际象棋和围棋冠军，在 SAT 和律师考试中超越大多数人，并在 IMO 和 IOI 中获得金牌
- 但世界似乎并没有因此发生太大变化（至少从经济和 GDP 来看是如此）
作者把这称为 “效用问题”（utility problem） ，并认为这是当前 AI 面临的最重要问题
也许我们很快就能解决这个问题，也许不会：但无论哪种情况，其根源可能出人意料地简单：我们的评估设置与真实世界存在诸多根本差异 ，举两个例子（原本机器学习或 RL 中大家比较确定的，但是现在需要改变的例子）：
- 评估“应该”自动化运行（Evaluation “should” run automatically） ：
  - 通常代理接收任务输入，自主完成，然后获得奖励
  - 但在现实中，代理必须在整个任务过程中与人类持续互动：你不会给客服发一条超长消息，等十分钟，然后指望对方一次性完美解决所有问题
  - 通过质疑这一设定，新的基准应运而生，例如引入真实人类参与（如 Chatbot Arena）或用户模拟（如 tau-bench）的闭环评估
- 评估“应该”独立同分布（i.i.d.）（Evaluation “should” run i.i.d.） ：
  - 如果你有一个包含 500 个任务的测试集，通常每个任务独立运行，取平均得分作为总体指标
  - 但在现实中，任务是顺序执行的
  - 一位谷歌软件工程师随着对代码库越来越熟悉，解决后续问题的能力会不断提升；而一个 AI 代理在同一代码库中解决多个问题时，却无法积累这种熟悉度
  - 我们显然需要长期记忆机制（已有相关研究（AGENT WORKFLOW MEMORY 和 Contextual Experience Replay for Continual Learning of Language Agents）），但学术界缺乏合适的基准来证明其必要性，甚至缺乏勇气去挑战机器学习的基础假设：i.i.d.
这些假设“一直如此”，在AI上半场是合理的，因为当智能水平较低时，提升智能通常能提升实用性
- 但现在，这套通用“配方”在这些假设下已被证明必然有效
因此，下半场的新游戏规则是：
- 1）我们开发面向真实世界效用的新型评估体系或任务；
- 2）我们用现有“配方”解决它们，或在此基础上加入创新组件；继续循环
这个游戏很难，因为它陌生，但它令人兴奋
- 上半场的玩家在解决电子游戏和考试，而下半场的玩家则有机会通过将智能转化为实际产品，打造出价值数十亿甚至上万亿美元的公司
- 上半场充满了渐进式的方法和模型，而下半场则会筛选出真正具有颠覆性意义的研究：通用“配方”会轻易碾压你的渐进式创新，除非你创造出能打破该“配方”的新假设
- 那时，你才能真正做出改变游戏规则的研究
Welcome to the second half!

其他说明

博客是基于作者在斯坦福 CS224N 和哥伦比亚大学的演讲内容撰写的
作者使用 OpenAI 的 Deep Research 功能读取了作者的幻灯片并生成了初稿

Joe Zhou

Stay Hungry. Stay Foolish.

GitHub E-Mail

Introduction and Discussion

Model architecture, data, training and evaluations

Quantization

Architecture

Tokenizer

Pretraining

Post-Training for Reasoning and Tool Use

Harmony chat format

Variable Effort Reasoning Training

Agentic Tool Use

Evaluation

Reasoning, Factuality and Tool Use

Health Performance

Multilingual Performance

Full Evaluations

Safety testing and mitigation approach

Default Safety Performance: Observed Challenges and Evaluations

Disallowed Content

Jailbreaks

Instruction Hierarchy

Hallucinated chains of thought

Hallucinations

Fairness and Bias

Preparedness Framework

Adversarial Training

External Safety expert feedback on adversarial training methodology

Capability findings

Biological and Chemical - Adversarially Fine-tuned（生物与化学——对抗性微调）

Long-form Biological Risk Questions

Multimodal Troubleshooting Virology

ProtocolQA Open-Ended

Tacit Knowledge and Troubleshooting

TroubleshootingBench

Evaluations and Red Teaming by External Safety Experts

Cybersecurity - Adversarially fine-tuned（网络安全——对抗性微调）

夺旗挑战（Capture the Flag (CTF) Challenges）

Cyber range（网络靶场）

AI Self-Improvement

SWE-bench Verified

OpenAI Pull Request（OpenAI PRs）

PaperBench

Appendix 1

Appendix 2

Recommendations Implemented

Recommendations Not Adopted

Introduction and Discussion

Data

RL Training Data

Verifiable Problems

STEM Data

Code Data

Logical Puzzle Data

Non-verifiable Problems

Advanced Math Benchmark

Reward Modeling

Reward Modeling for Verifiable Problems

Reward Modeling for Non-verifiable Problems

Approach

Supervised Fine-Tuning

Reinforcement Learning

Infrastructures

Framework

Streaming Rollout System

Training System

Experiment Results

Auto Evaluation Results

Human Evaluation Results

Effects of pre-train models

Related Work

附录 A：Case Study on Verifier

附录 B：Case Study on Creative Writing

Introduction and Discussion

Drag-and-Drop Your LLMs

Preliminary

Overview of DnD

Data Preparation of DnD

Prompt Embedding

Training and Inference of DnD

Structure of parameter generator

Learning objective