前言：RWKV 作为挑战 Transformer 架构的国人开源项目，有前景，本文先简单介绍，有时间回来详细补课

整体说明

  • RWKV，全称 Receptance Weighted Key Value，中文名元始智能 ，是一种语言模型架构（由纯中国团队开发的，开源的语言架构）
  • TLDR：RWKV 结合了 RNN 和 Transformer 的优势
    • 传统 Transformer：计算复杂度随序列长度呈现二次方，且随着序列长度变长显存也一直在增长
    • RWKV 的核心思路：通过线性注意力机制和循环结构实现高效的并行训练与推理，同时保持 RNN 的低显存占用和恒定推理速度，还自然地做到了长度外推
  • 作者是 Bo Peng，知乎主页：PENG Bo
  • 评价：RWKV 作为首个中国纯字眼开源的非 Transformer 架构大模型，凭借高效的计算设计和持续的技术迭代，已在自然语言处理领域占据一席之地（开源社区活跃）
  • 其动态状态演化机制（如 RWKV-7）和多语言能力使其在长文本处理和低显存场景上具有显著优势
  • 期待 RWKV 成为替代 Transformer 架构的下一代语言模型架构

RWKV 核心优势和亮点

  • 线性复杂度 ：计算复杂度为 \(O(Td)\)（\(T\) 为序列长度，\(d\) 为特征维度），显著低于Transformer的\(O(T^2)\)
    • 支持处理“无限”上下文长度，尤其适合长文本生成和多轮对话
  • 低资源消耗 ：显存占用恒定

RWKV 主要架构版本迭代

  • RWKV-1/2/3 ：从2021-2022年开始，逐步发布了前置版本，不是很成熟
  • RWKV-4（2023年）：首个成熟版本，通过 Token-shift 技术实现循环与并行训练的结合，性能与同规模 Transformer 相当，论文被 EMNLP 2023 收录
  • RWKV-5/6（2024年）：引入矩阵值状态和动态机制，提升长序列处理能力，如 RWKV-6-World-14B 在多语言评测中超越 Llama2 13B
  • RWKV-7（2025年）：最新架构，采用动态状态演化（Dynamic State Evolution），超越传统注意力范式，支持持续学习和更复杂的上下文理解。例如，RWKV-7-World-2.9B在MMLU测试中得分54.56%，显著优于前代模型

RWKV 发展的时间线

  • 2020 年，BlinkDL 开始研究 Transformer，发现引入显式 decay 和 Token-shift 两个改进方向
  • 2021 年 8 月，RWKV 架构初版 RWKV-V1 被提交到 RWKV-LM 仓库
  • 2022 年，RWKV-V2 版本首次为 RWKV 实现 RNN 模式；2022年底，发布首个模型
  • 2023 年 6 月，RWKV 正式成立商业公司；2023 年 9 月 20 日，开源项目正式加入 Linux 开源基金会；2023 年 10 月，RWKV-4 架构论文被 EMNLP 2023 收录
  • 2024 年 7 月 19 日，RWKV 开源基金会宣布向全球开放 RWKV-6-World-14B 模型（超过 Llama2 13B）；12 月，完成数千万人民币天使轮融资
  • 2025 年 2 月 22 日，参加在上海举办的首届 “RWKV-7 架构与未来趋势” 开发者大会
  • 注：目前团队从 3 人扩展至近 20 人，2024 年获天际资本数千万人民币天使轮融资，用于技术迭代和产品落地

RWKV 当前的缺点

  • 提示词敏感性 ：基底模型对提示格式较为敏感，需优化输入顺序以提升生成质量
  • 回顾性任务局限 ：在需要回溯前文的任务中表现较弱，需通过提示工程或微调弥补

整体说明

  • 稀疏化注意力机制（Sparse Attention）旨在解决传统注意力机制（如 Transformer 中的 Full Attention）在长序列处理时计算复杂度高（\(O(N^2)\)）的问题
  • 本文是稀疏化注意力机制从 SWA（Sparse Wave Analysis）到 NSA（Native Sparse Attention）再到 MoBA（Mixture of Block Attention）的改进过程
  • 稀疏注意力机制的设计核心：
    • 通过稀疏表示、动态分层策略和块注意力混合，逐步降低了长序列处理的计算复杂度
    • 针对硬件进行优化，NSA 和 MoBA 均针对现代硬件进行了优化，显著提升了计算速度
    • 关注性能与效率的平衡，在保持模型性能的同时，减少计算资源和内存占用

SWA（Sparse Wave Analysis）

  • SWA 是一种基于稀疏波数分析的方法，最初应用于信号处理领域，用于恢复多模态和色散特性。其核心思想是通过稀疏表示（Sparse Representation）来减少计算量，同时保持对关键信息的捕捉。SWA通过压缩感知技术，利用信号的稀疏性，从有限的数据中恢复出完整的频率-波数表示，从而减少计算复杂度
  • SWA 的核心特点 ：
    • 利用信号的稀疏性，减少计算量
    • 适用于多模态和频率分散的场景
    • 通过优化策略（如基底追踪去噪）实现高效恢复
  • SWA 主要针对信号处理领域，未直接应用于大语言模型
  • SWA 缺乏对长上下文建模的针对性优化

NSA（Native Sparse Attention）

  • NSA 由 DeepSeek 提出，是一种针对大语言模型的稀疏注意力机制。NSA通过动态分层稀疏策略，结合粗粒度的 Token 压缩和细粒度的 Token 选择，显著降低了长序列处理的计算复杂度，同时保持了模型性能
  • NSA 的核心改进包括：
    • 动态分层稀疏策略 ：通过粗粒度压缩和细粒度选择，兼顾全局上下文和局部信息的精确性
    • 硬件优化 ：算法设计与现代硬件对齐，显著提升计算速度
    • 端到端可训练 ：支持从预训练到推理的全流程优化，减少计算量
  • 在长文本任务和指令推理中，NSA 的性能优于 Full Attention，且计算速度大幅提升
  • NSA 虽然能效率提升显著，但在某些复杂任务中，稀疏策略可能导致信息丢失

MoBA（Mixture of Block Attention）

  • MoBA 由月之暗面提出，是一种混合块注意力机制，灵感来源于 MoE（Mixture of Experts）结构
  • MoBA 通过将注意力计算限制在最相关的上下文块中，进一步优化了计算效率
  • MoBA 支持全注意力和稀疏注意力的自由切换
  • MoBA 的核心改进：
    • 块注意力混合 ：将长序列划分为多个块，仅对最相关的块进行计算，减少冗余计算
    • 灵活切换 ：支持全注意力和稀疏注意力的动态切换，适应不同任务需求
    • 高效训练 ：MoBA v2在短文本和长文本任务中均表现出色，且训练过程稳定
  • 在长上下文建模中，MoBA 显著降低了计算开销，同时保持了模型性能
  • MoBA 还表现出良好的扩展性和稳定性
  • 缺点是块划分策略需要精细设计，否则可能影响模型对全局上下文的理解