MoE on Bevisy's Blogs

LLM 术语全景图（六）：并行策略——多维并行的组合

Mon, 27 Jul 2026 10:15:00 +0800

这是「大模型训练与推理术语全景图」系列的第 6 篇，覆盖并行策略的 8 个概念：Data Parallelism、Tensor Parallelism、Pipeline Parallelism、Expert Parallelism、Context Parallelism、Sequence Parallelism、FSDP、ZeRO。主要参考模型：DeepSeek V3、GLM-5、Llama 3、Megatron-LM、vLLM

开篇：并行策略是组合问题

大模型的多卡并行不是单一策略的选择题，而是多维度的组合题。各策略切分的对象不同：Data Parallelism（DP）切 batch，Tensor Parallelism（TP）在层内切权重矩阵，Pipeline Parallelism（PP）在层间切模型，Expert Parallelism（EP）切专家，Context/Sequence Parallelism（CP/SP）切序列。训练大 MoE 模型常同时叠加 TP+EP+PP+DP（或 FSDP/ZeRO 替代纯 DP），DeepSeek V3 即是 TP=8 + EP=32 + PP + DP 的组合；推理侧则以 TP+EP 为主，PP 较少使用（vLLM V1 才补上 PP 推理）。组合时关键约束是通信带宽层级——TP 每层都要 AllReduce，对带宽极敏感，必须放在 NVLink 域内（单节点，TP=2/4/8）；PP 的 stage 间只传隐状态、EP 的 All-to-All 通信量较小，可跨节点；DP 的 AllReduce 介于二者之间。一句话：高带宽通信配高频切分（TP 在节点内），低带宽链路配低频切分（PP/EP 跨节点）。本篇按切分对象逐条梳理这 8 个术语。

并行策略（Parallelism Strategies）

LLM 训练和推理都需要多 GPU 协作。并行策略决定模型参数、梯度、优化器状态、激活值如何在多卡间分割与通信。

Data Parallelism

缩写：DP
中文名称：数据并行
简短介绍：每张 GPU 持有完整模型副本，将不同 batch 分配给不同 GPU 并行计算，反向传播后通过 AllReduce 同步梯度。最简单的并行方式，但要求单卡能放下完整模型。
详细介绍：DP 的工作流程：
1. 将 batch 均分到 N 张 GPU，每卡持有相同模型权重
2. 各卡独立前向 + 反向计算，得到本地梯度
3. AllReduce 通信：所有 GPU 梯度求和取平均
4. 各卡用同步后的梯度更新本地权重
通信模式：每步训练需 1 次 AllReduce（梯度同步），通信量 = 2 × model_size（ring-allreduce 发送+接收各一次）。

纯 DP 的限制：单卡必须能放下完整模型 + 优化器状态 + 激活值。对 7B 模型，bf16 权重 14GB + AdamW 优化器状态 (fp32 m/v) 56GB + 激活值 → 需 80GB+ 显存。超过单卡容量就必须用 FSDP/ZeRO 或 TP/PP。

与 FSDP/ZeRO 的关系：FSDP/ZeRO 是 DP 的改进版，将模型参数也分片到各卡，解决单卡放不下的问题。
关联论文/模型：PyTorch DDP (DistributedDataParallel)；所有多卡训练的基础
权威分析链接：
- https://docs.pytorch.org/docs/stable/generated/torch.nn.parallel.DistributedDataParallel.html
- https://docs.vllm.ai/en/latest/serving/parallelism_scaling.html

Tensor Parallelism

缩写：TP
中文名称：张量并行
简短介绍：将单个层的权重矩阵按行或列切分到多张 GPU 上，各卡并行计算矩阵乘法的不同部分，再通过 AllReduce/AllGather 拼接结果。实现层内并行，是 MoE 大模型推理的标配。
详细介绍：TP 的两种切分方式：
1. Column Parallelism（列并行）：W 按 output 维度切分
  - 各卡计算 Y_i = X · W_i（输入相同，权重不同）
  - 输出拼接需 AllGather
2. Row Parallelism（行并行）：W 按 input 维度切分
  - 各卡计算 Y_i = X_i · W（输入不同，权重相同）
  - 输出求和需 AllReduce
Transformer 层的 TP 策略（Megatron 方案）：
- Attention：Q/K/V 投影用列并行（按 head 切分，天然并行），输出投影用行并行
- FFN：第一个 Linear 列并行，第二个 Linear 行并行
- 一层内只需 2 次 AllReduce（attention 后 + FFN 后）
TP 的通信开销：每层 2 次 AllReduce，通信量 = 2 × hidden_size × seq_len × batch × 2 (send+recv)。

TP 度数选择：通常 TP=2/4/8（受 NVLink 带宽限制，跨节点 TP 性能差）。推理时 TP=N 意味着 N 张卡共同服务一个请求。

vLLM 推理：–tensor-parallel-size N

与 EP 的关系：MoE 模型通常 TP + EP 组合——注意力用 TP，专家用 EP。
关联论文/模型：“Megatron-LM” (Shoeybi et al., 2019, arXiv:1909.08053)；DeepSeek V3 (TP=8)；GLM-5 (TP=8)；vLLM 推理标配
权威分析链接：
- https://docs.vllm.ai/en/latest/serving/parallelism_scaling.html
- https://arxiv.org/abs/1909.08053

Pipeline Parallelism

缩写：PP
中文名称：流水线并行
简短介绍：将模型的不同层分配到不同 GPU 上，数据像流水线一样依次通过各卡。解决单卡放不下深层模型的问题，但有流水线气泡（bubble）开销。
详细介绍：PP 的工作方式：

将 L 层模型分到 N 个 stage（GPU），每个 stage 处理 L/N 层。 GPU 0 (layer 0-15) → GPU 1 (layer 16-31) → … → GPU N-1 (layer L-N*16 ~ L-1)

问题：朴素 PP 下，GPU 0 计算 forward 时 GPU 1~N-1 空闲 → 气泡占比 1-1/N。

GPipe 方案（微批次填充）：
- 将一个 batch 分成 M 个 micro-batch
- M 个 micro-batch 流水通过各 stage
- 气泡占比 = (N-1) / (M+N-1)，M 越大气泡越小
1F1B 调度（Megatron）：交替执行 1 个 forward + 1 个 backward，减少激活值内存峰值。

PP 的通信：stage 间传递隐状态，通信量 = hidden_size × batch × seq_len，比 TP 小得多（适合跨节点）。

PP 在推理中的应用：较少用于推理（推理无反向传播，气泡问题不同），主要用于训练。vLLM V1 已支持 PP 推理。

注意：推测解码（Speculative Decoding）长期与 PP 不兼容，vLLM V1 近期才解决。
关联论文/模型：“GPipe” (Huang et al., 2019, arXiv:1811.06965)；Megatron-LM (1F1B 调度)；DeepSpeed
权威分析链接：
- https://docs.vllm.ai/en/latest/serving/parallelism_scaling.html
- https://arxiv.org/abs/1811.06965

Expert Parallelism

缩写：EP
中文名称：专家并行
简短介绍：MoE 模型专用并行策略，将不同的专家（expert）分配到不同 GPU 上，每个 token 通过 All-to-All 通信路由到对应专家所在的卡上计算。
详细介绍：EP 的核心流程：
1. Router 在每卡本地计算路由（哪些 token 去哪些专家）
2. All-to-All 通信：将 token 发送到目标专家所在 GPU
3. 各卡上的专家计算 FFN
4. All-to-All 通信：将结果送回原始卡
5. Router 加权合并结果
EP 的通信模式：2 次 All-to-All（dispatch + combine），通信量取决于 token 数和激活专家数。

EP 度数：通常等于专家数或其因子。如 DeepSeek V3 有 256 个专家，EP=256 意味着每卡 1 个专家。实际中 EP=8/16/32 更常见（每卡多个专家）。

TP + EP 组合（大 MoE 模型标配）：
- Attention 层：TP 切分（按 head 分卡）
- MoE 层：EP 切分（按 expert 分卡）
- 示例：DeepSeek V3 训练用 TP=8 + EP=32 + DP=… + PP=…
EP 的挑战：
- 负载不均衡：某些专家被选中的 token 多，导致某些 GPU 过载
- All-to-All 通信：跨节点延迟高，需要高效通信库（如 NCCL）
- DeepSeek V3 的无辅助损失路由策略帮助均衡
关联论文/模型：“GShard” (Lepikhin et al., 2020, arXiv:2006.16668)；“Switch Transformer” (Fedus et al., 2021, arXiv:2101.03961)；DeepSeek V3 (技术报告)；GLM-5 (技术报告)
权威分析链接：
- https://docs.vllm.ai/en/latest/serving/parallelism_scaling.html
- https://arxiv.org/abs/2101.03961

Context Parallelism

缩写：CP
中文名称：上下文并行
简短介绍：将输入序列按长度维度切分到多张 GPU 上，各卡并行处理序列的不同段落，通过环式通信交换 KV 实现完整注意力。用于超长上下文训练和推理。
详细介绍：CP 解决的问题：

长序列（128K~1M token）的注意力计算 O(n^2) 和 KV Cache 内存超出单卡容量。CP 将序列分段，多卡协作完成注意力。

工作方式（Ring Attention / Ulysses 两种方案）：

Ring Attention：
1. 序列分成 N 段，每卡持有 1 段的 Q/K/V
2. KV 在卡间环形传递，每卡依次与其他段的 K/V 做注意力
3. N 步后完成完整注意力计算
Ulysses（DeepSpeed Ulysses）：
1. 序列按 head 维度分卡（不是按序列位置）
2. 通过 All-to-All 将 Q/K/V 重排为每卡持有所有位置的部分 head
3. 各卡独立计算部分 head 的完整注意力
4. 再 All-to-All 重排回去
使用 CP 的模型：DeepSeek V3（训练用 CP）、GLM-5（1M 上下文训练）、Kimi Linear（1M 上下文）。

vLLM 推理中：CP 用于超长上下文推理（如 1M token），–context-parallel-size N。
关联论文/模型：“Ring Attention” (Liu et al., 2023, arXiv:2310.01889)；“DeepSpeed Ulysses” (Microsoft, 2023)；DeepSeek V3 训练
权威分析链接：
- https://docs.vllm.ai/en/latest/serving/parallelism_scaling.html
- https://arxiv.org/abs/2310.01889

Sequence Parallelism

缩写：SP
中文名称：序列并行
简短介绍：将序列的激活值沿序列维度切分到多卡，主要用于减少 TP 中 LayerNorm 和 Dropout 的冗余计算和内存。与 CP 类似但侧重点不同——SP 是 TP 的辅助，CP 是独立的注意力并行。
详细介绍：SP 的两种含义：
1. Megatron SP（TP 辅助）：
  - TP 只切分 Q/K/V/FFN 矩阵，LayerNorm 和 Dropout 在所有 TP 卡上冗余计算
  - SP 将 LayerNorm/Dropout 的激活沿序列维度切分，各卡只处理部分 token
  - 在进入 TP 层前用 AllGather 恢复完整序列
  - 减少激活内存，但增加通信
2. DeepSpeed Ulysses SP（= CP 的一种实现）：
  - 与上述 Megatron SP 不同，是独立的序列维度并行
  - 通过 All-to-All 重排 head 和 sequence 维度
Megatron SP 与 CP 的区别：
- SP：只切分非 TP 部分（LayerNorm/Dropout），注意力仍在单卡完整计算
- CP：注意力本身也并行化，多卡协作完成完整注意力
实践中 SP 通常与 TP 配合使用（TP+SP），而 CP 可独立使用。
关联论文/模型：“Megatron-LM” (arXiv:2104.04473, SP 部分)；DeepSpeed Ulysses
权威分析链接：
- https://github.com/NVIDIA/Megatron-LM

Fully Sharded Data Parallelism

缩写：FSDP
中文名称：全分片数据并行
简短介绍：DP 的进化版，将模型参数、梯度、优化器状态全部分片到各 GPU，计算时按需 AllGather 恢复完整参数，反向后 ReduceScatter 分片梯度。PyTorch 原生支持的大模型训练方案。
详细介绍：FSDP 的工作流程：

前向传播：
1. 进入某层前，AllGather 从各卡收集该层完整参数
2. 用完整参数计算前向
3. 计算完后立即丢弃完整参数，只保留本卡分片（节省显存）
反向传播：
1. 再次 AllGather 恢复该层参数
2. 计算梯度
3. ReduceScatter 将梯度按分片同步到各卡
4. 各卡用本地分片梯度更新本地分片的优化器状态
显存节省：模型参数+梯度+优化器从全量 (16+16+32 = 64 bytes/param, fp32 AdamW) 降至 1/N。7B 模型在 N=8 卡上每卡仅需 ~8GB 而非 ~56GB。

FSDP vs ZeRO-3：两者原理几乎相同，FSDP 是 PyTorch 原生实现，ZeRO-3 是 DeepSpeed 实现。FSDP 更易用，ZeRO 配置更灵活。

FSDP 的分层分片（nested FSDP / per-layer sharding）：可按层粒度分片，进一步减少峰值显存（只需单层完整参数在内存中）。

混合并行：FSDP + TP + PP 可组合使用。如 FSDP(dp=4) + TP(tp=8) + PP(pp=2) 用于超大模型。
关联论文/模型：“PyTorch FSDP” (Zhao et al., 2023, arXiv:2304.11277)；PyTorch 2.x 原生支持；Llama 3 训练
权威分析链接：
- https://docs.pytorch.org/docs/stable/fsdp.html
- https://arxiv.org/abs/2304.11277

Zero Redundancy Optimizer

缩写：ZeRO
中文名称：零冗余优化器
简短介绍：DeepSpeed 提出的训练内存优化方案，逐步消除 DP 中的冗余：ZeRO-1 分片优化器状态，ZeRO-2 额外分片梯度，ZeRO-3 额外分片参数。FSDP 的理论基础。
详细介绍：ZeRO 的三个阶段：

基线（纯 DP）：每卡存储完整参数(P) + 梯度(G) + 优化器状态(O)
- 以 7B 模型 fp32 AdamW 为例：P=28GB, G=28GB, O=56GB → 共 112GB/卡
ZeRO-1：分片优化器状态 O → 每卡 1/N 的 O
- 节省：56GB → 56/N GB。总显存 28+28+56/N
ZeRO-2：额外分片梯度 G → 每卡 1/N 的 G 和 O
- 节省：(28+56)/N。总显存 28+84/N
- 反向后只同步本卡负责的参数的梯度
ZeRO-3：额外分片参数 P → 每卡 1/N 的 P、G、O
- 节省：全部 112/N。7B 模型 8 卡只需 14GB/卡
- 前向/反向需 AllGather 恢复完整参数（= FSDP）
通信代价：
- ZeRO-1/2：与纯 DP 相同（1 次 AllReduce 梯度），无额外通信
- ZeRO-3：每层 1 次 AllGather(前向) + 1 次 ReduceScatter(反向)，通信量增加
ZeRO-Infinity：进一步将分片卸载到 CPU 内存和 NVMe SSD，突破 GPU 显存限制。

实践选择：ZeRO-2 是性能和内存的最佳平衡点（无额外通信开销）。ZeRO-3 用于单卡放不下的超大模型。
关联论文/模型：“ZeRO: Memory Optimizations Toward Training Trillion Parameter Models” (Rajbhandari et al., 2020, arXiv:1910.02054)；DeepSpeed；FSDP 基于此设计
权威分析链接：
- https://www.deepspeed.ai/tutorials/zero/
- https://arxiv.org/abs/1910.02054

本篇小结

本篇 8 个并行策略术语沿"切什么维度 + 内存如何分片"两条线归位：

DP 每卡完整模型分不同数据，最简单但要求单卡放下完整模型；反向后 AllReduce 同步梯度。
TP 层内切权重矩阵，各卡算矩阵乘法的不同部分再 AllReduce/AllGather 拼接；NVLink 域内有效，是 MoE 大模型推理标配。
PP 层间切分，数据像流水线依次通过各卡，解决深模型单卡放不下的问题，但有流水线气泡开销；GPipe 和 1F1B 两种调度。
EP MoE 专用，把不同专家分到不同 GPU，token 通过 All-to-All 通信路由到专家所在卡。
CP 把输入序列按长度切分到多卡，各卡处理不同段落并通过环式通信交换 KV 实现完整注意力；用于超长上下文训练和推理。
SP 切序列的激活值，主要用于减少 TP 中 LayerNorm/Dropout 的冗余计算；是 TP 的辅助，与 CP 的区别是 SP 依附于 TP、CP 是独立的注意力并行。
FSDP DP 的进化版，参数/梯度/优化器状态全部分片，计算时按需 AllGather 恢复完整参数；PyTorch 原生支持的大模型训练方案。
ZeRO DeepSpeed 的内存优化三阶段：ZeRO-1 分片优化器状态、ZeRO-2 加分片梯度、ZeRO-3 加分片参数（= FSDP）；ZeRO-2 是性能与内存的最佳平衡点（无额外通信），ZeRO-3 用于单卡放不下的超大模型。

组合关系：大模型训练标配 TP+EP+PP+DP/ZeRO 多维并行（TP 在 NVLink 域内、PP 跨节点、DP/ZeRO 切数据、EP 切专家），推理标配 TP+EP。FSDP 是 ZeRO-3 的工程实现，两者理论基础一致。

本系列共 11 篇，本文是第 6 篇。

LLM 术语全景图（三）：模型架构——MoE 与残差连接的演进

Mon, 27 Jul 2026 09:30:00 +0800

这是「大模型训练与推理术语全景图」系列的第 3 篇，覆盖模型架构的 8 个概念：MoE、MTP、mHC、RoPE、YaRN、RMSNorm、SwiGLU、KV Cache。主要参考模型：DeepSeek V3/V4、GLM-5、Kimi K2、Llama 3、Mixtral

开篇：模型架构的三条演进线

把 2023 年到 2026 年的主流 LLM 架构按时间铺开，能清晰看到三条并行的演进线，本篇的 8 个概念分别落在其中。

第一条线是 FFN 的 MoE 化。 稠密 FFN 被替换为多个并行专家，路由器为每个 token 只激活少量专家。结果是模型总参数量大幅膨胀（DeepSeek V3 达 671B、Kimi K2 达 1T），但单次前向的激活参数仍保持在 30B-40B 量级，激活比压到 5% 上下。MoE 让"大参数量"与"低激活成本"第一次解耦。

第二条线是残差连接从单流到多流。 标准 ResNet 残差是 y = x + F(x) 的单残差通路；Hyper-Connections 把它扩展为 n 个并行残差流，并用 Pre/Res/Post 三类映射在层间混合；mHC 进一步把 Res Mapping 约束到双随机矩阵流形，避免深层堆叠时信号不可预测地放大或缩小。残差通路变宽，但 FLOPs 几乎不增。

第三条线是基础组件趋于稳定。 位置编码收敛到 RoPE（长上下文用 YaRN 扩展），归一化收敛到 RMSNorm 的 Pre-Norm 用法，FFN 激活收敛到 SwiGLU，KV Cache 则成为所有自回归推理绕不开的物理瓶颈。这三类组件已没有太多设计争议，新一代模型主要在 MoE 和残差结构上做差异化。

下面逐一展开。

模型架构（Architecture Components）

Mixture of Experts

缩写：MoE
中文名称：混合专家模型
简短介绍：将 FFN 层替换为多个并行的"专家"网络，通过路由器（router/gate）为每个 token 选择少量专家激活，实现大参数量但低激活成本的模型。

详细介绍：MoE 的核心计算：

Router 计算：g(x) = softmax(W_gate · x)，为每个专家打分
Top-k 选择：选出得分最高的 k 个专家
加权输出：y = Σ g_i(x) · Expert_i(x)，仅对选中的 k 个专家计算

关键设计选择：

专家数量：DeepSeek V3 有 256 个路由专家 + 1 个共享专家；Qwen3-235B 有 128 个专家
Top-k：通常 k=1~8，DeepSeek V3 激活 8 个路由专家 + 1 个共享专家
共享专家（Shared Expert）：所有 token 都经过的专家，提供通用知识，DeepSeek MoE 首创

代表模型的 MoE 配置：

模型	总参数	激活参数	激活比	专家数
DeepSeek V3	671B	37B	5.5%	256+1
DeepSeek V4-Pro	~700B+	~30B	~4%	256+1
Kimi K2	1T	32B	3.2%	384+1
Qwen3-235B	235B	22B	9.4%	128
MiniMax-01	456B	46B	10%	32
GLM-5	744B	40B	5.4%	256+1

注：GLM-5 的 744B 总参/40B 激活来自 GLM-5 技术报告（arXiv:2602.15763），激活比 40/744 ≈ 5.4%。DeepSeek V3 的 671B/37B/5.5%/256+1 来自 DeepSeek V3 技术报告（arXiv:2412.19437）。

负载均衡：DeepSeek V3 首创无辅助损失（auxiliary-loss-free）策略，避免传统负载均衡损失损害模型质量。

关联论文/模型：DeepSeekMoE (arXiv:2401.06066)；DeepSeek V3 (技术报告 arXiv:2412.19437)；Qwen3 (技术报告)；Kimi K2 技术报告；GLM-5 (技术报告 arXiv:2602.15763)；Mixtral
权威分析链接：
- https://sebastianraschka.com/llm-architecture-gallery/moe/
- https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison

Multi-Token Prediction

缩写：MTP
中文名称：多 Token 预测
简短介绍：训练时不仅预测下一个 token，还同时预测未来第 2、3…个 token，通过额外的预测头增加训练信号密度。推理时可复用 MTP 模块做推测解码。
详细介绍：MTP 的训练目标：

标准 next-token：L = -log P(x_{t+1} | x_{<=t}) MTP-k：L = -Σ_{i=1}^{k+1} log P(x_{t+i} | x_{<=t}, x_{t+1}, …, x_{t+i-1})

DeepSeek V3 使用 MTP-1（预测 1 个额外 token）：
- 主解码器预测 x_{t+1}
- MTP 模块以主解码器的隐状态 + x_{t+1} 为输入，预测 x_{t+2}
- MTP 损失权重通常为 0.1（主损失 + 0.1 × MTP 损失）
推理时的两种用法：
1. 标准：忽略 MTP 头，逐 token 生成（不影响推理）
2. 推测解码：MTP 头作为内置的 draft model，一次预测多个 token，经验证后批量接受
在 vLLM 中启用：--speculative-config='{"method": "deepseek_mtp", "num_speculative_tokens": 1}'

采用 MTP 的模型：DeepSeek V3/R1、DeepSeek V4、GLM-5 系列、Inkling
关联论文/模型：DeepSeek V3 (arXiv:2412.19437, Section 4.4)；DeepSeek R1 (技术报告)
权威分析链接：

Manifold-Constrained Hyper-Connections

缩写：mHC
中文名称：流形约束超连接
简短介绍：DeepSeek V4 引入的残差连接改进，将 Transformer 块中的单残差流扩展为多个并行残差流，并通过双随机矩阵约束确保混合稳定。
详细介绍：mHC 的演进路径：

标准残差连接 → Hyper-Connections (HC) → mHC
1. 标准 ResNet 残差：y = x + F(x)，单残差流
2. Hyper-Connections：将单残差流扩展为 n 个并行残差流
  - Pre Mapping：将 n 个流合并为 1 个隐向量供 Attention/MoE 处理
  - Res Mapping：层间残差流混合（学习矩阵）
  - Post Mapping：将层输出分发回 n 个流
3. mHC 关键约束：
  - Res Mapping 投影到双随机矩阵流形（行和=1、列和=1、非负）
  - Pre/Post Mapping 也约束为非负有界
  - 避免深层堆叠时信号放大/缩小的不可预测行为
DeepSeek V4 使用 n=4 个并行残差流。实测仅增加 6.7% 训练时间开销，但指标可比基线少用一半训练 token 达到同等性能。

核心价值：在几乎不增加 FLOPs 的情况下，使残差通路更宽更表达，且约束保证深层模型稳定性。
关联论文/模型：“mHC: Manifold-Constrained Hyper-Connections” (arXiv:2512.24880, DeepSeek, 2025-12-31)；Hyper-Connections 原始论文 (arXiv:2409.19606, Zhu et al., 2024)；DeepSeek V4 (技术报告)
权威分析链接：
- https://magazine.sebastianraschka.com/p/recent-developments-in-llm-architectures (Section 5.1)

Rotary Position Embedding

缩写：RoPE
中文名称：旋转位置编码
简短介绍：通过旋转矩阵编码 token 间的相对位置关系，将位置信息融入 Q 和 K 的旋转中，使注意力分数自然反映相对距离。当前绝大多数 LLM 的默认位置编码方案。
详细介绍：RoPE 的数学形式：

对位置 m 的向量 x，将其每两个维度分为一组，旋转角度 θ_i = m · base^(-2i/d)：

R(x, m) = x · R_m，其中 R_m 是分块旋转矩阵

关键性质：
- <R(Q, m), R(K, n)> = <Q, K> 旋转后内积仅依赖相对位置 (m-n)
- base 通常为 10000（LLaMA、DeepSeek V3 等多数模型）；部分长上下文模型（如 Qwen2、GLM-4-1M）调高到 500000~1000000 以利于长上下文外推
外推问题：训练时最大位置 m_max 有限（如 4K），推理时超出范围的角度超出训练分布，质量退化。

采用 RoPE 的模型：LLaMA 全系列、Qwen 全系列、DeepSeek V2/V3、GLM-4、Mistral、Kimi K2 等。

注意：MLA 需要将 RoPE 部分独立处理（RoPE 不兼容低秩压缩），这是 MLA 实现复杂度的来源之一。
关联论文/模型：“RoFormer: Enhanced Transformer with Rotary Position Embedding” (Su et al., 2021, arXiv:2104.09864)；LLaMA、Qwen、DeepSeek、Mistral 等
权威分析链接：
- https://magazine.sebastianraschka.com/p/from-gpt-2-to-gpt-oss-analyzing-the
- https://www.turingpost.com/p/attention-types

Yet Another RoPE Extension

缩写：YaRN
中文名称：YaRN 上下文扩展
简短介绍：目前最主流的 RoPE 上下文扩展方法，通过分段插值 + 温度缩放，在少量微调（约 400 步）下将上下文从 4K 扩展到 128K+。
详细介绍：YaRN 的核心方法：
1. 分段策略：将 RoPE 的频率维度分为三段
  - 高频段：保持原样（局部信息不需要外推）
  - 中频段：插值 + 温度缩放（平滑过渡）
  - 低频段：纯插值（长距离信息需要外推）
2. 温度缩放：调整 softmax 温度补偿插值带来的注意力分布变化
3. 微调：仅需约 400 步微调即可适应新长度
采用 YaRN 的模型：Qwen 系列（4K→128K）、DeepSeek（4K→128K）、LLaMA 系列、GLM 等。

其他上下文扩展方法对比：
- PI (Position Interpolation)：线性插值所有频率，简单但效果一般
- NTK-aware：调整 base，不微调直接外推
- YaRN：分段 + 温度，当前最优
关联论文/模型：“YaRN: Efficient Context Window Extension” (Peng et al., 2023, arXiv:2309.00071)；Qwen、DeepSeek、LLaMA 系列

RMSNorm

缩写：RMSNorm
中文名称：均方根归一化
简短介绍：LayerNorm 的简化版本，去除均值计算仅用均方根归一化，计算更快且在大规模训练中表现稳定。几乎所有现代 LLM 的默认归一化方案。
详细介绍：RMSNorm vs LayerNorm：

LayerNorm: y = (x - μ) / sqrt(σ^2 + ε) · γ + β RMSNorm: y = x / RMS(x) · γ, 其中 RMS(x) = sqrt(mean(x^2) + ε)

RMSNorm 去掉了均值减法和偏置 β，计算量更小，且在大规模训练中更稳定。

使用方式：
- Pre-Norm（主流）：在 attention/FFN 之前做归一化，梯度更稳定
- Post-Norm（GPT-2 风格）：在之后做，训练不稳定，已少用
- Inside-Residual Post-Norm（OLMo 2）：在残差路径内部做 post-norm
采用 RMSNorm 的模型：LLaMA 全系列、Qwen3、DeepSeek V3/V4、GLM-5、Mistral、Gemma 3、Kimi K2 等几乎所有现代模型。
关联论文/模型：“Root Mean Square Layer Normalization” (Zhang & Sennrich, 2019, arXiv:1910.07467)；几乎所有现代 LLM
权威分析链接：
- https://sebastianraschka.com/llm-architecture-gallery/ (各模型卡片的 Related Concepts)
- https://github.com/rasbt/LLMs-from-scratch/blob/main/ch04/01_main-chapter-code/ch04.ipynb

SwiGLU

缩写：SwiGLU
中文名称：SwiGLU 激活函数
简短介绍：GLU（Gated Linear Unit）的变体，使用 SiLU（Swish）作为门控激活函数，替代传统 ReLU/GELU。几乎所有现代 LLM FFN 层的标准配置。
详细介绍：SwiGLU 的公式：

SwiGLU(x) = SiLU(W·x) ⊙ (V·x) 其中 SiLU(x) = x · sigmoid(x)（也称 Swish）

对比传统 FFN：
- 传统：FFN(x) = W2 · activation(W1 · x)，单一激活
- SwiGLU：FFN(x) = W2 · [SiLU(W_gate · x) ⊙ (W_up · x)]，门控机制
门控机制使网络能动态选择信息通过与否，比固定激活函数更有表达力。

实现细节：SwiGLU FFN 有 3 个权重矩阵（W_gate, W_up, W_down），比传统 2 个多一个，因此隐藏维度通常调整为 2/3 × 4d 以保持参数量。

采用 SwiGLU 的模型：LLaMA 全系列、Qwen3、DeepSeek V3/V4、GLM-5、Mistral、Kimi K2、PaLM 等。
关联论文/模型：“GLU Variants Improve Transformer” (Shazeer, 2020, arXiv:2002.05202)；LLaMA、Qwen、DeepSeek 等
权威分析链接：
- https://magazine.sebastianraschka.com/p/from-gpt-2-to-gpt-oss-analyzing-the

KV Cache

缩写：KV Cache
中文名称：键值缓存
简短介绍：自回归生成时，缓存之前 token 在每层注意力的 K/V 矩阵，避免重复计算。KV Cache 大小是长上下文推理最硬的物理瓶颈。
详细介绍：KV Cache 的大小计算：

KV Cache = 2(K+V) × n_layers × n_kv_heads × d_head × seq_len × batch × bytes_per_param

示例（DeepSeek V3, 128K 上下文, bf16, batch=1）：
- MLA 压缩后：约 68.6 KiB/token × 128K = ~8.6 GB
- 对比 Llama 3 8B（GQA）：128 KiB/token × 128K = ~16 GB
- 对比 OLMo 2 7B（MHA）：512 KiB/token × 128K = ~64 GB
注：以上 MHA/GQA 数字为示意量级，便于横向对比 MLA 的压缩收益。

KV Cache 是长上下文推理的核心瓶颈，催生了大量优化：
- 压缩 KV 表示：MLA（低维压缩）、CCA（压缩空间计算）
- 减少序列条目：CSA/HCA（序列压缩）、SWA（局部窗口）
- 跨层共享：Gemma 4 的 Cross-Layer Attention
- 线性注意力：Lightning Attention、KDA（O(1) 状态替代 O(n) 缓存）
- 分页管理：vLLM PagedAttention
趋势：随着推理模型（o1/R1）和 Agent 工作流需要更长的上下文，KV Cache 优化成为 2025-2026 年架构设计的最大驱动力。
关联论文/模型：所有 Transformer 模型；MLA (DeepSeek V2)、PagedAttention (vLLM)
权威分析链接：
- https://magazine.sebastianraschka.com/p/coding-the-kv-cache-in-llms
- https://sebastianraschka.com/llm-architecture-gallery/kv-cache-calculations/

本篇小结

本篇 8 个模型架构术语沿"稀疏激活 + 残差连接进化 + 位置编码/归一化/FFN 标准件 + KV Cache 瓶颈"四条线归位：

MoE 把 FFN 替换为多个并行专家网络，路由器为每个 token 选少量专家，实现大参数量但低激活成本；2025-2026 年大模型几乎全部 MoE 化，激活比持续下降（DeepSeek V4 ~4%）。
MTP 训练时同时预测未来多个 token 增加训练信号密度，推理时可复用 MTP 模块做推测解码；DeepSeek V3 用 MTP，是训练与推理的连接点。
mHC 把 Transformer 块的单残差流扩展为多个并行残差流，用双随机矩阵约束保证混合稳定；DeepSeek V4 引入，信息通路更宽。
RoPE 通过旋转矩阵把相对位置编入 Q/K 的旋转中，使注意力分数自然反映相对距离；当前绝大多数 LLM 的默认位置编码。
YaRN 通过分段插值 + 温度缩放做 RoPE 上下文扩展，约 400 步微调即可从 4K 扩到 128K+；目前最主流的上下文扩展方法。
RMSNorm 去掉 LayerNorm 的均值计算仅用均方根归一化，计算更快且大规模训练稳定；几乎所有现代 LLM 的默认归一化。
SwiGLU 用 SiLU 作为 GLU 门控激活替代 ReLU/GELU；几乎所有现代 LLM FFN 层的标准配置。
KV Cache 缓存历史 token 的 K/V 避免重复计算，但其体积随上下文线性增长，是长上下文推理最硬的物理瓶颈——催生篇 1 的 MLA/CSA/HCA 压缩、篇 5 的 PagedAttention 分页管理、篇 10 的 Prefix Caching 复用。

KV Cache 是本篇与篇 1（注意力压缩）、篇 5（推理优化）、篇 10（推理服务）的交叉点：架构设计层面的每一次创新，最终都要回到这个物理瓶颈上检验。

本系列共 11 篇，本文是第 3 篇。系列导航见：LLM 术语全景图系列导读。

拆解 Kimi K3：2.8 万亿参数背后，6 项架构创新如何让 MoE 训练稳得住

Tue, 21 Jul 2026 22:30:00 +0800

2026 年 7 月 17 日，月之暗面（Moonshot AI）发布了 Kimi K3——全球首个公布的 3T 级开源模型。2.8 万亿参数，原生多模态视觉能力，100 万 token 上下文窗口，896 个专家中激活 16 个。这些数字本身已经足够吸引眼球。

但如果你关注大模型的工程实现，真正值得深挖的不是跑分，而是一个更本质的问题：把参数堆到万亿级并不难，难的是训练过程中不崩、专家负载不偏、推理成本不失控。

Kimi K3 在架构层面拿出了 6 项核心技术来回答这个问题：

Kimi Delta Attention (KDA) — 新型注意力基座
Attention Residuals (AttnRes) — 跨深度选择性表征检索
Stable LatentMoE — 896 选 16 的极致稀疏 MoE
Quantile Balancing — 基于分位数的专家均衡
Per-Head Muon — 逐头独立优化器
SiTU + Gated MLA — 激活控制与注意力选择性

本文逐一拆解这 6 项技术，看它们如何共同支撑起一个稳定的 3T 级训练流程。

一、注意力机制重构：KDA 与 AttnRes

1.1 Kimi Delta Attention (KDA)

KDA 是 K3 架构的注意力基座，官方将其定位为「高效 scaling 注意力的基础」。传统 Transformer 的注意力机制在超长上下文（100 万 token）下面临双重挑战：计算量随序列长度平方增长，KV cache 内存开销线性膨胀。

KDA 的设计目标是提供一种计算和内存都更高效的注意力变体，作为万亿参数规模下的基础组件。值得注意的是，KDA 在设计之初就考虑了与前缀缓存（prefix caching）的兼容性——这一点在后面的推理部署部分会再次涉及，因为 K3 团队已经将 KDA 的前缀缓存实现贡献给了 vLLM 社区。

关于 KDA 的精确数学形式（如是否采用线性注意力近似、delta 规则的具体定义），官方博客未展开，需要等待技术报告。

1.2 Attention Residuals (AttnRes)

如果说 KDA 解决的是序列长度方向（“宽度”）的效率问题，那么 Attention Residuals 解决的是模型深度方向（层间）的效率问题。

标准 Transformer 中，每一层的输出通过残差连接与输入相加：x_{l+1} = x_l + f_l(x_l)。这种全量累加意味着信息在所有层之间无差别地传递——无论浅层学到的基础特征是否在深层仍然需要，深层都得"背着"这些信息继续往前走。

AttnRes 的核心思想是选择性检索：不是无差别地把所有历史信息累加进来，而是让深层根据当前需要，选择性地从浅层表征中检索有用的部分。这类似于一个注意力机制，但作用域不是 token 之间，而是层与层之间。

打个比方：标准残差连接像是"每层都把所有行李背在身上"，越深的层负担越重；AttnRes 则是"需要的时候去对应的柜子里取"，深层只携带当前任务真正需要的信息。

这种设计在深层网络中尤为重要。当模型层数随参数量增长时，信息在层间的冗余传递会带来梯度消散和表征退化问题，AttnRes 通过选择性机制缓解了这一痛点。

下图是 Kimi K3 官方发布的架构总览图，展示了这六项技术如何组合在一起：

图源：Kimi K3 官方博客（kimi.com/blog/kimi-k3）。图中左侧两个面板分别展开了 Stable LatentMoE 和 KDA 的内部结构；右侧主干展示了 Block Attention Residuals 骨干——每一层由 KDA / Gated MLA / Stable LatentMoE 组成，层间通过 α 节点（AttnRes 操作）选择性传递信息，而非全量残差累加。

小结

KDA 和 AttnRes 构成了一组正交互补的设计：

维度	技术	解决的问题
序列长度（宽度）	KDA	长上下文的计算/内存效率
模型深度（深度）	AttnRes	层间信息冗余传递

二、极致稀疏的 MoE：Stable LatentMoE

Kimi K3 的 MoE 配置是 896 个专家，每次激活 16 个，稀疏比达到 56:1。

这个数字有多极端？对比一下：

模型	专家总数	激活专家数	稀疏比
DeepSeek-V3	256	8	32:1
Kimi K2	384	8	48:1
Kimi K3	896	16	56:1

注：DeepSeek-V3 与 Kimi K2 数据来自各自官方技术报告/模型卡，供横向参考。K3 数据来自 K3 官方博客。

更高的稀疏比意味着在相同激活参数量下，模型拥有更大的知识容量（总参数更多），但每次推理只动用一小部分——这就是 MoE 的核心优势。然而，稀疏比越高，两个工程难题就越尖锐：

路由稳定性：896 个专家中选 16 个，路由器需要在海量选项中做出一致的决策，训练初期很容易震荡。
负载均衡：如果某些专家总是被选中而其他专家闲置，就造成算力浪费；更严重的是，在专家并行（Expert Parallelism）部署时，负载不均直接导致 GPU 空转。

“Stable LatentMoE” 这个名字中的两个修饰词暗示了对应的解法：

Latent：路由决策可能不是直接在 token embedding 空间进行，而是在隐空间（latent space）中完成，从而获得更平滑的路由信号。
Stable：在 56:1 的稀疏度下保持训练稳定，依赖于后续几项配套技术——Quantile Balancing 和 Per-Head Muon。

K3 官方称，配合训练和数据配方的改进，这些结构变化相比 K2 带来了约 2.5 倍的整体 scaling 效率提升。需要说明的是，官方原文的表述是"convert compute into intelligence more effectively"，即每单位算力能转化为更多的智能——换言之，达到同等能力水平所需的算力显著降低（粗略理解为"同等能力下算力约 ÷ 2.5"，或"同等算力下能力约 × 2.5"）。注意这是官方自报的宏观口径，精确的测量定义有待技术报告披露。

三、专家均衡的新解法：Quantile Balancing

背景痛点

专家负载不均衡是 MoE 训练的经典难题。主流的解决方案是引入辅助损失（auxiliary loss）：给"热门"专家施加惩罚，鼓励路由器更均匀地分配 token。这个方法有效，但有一个臭名昭著的副作用——balancing 超参数极度敏感。

不同的模型规模、不同的训练阶段，最优的 loss 权重各不相同。调大了，好的专家被压制，模型能力下降；调小了均衡无效，部分专家饿死。在实践中，这个超参往往是 MoE 训练中最难调的旋钮之一。

K3 的做法

K3 的 Quantile Balancing 采取了完全不同的思路：

直接从 router score 的分位数（quantile）推导专家分配，消除启发式更新和敏感的 balancing 超参数。

传统方法看的是 router 给每个专家打的绝对分数，然后通过 loss 去调整这些分数的分布。Quantile Balancing 不看绝对分数，而是看相对排名。

直觉上可以这样理解：假设 router 对 896 个专家各打了一个分数，Quantile Balancing 会把这些分数排序，然后根据分位数（如前 1.8% 的分位阈值，对应 16/896）来确定哪些专家被激活。因为分位数天然适应不同专家之间分数尺度的差异——不管某个专家的绝对分数是 0.9 还是 0.09，只要它排在前面就会被选中。

这种做法的好处：

无需调超参：不再需要一个手工设定的 balancing loss 权重
自适应：分位数天然随训练过程变化，不需要退火策略
大规模友好：在 896 个专家的大规模 EP（Expert Parallelism）下依然有效

四、优化器进化：Per-Head Muon

先说 Muon 是什么

Muon 是 2024 年由 Keller Jordan 等人推动走红的优化器，核心创新是对权重矩阵的梯度做 Newton-Schulz 迭代正交化。不过，对梯度/权重矩阵做正交化以改善优化的思想并非 Muon 首创——更早的 RightMatrix 等工作就探索过类似思路，Muon 的贡献在于将其工程化为一个通用、可大规模训练的优化器。简单来说，标准优化器（Adam、AdamW）直接用梯度更新权重，而 Muon 先把梯度投影到一个更"正交"的方向上再更新。

效果是在小至中规模模型上显著加速收敛。Moonshot 自己在 K2 时期就已经采用了 Muon 优化器。

Per-Head 的改进

标准 Muon 对一个权重矩阵做统一的正交化处理。但注意力层的权重矩阵实际上是由多个 head 拼接而成的，而不同 head 学到的模式差异很大：

有的 head 关注局部依赖（邻近 token 的句法关系）
有的 head 关注长程依赖（段落级的语义关联）
有的 head 负责位置信息编码

如果对这些 head 统一施加相同的正交化处理，可能对某些 head 过于激进，对另一些又不够。Per-Head Muon 的改进是对每个 attention head 独立执行优化，让每个 head 获得最适合自己的更新策略。

在 3T 规模下，这个改进的意义不仅是收敛速度。大模型训练一次的成本极高（以百万美元计），优化器效率的每一点提升，都意味着用更少的算力和时间达到同样的效果。K3 官方将 Per-Head Muon 列为前述 2.5 倍 scaling 效率提升的关键因素之一。

五、激活与注意力控制：SiTU 与 Gated MLA

5.1 SiTU (Sigmoid Tanh Unit)

SiTU 是 K3 采用的新型激活函数，结合了 sigmoid 和 tanh 的特性。它的定位是替代 GELU、SwiGLU 等主流激活函数，改善激活值的分布控制。

在万亿参数规模下，激活函数的选择看似微小，实则影响巨大。不良的激活值分布会导致梯度传播不稳定，尤其在深层网络中。SiTU 的具体数学形式有待技术报告披露，但其设计目标是明确的：在极端规模下提供更受控的激活行为。

5.2 Gated MLA

MLA（Multi-head Latent Attention）是 DeepSeek 提出的注意力变体，核心是将 KV cache 压缩到隐空间中——用一个低秩的隐向量来表示原本需要大量内存的 Key 和 Value，在推理时再解压还原。

Gated MLA 在此基础上引入了门控（gate）机制。门控的作用是让模型学会"什么时候该注意、什么时候该忽略"，提升注意力的选择性。这在 100 万 token 的上下文中尤为重要：面对海量输入，模型需要高效地忽略无关信息，而非对所有内容分配等量的注意力资源。

MLA 的 KV 压缩 + 门控的选择性 = 推理时显著更省显存，这对于部署成本至关重要。

六、训练与部署工程

6.1 量化感知训练（QAT）

K3 从 SFT 阶段起就引入了量化感知训练：MXFP4 权重 + MXFP8 激活。

这里需要区分两种量化策略：

训练后量化（PTQ）：模型训练完成后，再把权重/激活压到低精度。简单但可能掉精度。
量化感知训练（QAT）：在训练过程中就让模型"感受"到量化带来的噪声，模型参数在训练时就适应了低精度表示。

K3 选择 QAT 的好处是推理时直接使用 MXFP4/MXFP8，无需额外转换步骤，同时保持了模型质量。MXFP4（Microscaling FP4）是 OCP 制定的新兴低精度格式，相比传统 INT4 有更好的数值动态范围，硬件兼容性也在快速扩展。

6.2 全平衡专家并行

在大规模 EP（Expert Parallelism）部署下，896 个专家分布在多张 GPU 上。如果某些 GPU 上的专家总是被频繁调用而另一些空闲，就会造成整体吞吐瓶颈。

K3 的方案是全平衡的专家并行训练，两个关键设计：

静态 shape：所有计算图的形状在编译时就确定，避免运行时动态分配带来的开销
关键路径无 host 同步：传统方案中，负载均衡调度通常需要在 CPU（host）端进行决策，然后同步给 GPU，这个 host↔GPU 同步是性能杀手。K3 把均衡逻辑完全做到 GPU 侧，消除了同步等待

6.3 推理部署：supernode + Mooncake + vLLM

K3 的推理部署方案是一个完整的系统工程：

硬件层面——推荐 supernode 配置，即 64 张以上加速器组成的高带宽通信域。大规模 MoE 推理对 all-to-all 通信带宽极度敏感，supernode 架构通过 NVLink/高速互联将通信延迟降到最低。

缓存层面——KDA 的前缀缓存实现已贡献给 vLLM 社区。前缀缓存是降低推理成本的利器：对于编码场景，大量请求共享相同的系统提示和代码上下文，缓存这些前缀可以避免重复计算。

架构层面——基于 Mooncake 的分离式推理架构（disaggregated inference），将 prefill（首 token 计算）和 decode（续写）分配到不同的计算资源上，各自独立扩缩容。

实战效果：在编码工作负载中，官方 API 的缓存命中率超过 90%。这直接反映在定价上：

计费类型	价格
缓存命中输入	$0.30 / MTok
缓存未命中输入	$3.00 / MTok
输出	$15.00 / MTok

缓存命中的输入价格仅为未命中的十分之一。对于高频编码场景（如 IDE 插件、代码 agent），绝大部分输入都会命中缓存，实际使用成本可以压到非常低。

结语：K3 架构给行业带来了什么信号

回顾 Kimi K3 的 6 项架构创新，可以提炼出三个值得行业关注的趋势：

信号一：万亿级 MoE 的训练稳定性问题，正在被系统性地解决。

过去，把 MoE 推到万亿规模最大的障碍不是算力，而是训练过程中各种不稳定——路由震荡、专家失衡、梯度异常。K3 的做法是针对每个环节给出专门的解法：KDA/AttnRes 稳住信息流，Quantile Balancing 稳住路由，Per-Head Muon 稳住优化，QAT 稳住精度。这不是某一项技术的一招鲜，而是一套系统工程。

信号二：优化器和路由均衡这两个方向正在快速成熟。

Muon 系列优化器从 2024 年提出到 2026 年被用于 3T 级模型，只用了不到两年。Quantile Balancing 则直接替代了 MoE 训练中最让人头疼的 balancing 超参。这两个方向的成熟速度意味着，它们很可能成为下一代大模型训练的标配。

信号三：开源模型正在以「架构效率」缩小与闭源的差距。

K3 的总参数是 2.8T，但激活参数量远小于此。真正的竞争力不来自参数总量，而来自每一单位算力能转化为多少智能——K3 称相比 K2 提升了约 2.5 倍（前文已说明口径）。当开源模型在架构效率上逼近甚至局部超越闭源模型时，开源与闭源的差距将以新的方式被重新定义。

最后提醒：本文的分析基于官方博客的公开信息。K3 的完整技术报告将随模型权重一同发布，届时我们会对架构细节做更精确的验证和补充。

本文基于 Kimi K3 官方技术博客（https://www.kimi.com/blog/kimi-k3）撰写。