DeepSeek-V3 技术报告-学习

对于前馈网络 （FFN），DeepSeek-V3 采用 DeepSeekMoE 架构（Dai 等人，2024). 与 GShard 等传统 MoE 架构相比（Lepikhin 等人，2021)中，DeepSeekMoE 使用更细粒度的专家，并将一些专家隔离为共享专家。 让𝐮t表示t-th token，我们计算 FFN 输出𝐡t′如下：

where Ns and Nr denote the numbers of shared experts and routed experts, respectively; FFNi(s)⁡(⋅) and FFNi(r)⁡(⋅) denote the i-th shared expert and the i-th routed expert, respectively; Kr denotes the number of activated routed experts; gi,t is the gating value for the i-th expert; si,t is the token-to-expert affinity; 𝐞i is the centroid vector of the i-th routed expert; and Topk⁡(⋅,K) denotes the set comprising K highest scores among the affinity scores calculated for the t-th token and all routed experts. Slightly different from DeepSeek-V2, DeepSeek-V3 uses the sigmoid function to compute the affinity scores, and applies a normalization among all selected affinity scores to produce the gating values.

辅助无损负载均衡。

请注意，bias 项仅用于 routing。 门控值（将与 FFN 输出相乘）仍来自原始亲和力分数s我,t. 在训练期间，我们会持续监控每个训练步骤的整个批次的专家负载。 在每个步骤结束时，我们将把偏差项减少γ如果其对应的 EA 超载，则将其增加γ如果其对应的 EA 系统负载不足，则其中γ是一个称为 bias update speed 的超参数。 通过动态调整，DeepSeek-V3 在训练过程中保持平衡的专家负载，并取得了比通过纯辅助损失鼓励负载均衡的模型更好的性能。

虽然 DeepSeek-V3 主要依靠辅助无损失策略进行负载均衡，但为了防止任何单个序列内的极端不平衡，我们还采用了互补序列平衡损失：

其中 balance factorα是一个超参数，对于 DeepSeek-V3，它将被分配一个非常小的值;1⁢(⋅)表示指标功能; 和T表示序列中的标记数。 序列平衡损失鼓励每个序列上的 EA 负载保持平衡。

与 DeepSeek-V2 使用的设备限制路由一样，DeepSeek-V3 也使用限制路由机制来限制训练期间的通信成本。 简而言之，我们确保每个 Token 最多会被发送到M节点，根据最高KrM分布在每个节点上的专家的亲和力分数。 在此约束下，我们的 MoE 训练框架几乎可以实现完全的计算-通信重叠。

由于有效的负载均衡策略，DeepSeek-V3 在全程训练期间保持了良好的负载均衡。 因此，DeepSeek-V3 在训练期间不会丢弃任何标记。 此外，我们还实施了特定的部署策略来确保推理负载均衡，因此 DeepSeek-V3 在推理过程中也不会丢弃令牌。

灵感来源Gloeckle 等人 （2024)，我们调查并为 DeepSeek-V3 设置了多令牌预测 （MTP） 目标，将预测范围扩展到每个位置的多个未来令牌。 一方面，MTP 目标使训练信号致密，并可能提高数据效率。 另一方面，MTP 可能使模型能够预先规划其表示形式，以便更好地预测未来的代币。 图 3 说明了我们对 MTP 的实现。 不同于Gloeckle 等人 （2024)，它并行预测D附加代币使用独立的输出头，我们按顺序预测额外的代币，并在每个预测深度保持完整的因果链。 本节将介绍 MTP 实施的详细信息。

To be specific, our MTP implementation uses D sequential modules to predict D additional tokens. The k-th MTP module consists of a shared embedding layer Emb⁡(⋅), a shared output head OutHead⁡(⋅), a Transformer block TRMk⁡(⋅), and a projection matrix Mk∈ℝd×2⁢d. For the i-th input token ti, at the k-th prediction depth, we first combine the representation of the i-th token at the (k−1)-th depth 𝐡ik−1∈ℝd and the embedding of the (i+k)-th token E⁢m⁢b⁢(ti+k)∈ℝd with the linear projection:

where [⋅;⋅] denotes concatenation. Especially, when k=1, 𝐡ik−1 refers to the representation given by the main model. Note that for each MTP module, its embedding layer is shared with the main model. The combined 𝐡i′⁣k serves as the input of the Transformer block at the k-th depth to produce the output representation at the current depth 𝐡ik:

where T represents the input sequence length and i:j denotes the slicing operation (inclusive of both the left and right boundaries). Finally, taking 𝐡ik as the input, the shared output head will compute the probability distribution for the k-th additional prediction token Pi+1+kk∈ℝV, where V is the vocabulary size:

The output head OutHead⁡(⋅) linearly maps the representation to logits and subsequently applies the Softmax⁡(⋅) function to compute the prediction probabilities of the k-th additional token. Also, for each MTP module, its output head is shared with the main model. Our principle of maintaining the causal chain of predictions is similar to that of EAGLE (Li et al., 2024b), but its primary objective is speculative decoding (Xia et al., 2023; Leviathan et al., 2023), whereas we utilize MTP to improve training.

For each prediction depth, we compute a cross-entropy loss ℒMTPk:

where T denotes the input sequence length, ti denotes the ground-truth token at the i-th position, and Pik⁢[ti] denotes the corresponding prediction probability of ti, given by the k-th MTP module. Finally, we compute the average of the MTP losses across all depths and multiply it by a weighting factor λ to obtain the overall MTP loss ℒMTP, which serves as an additional training objective for DeepSeek-V3:

Our MTP strategy mainly aims to improve the performance of the main model, so during inference, we can directly discard the MTP modules and the main model can function independently and normally. Additionally, we can also repurpose these MTP modules for speculative decoding to further improve the generation latency.

DeepSeek-V3 在配备 2048 个 NVIDIA H800 GPU 的集群上进行训练。 H800 集群中的每个节点都包含 8 个 GPU，这些 GPU 在节点内通过 NVLink 和 NVSwitch 连接。 在不同的节点上，使用 InfiniBand （IB） 互连来促进通信。

DeepSeek-V3 的训练由 HAI-LLM 框架提供支持，这是一个由我们的工程师从头开始打造的高效轻量级训练框架。 总体而言，DeepSeek-V3 采用了 16 路管道并行 （PP）（Qi 等人，2023 年一)、64 路专家并行度 （EP）（Lepikhin 等人，2021)跨越 8 个节点，以及 ZeRO-1 数据并行性 （DP）（Rajbhandari 等人，2020).

为了促进 DeepSeek-V3 的高效训练，我们实施了细致的工程优化。 首先，我们设计了 DualPipe 算法以实现高效的管道并行性。 与现有的 PP 方法相比，DualPipe 的管道气泡更少。 更重要的是，它重叠了前向和后向流程中的计算和通信阶段，从而解决了跨节点专家并行性带来的繁重通信开销的挑战。 其次，我们开发了高效的跨节点多对多通信内核，以充分利用 IB 和 NVLink 带宽，并节省专用于通信的流式多处理器 （SM）。 最后，我们在训练过程中精心优化了内存占用，从而使我们能够在不使用昂贵的张量并行 （TP） 的情况下训练 DeepSeek-V3。

对于 DeepSeek-V3 ，跨节点专家并行性引入的通信开销导致计算与通信的比率低下，约为 1：1。 为了应对这一挑战，我们设计了一种名为 DualPipe 的创新管道并行算法，它不仅通过有效地重叠前向和后向计算通信阶段来加速模型训练，而且还减少了管道气泡。

DualPipe 的关键思想是在一对单独的前向和后向数据块中重叠计算和通信。 具体来说，我们将每个块分为四个部分：attention、all-to-all dispatch、MLP 和 all-to-all combine。 特别地，对于向后 chunk，注意力和 MLP 都进一步分为两部分，向后用于输入，向后用于权重，就像在 ZeroBubble 中一样（Qi 等人，2023b). 此外，我们还有一个 PP 通信组件。 如图 4 所示，对于一对前向和后向块，我们重新排列这些组件，并手动调整专用于通信与计算的 GPU SM 的比率。 在这种重叠策略中，我们可以确保在执行过程中可以完全隐藏 all-to-all 和 PP 通信。 鉴于高效的重叠策略，完整的 DualPipe 调度如图 5 所示。 它采用双向管道调度，同时从管道的两端馈送微批次，并且很大一部分通信可以完全重叠。 这种重叠还确保了，随着模型的进一步扩展，只要我们保持恒定的计算与通信比率，我们仍然可以跨节点聘请细粒度的专家，同时实现接近零的全对全通信开销。

此外，即使在通信负担不重的更通用的场景中，DualPipe 仍然表现出效率优势。 在表 2 中，我们总结了不同 PP 方法的管道气泡和内存使用情况。 如图所示，与 ZB1P 相比（Qi 等人，2023b)和 1F1B（Harlap 等人，2018)中，DualPipe 显著减少了管道气泡，同时仅将峰值激活内存增加1P⁢P次。 尽管 DualPipe 需要保留模型参数的两个副本，但这不会显著增加内存消耗，因为我们在训练期间使用较大的 EP 大小。 与 Chimera 相比（李和霍夫勒，2021)，DualPipe 只要求管道阶段和微批次能被 2 整除，而不要求微批次能被管道阶段整除。 此外，对于 DualPipe，气泡和激活内存都不会随着微批处理数量的增加而增加。

为了保证 DualPipe 有足够的计算性能，我们定制了高效的跨节点 all-to-all 通信内核（包括 dispatching 和 combining），以节省专用于通信的 SM 数量。 内核的实现是与 MoE 门控算法和我们集群的网络拓扑共同设计的。 具体来说，在我们的集群中，跨节点 GPU 与 IB 完全互连，节点内通信通过 NVLink 处理。 NVLink 提供 160 GB/s 的带宽，大约是 IB 的 3.2 倍 （50 GB/s）。 为了有效利用 IB 和 NVLink 的不同带宽，我们将每个代币的分发限制最多为 4 个节点，从而减少 IB 流量。 对于每个代币，当做出路由决策时，它将首先通过 IB 传输到其目标节点上具有相同节点内索引的 GPU。 一旦它到达目标节点，我们将努力确保它通过 NVLink 立即转发到托管目标专家的特定 GPU，而不会被随后到达的令牌阻止。 通过这种方式，通过 IB 和 NVLink 的通信完全重叠，每个代币可以有效地为每个节点选择平均 3.2 名专家，而不会产生 NVLink 的额外开销。 这意味着，尽管 DeepSeek-V3 在实践中只选择了 8 个路由专家，但它可以将这个数字扩展到最多 13 个专家（4 个节点×3.2 个 experts/node），同时保持相同的通信成本。 总体而言，在这样的通信策略下，只需 20 个 SM 就足以充分利用 IB 和 NVLink 的带宽。

详细来说，我们采用了 warp 专业化技术（Bauer 等人，2014)并将 20 个 SM 划分为 10 个通信信道。 在调度过程中，（1） IB 发送、（2） IB 到 NVLink 转发和 （3） NVLink 接收由相应的 warp 处理。 分配给每个通信任务的 warp 数量会根据所有 SM 的实际工作负载动态调整。 同样，在合并过程中，（1） NVLink 发送、（2） NVLink 到 IB 的转发和累积以及 （3） IB 接收和累积也由动态调整的 warp 处理。 此外，dispatching 和 combining kernel 都与计算流重叠，因此我们还考虑了它们对其他 SM 计算内核的影响。 具体来说，我们采用定制的 PTX（并行线程执行）指令并自动调整通信块大小，这大大减少了 L2 缓存的使用和对其他 SM 的干扰。

为了减少训练期间的内存占用，我们采用了以下技术。

我们在反向传播期间重新计算所有 RMSNorm 操作和 MLA 向上投影，因此无需持久存储其输出激活。 此策略的开销很小，可显著降低存储激活的内存要求。

在训练过程中，我们保留模型参数的指数移动平均线 （EMA），以便在学习率衰减后对模型性能进行早期估计。 EMA 参数存储在 CPU 内存中，并在每个训练步骤后异步更新。 这种方法允许我们维护 EMA 参数，而不会产生额外的内存或时间开销。

使用 DualPipe 策略，我们将模型最浅的层（包括嵌入层）和最深的层（包括输出头）部署在相同的 PP 等级上。 这种安排允许在 MTP 模块和主模型之间物理共享参数和梯度，共享嵌入和输出头。 这种物理共享机制进一步提高了我们的内存效率。

基于我们的混合精度 FP8 框架，我们引入了几种提高低精度训练精度的策略，重点关注量化方法和乘法过程。

在低精度训练框架中，由于 FP8 格式的动态范围有限，而 FP8 格式的动态范围受到限制，因此溢出和下溢是常见的挑战，而 FP8 格式受其减少的指数位的限制。 作为标准做法，通过将输入张量的最大绝对值缩放到 FP8 的最大可表示值，输入分布与 FP8 格式的可表示范围保持一致（Narang 等人，2017). 这种方法使低精度训练对激活异常值高度敏感，这会严重降低量化精度。 为了解决这个问题，我们提出了一种细粒度量化方法，该方法在更精细的级别上应用缩放。 如图 7 （a）、（1） 所示，对于激活，我们在 1x128 个图块的基础上（即每 128 个通道每个令牌）对元素进行分组和缩放;（2） 对于权重，我们以 128x128 块为基础（即每 128 个输出通道每 128 个输入通道）对元素进行分组和缩放。 这种方法确保量化过程可以通过根据较小的元素组调整尺度来更好地适应异常值。 在附录 B.2 中，我们进一步讨论了当我们以与权重量化相同的方式在块的基础上对激活进行分组和缩放时，训练的不稳定性。

我们方法中的一个关键修改是沿 GEMM 操作的内部维度引入每组缩放因子。 标准 FP8 GEMM 不直接支持此功能。 但是，结合我们精确的 FP32 累积策略，它可以有效地实施。

值得注意的是，我们的细粒度量化策略与微缩放格式的理念高度一致（Rouhani 等人，2023b)，而 NVIDIA 下一代 GPU（Blackwell 系列）的 Tensor Core 已宣布支持具有较小量化粒度的微缩放格式（英伟达，2024 年一). 我们希望我们的设计可以作为未来工作的参考，以跟上最新的 GPU 架构。

低精度 GEMM 操作通常存在下溢问题，其精度在很大程度上取决于高精度累积，这通常以 FP32 精度执行（Kalamkar 等人，2019;Narang 等人，2017). 然而，我们观察到 FP8 GEMM 在 NVIDIA H800 GPU 上的累积精度仅限于保留 14 位左右，这明显低于 FP32 累积精度。 当内部维度 K 较大时，此问题将变得更加明显（Wortsman 等人，2023)，这是大规模模型训练中 batch size 和 model width 增加的典型场景。 以 K = 4096 的两个随机矩阵的 GEMM 运算为例，在我们的初步测试中，Tensor Core 中的有限累积精度导致最大相对误差接近 2%。 尽管存在这些问题，但有限的累积精度仍然是一些 FP8 框架的默认选项（英伟达，2024b)，严重制约了训练精度。

为了解决这个问题，我们采用了升级到 CUDA 核心以获得更高精度的策略（Thakkar 等人，2023). 该过程如图 7 （b） 所示。 具体来说，在 Tensor Core 上执行 MMA （矩阵乘法累加）期间，使用有限的位宽累积中间结果。 一次，间隔为NC达到时，这些部分结果将被复制到 CUDA 核心上的 FP32 寄存器，在那里执行全精度 FP32 累加。 如前所述，我们的细粒度量化沿内部维度 K 应用每组比例因子。 这些缩放因子可以在 CUDA 核心上作为反量化过程有效地乘以，而额外的计算成本最小。

值得注意的是，此修改降低了单个 warpgroup 的 WGMMA （Warpgroup level Matrix Multiply-Accumulate） 指令发出率。但是，在 H800 架构上，两个 WGMMA 通常会同时存在：当一个 warpgroup 执行提升操作时，另一个 warpgroup 能够执行 MMA 操作。这种设计支持两个操作的重叠，从而保持 Tensor Core 的高利用率。 根据我们的实验，设置NC=128元素，相当于 4 个 WGMMA，表示可以显著提高精度而不会引入大量开销的最小累积区间。

与之前工作采用的混合 FP8 格式相比（英伟达，2024b;Peng 等人，2023b;Sun 等人，2019 年b)，它在 Fprop 中使用 E4M3（4 位指数和 3 位尾数），在 Dgrad 和 Wgrad 中使用 E5M2（5 位指数和 2 位尾数），我们在所有张量上采用 E4M3 格式以获得更高的精度。 我们将这种方法的可行性归因于我们的细粒度量化策略，即平铺和块级缩放。 通过对较小的元素组进行操作，我们的方法有效地在这些分组元素之间共享指数位，从而减轻了有限动态范围的影响。

延迟量化用于张量量化框架（英伟达，2024b;Peng 等人，2023b)，它维护先前迭代中最大绝对值的历史记录以推断当前值。 为了确保准确的比例并简化框架，我们在线计算每个 1x128 激活图块或 128x128 权重块的最大绝对值。 基于它，我们推导出缩放因子，然后将激活或权重在线量化为 FP8 格式。

结合我们的 FP8 训练框架，我们通过将缓存的激活和优化器状态压缩为精度较低的格式，进一步减少了内存消耗和通信开销。

我们采用 BF16 数据格式而不是 FP32 来跟踪 AdamW 中的第一和第二矩（洛什奇洛夫和胡特尔，2017)optimizer 的 Analyzer，而不会造成可观察到的性能下降。 但是，主权重（由优化器存储）和梯度（用于批量大小累积）仍保留在 FP32 中，以确保整个训练过程中的数值稳定性。

如图 6 所示，Wgrad 操作在 FP8 中执行。 为了减少内存消耗，自然选择以 FP8 格式缓存激活，以便线性运算符的向后传递。 但是，对于低成本、高精度的训练，需要特别考虑几个运算符：

（1） attention 运算符之后的 Linear 的输入。这些激活也用于 attention 运算符的向后传递，这使得它对精度很敏感。我们采用定制的 E5M6 数据格式，专门用于这些激活。此外，这些激活将在向后通道中从 1x128 量化图块转换为 128x1 图块。为避免引入额外的量化误差，所有缩放因子都是四舍五入的，即 2 的积分幂。

（2） SwiGLU 运算符在 MoE 中的输入。为了进一步降低内存成本，我们缓存 SwiGLU 运算符的输入，并在向后传递中重新计算其输出。这些激活也通过我们的细粒度量化方法存储在 FP8 中，从而在内存效率和计算准确性之间取得平衡。

通信带宽是 MoE 模型训练中的关键瓶颈。 为了缓解这一挑战，我们将 MoE 上投影之前的激活量化到 FP8 中，然后应用调度组件，这与 MoE 上投影中的 FP8 Fprop 兼容。就像 attention 运算符之后的 Linear 输入一样，此激活的比例因子是 2 的整数幂。 类似的策略应用于 MoE 下投影之前的激活梯度。 对于前向和后向组合组件，我们都将它们保留在 BF16 中，以保持训练管道关键部分的训练精度。

我们在 H800 集群上部署了 DeepSeek-V3，其中每个节点内的 GPU 都使用 NVLink 互连，并且集群中的所有 GPU 都通过 IB 完全互连。 为了同时确保在线服务的服务级别目标 （SLO） 和高吞吐量，我们采用以下部署策略来分隔预填充和解码阶段。

预填充阶段的最小部署单元由 4 个节点和 32 个 GPU 组成。 注意力部分采用 4 路张量并行 （TP4） 和序列并行 （SP），并结合 8 路数据并行 （DP8）。 它的 TP 大小很小，为 4，限制了 TP 通信的开销。 对于 MoE 部分，我们使用 32 路 Expert Parallelism （EP32），确保每个 Expert 都能处理足够大的批量，从而提高计算效率。 对于 MoE 全对多通信，我们使用与训练中相同的方法： 首先通过 IB 跨节点传输令牌，然后通过 NVLink 在节点内 GPU 之间转发。 特别是，我们对浅层中的密集 MLP 使用 1-way Tensor Parallelism 来节省 TP 通信。

为了实现 MoE 部分不同专家之间的负载均衡，我们需要确保每个 GPU 处理大致相同数量的令牌。 为此，我们引入了冗余 Expert 的部署策略，该策略复制高负载 Expert 并冗余部署它们。 根据在线部署期间收集的统计数据检测高负载专家，并定期调整（例如，每 10 分钟一次）。 在确定冗余专家集后，我们根据观察到的负载仔细地重新排列节点内 GPU 之间的专家，努力在不增加跨节点多对多通信开销的情况下，尽可能地平衡 GPU 之间的负载。 对于 DeepSeek-V3 的部署，我们为预填充阶段设置了 32 个冗余专家。 对于每个 GPU，除了它托管的原始 8 个 Expert 外，它还将托管 1 个额外的冗余 Expert。

此外，在预填充阶段，为了提高吞吐量并隐藏 all-to-all 和 TP 通信的开销，我们同时处理两个具有相似计算工作负载的微批次，将一个微批次的注意力和 MoE 与另一个微批次的调度和组合重叠。

最后，我们正在探索一种面向 expert 的动态冗余策略，其中每个 GPU 托管更多的 expert （例如，16 个 expert），但在每个推理步骤中只会激活 9 个。 在每一层的 all-to-all 操作开始之前，我们动态计算全局最优路由方案。 考虑到预填充阶段涉及的大量计算，计算此路由方案的开销几乎可以忽略不计。

在解码过程中，我们将共享 EA 视为路由 EA。 从这个角度来看，每个 Token 在路由时会选择 9 个 Expert，其中共享的 Expert被视为重载的 Expert，将永远被选中。 解码阶段的最小部署单元由 40 个节点和 320 个 GPU 组成。 注意力部分采用 TP4 和 SP，结合 DP80，而 MoE 部分使用 EP320。 对于 MoE 部分，每个 GPU 仅托管一名专家，64 个 GPU 负责托管冗余专家和共享专家。 调度和组合部件的多对多通信是通过 IB 上的直接点对点传输来实现的，以实现低延迟。 此外，我们还利用 IBGDA（英伟达，2022)技术进一步减少延迟并提高通信效率。

与预填充类似，我们会根据我们在线服务的统计专家负载，在一定时间间隔内定期确定冗余专家组。 但是，我们不需要重新排列专家，因为每个 GPU 只托管一名专家。 我们还在探索用于解码的动态冗余策略。 但是，这需要更仔细地优化计算全局最优路由方案的算法，并与 dispatch 内核进行融合以减少开销。

此外，为了提高吞吐量并隐藏 all-to-all 通信的开销，我们还在探索在解码阶段同时处理具有相似计算工作负载的两个微批次。 与预填充不同，注意力在解码阶段消耗了更多的时间。因此，我们将一个微批次的注意力与另一个微批次的 dispatch+MoE+combine 重叠。 在解码阶段，每个 EA 的 batch size 相对较小（通常在 256 个 token 以内），瓶颈是内存访问而不是计算。 由于 MoE 部分只需要加载一个 expert 的参数，因此内存访问开销很小，因此使用较少的 SM 不会对整体性能产生显著影响。 因此，为了避免影响注意力部分的计算速度，我们可以只分配一小部分 SM 给 dispatch+MoE+combine。

3.5硬件设计建议

3.5.1通信硬件

3.5.2计算硬件

在 Tensor Core 中具有更高的 FP8 GEMM 累积精度。

支持 Tile-Wise 和 Block-wise 量化。

支持在线量化。

支持转置 GEMM 操作。

我们管理我们的指令调优数据集，包括跨多个域的 1.5M 实例，每个域都采用根据其特定要求量身定制的不同数据创建方法。

对于与推理相关的数据集，包括那些专注于数学、代码竞争问题和逻辑谜题的数据集，我们利用内部 DeepSeek-R1 模型生成数据。 具体来说，虽然 R1 生成的数据表现出很强的准确性，但它存在过度思考、格式不佳和长度过长等问题。 我们的目标是平衡 R1 生成的推理数据的高精度和常规格式推理数据的清晰度和简洁性。

为了建立我们的方法，我们首先使用组合的监督微调 （SFT） 和强化学习 （RL） 训练管道，为特定领域（例如代码、数学或一般推理）开发一个量身定制的专家模型。 此专家模型用作最终模型的数据生成器。 训练过程涉及为每个实例生成两种不同类型的 SFT 样本：第一种以 <problem， original response> 格式将问题与其原始响应耦合，而第二种类型将系统提示与问题和 R1 响应<system prompt， problem， R1 response>格式的 R1 响应相结合。

系统提示经过精心设计，包括指导模型生成响应的说明，这些响应丰富了反射和验证机制。 在 RL 阶段，该模型利用高温采样生成响应，即使没有明确的系统提示，也可以整合来自 R1 生成数据和原始数据的模式。 经过数百个 RL 步骤后，中间 RL 模型学习合并 R1 模式，从而战略性地提高整体性能。

完成 RL 训练阶段后，我们实施拒绝抽样，为最终模型策划高质量的 SFT 数据，其中专家模型用作数据生成源。 这种方法可确保最终训练数据保留 DeepSeek-R1 的优势，同时产生简洁有效的响应。

对于非推理数据，例如创意写作、角色扮演和简单的问答，我们利用 DeepSeek-V2.5 生成响应，并招募人工注释者来验证数据的准确性和正确性。

我们使用 SFT 数据集对 DeepSeek-V3-Base 进行了两个 epoch 的微调，使用从5×10−6并逐渐减少到1×10−6. 在训练期间，每个序列都是从多个样本中打包的。 但是，我们采用示例掩码策略来确保这些示例保持隔离且彼此不可见。

5.2强化学习

5.2.1奖励模式

基于规则的 RM。

基于模型的 RM。

5.2.2组相对策略优化