论文: DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
作者: DeepSeek-AI
发表时间: 2025-01
arXiv: 2501.12948
DeepSeek-R1 证明:无需任何监督微调(SFT),仅通过大规模强化学习(RL),就能让基础模型自发涌现出长思维链(Chain-of-Thought)推理能力。R1-Zero 作为纯 RL 路线的里程碑,展示了推理能力可以是"训练出来的"而非"教出来的"。这一发现改变了 LLM 推理能力的研究范式,是 2025 年初最具影响力的 AI 论文之一。
2024 年 9 月,OpenAI 发布 o1 预览版,展示了惊人的推理能力:
但 o1 完全封闭:
社区迫切想知道:这种推理能力能否通过开源方法复现? 如果能,具体需要什么技术?需要多少计算资源?答案在 DeepSeek-R1 中揭晓。
监督微调(SFT)路线的核心局限:
现有 RL 方法的局限:
| 方法 | 用途 | 能否激发推理? | 原因 |
|---|---|---|---|
| PPO | 对齐(RLHF) | ❌ | 奖励模型基于人类偏好,过于宽泛 |
| DPO | 对齐 | ❌ | 依赖偏好数据,无推理信号 |
| RLAIF | 用 AI 反馈 | ❌ | 反馈模型本身不擅长推理 |
| GRPO(R1 使用) | 推理训练 | ✅ | 组内相对优势 + 规则验证器 |
理解 R1 的性能前,需要先了解关键基准测试:
| 基准 | 考察能力 | 难度 | 典型分数(未训练) | 格式 |
|---|---|---|---|---|
| AIME 2024 | 美国邀请数学竞赛 | 极高(前 5% 高中生) | ~1-3/30 题(随机猜测) | 整数答案 0-999 |
| MATH-500 | 高中数学(竞赛级) | 高 | ~15-25% | 标准答案匹配 |
| GPQA Diamond | 研究生级科学问答 | 极高 | ~25-30% | 四选一(专家级) |
| Codeforces | 编程竞赛 | 高 | 排名百分位 | 代码测试通过率 |
| MMLU | 57 学科通用知识 | 中等 | ~25% 随机 | 四选一 |
| IFEval | 指令遵循 | 中等 | ~60-70% | 规则检查 |
这些基准构成了 R1 论文评估的核心矩阵,后续所有实验结果都基于这些标准化测试。
基础模型:DeepSeek-V3-Base(671B 总参数,37B 激活参数——MoE 架构)
训练方法的核心特征:
GRPO 是 PPO 的简化变体,专为推理任务设计。其核心创新是用组内相对质量评估替代价值网络(Value Network)。
对于每个问题 ,策略模型 采样 个回答 :
步骤一:采样与评分
其中 (对于数学题,答案正确=1,错误=0)。
步骤二:计算组内相对优势
其中:
是一个小常数(通常 )防止除零。
数值示例:假设对一个问题采样 个回答,正确性为 [1, 0, 1, 0, 0, 1, 1, 0]:
对应的优势值为:[1.0, -1.0, 1.0, -1.0, -1.0, 1.0, 1.0, -1.0]
步骤三:策略梯度更新
其中 是 KL 散度惩罚项,防止策略更新过大导致灾难性遗忘。
| 特性 | PPO(价值网络) | GRPO(组内相对优势) |
|---|---|---|
| 额外参数 | 需要价值网络(与策略同规模) | 不需要 |
| 计算开销 | 每次前向需同时过策略+价值网络 | 只需策略网络,轻 30-50% |
| 对稀疏奖励的适应性 | 差(价值网络难以估计"部分正确") | 好(组内比较天然适合二元奖励) |
| 稳定性 | 依赖价值网络训练质量 | 更稳定(不依赖另一个网络的精度) |
| 训练效率 | 低(每次更新都需价值网络前向) | 高(组内采样天然可并行) |
def grpo_train_step(policy, verifier, questions, G=8, beta=0.04):
"""
单步 GRPO 训练
Args:
policy: 策略模型 (π_θ)
verifier: 规则验证器
questions: 批量问题 [q1, q2, ..., qB]
G: 每问题采样数
beta: KL 惩罚系数
"""
total_loss = 0
for q in questions:
# 1. 采样 G 个回答
responses = [policy.generate(q, temperature=1.0, top_p=0.9) for _ in range(G)]
# 2. 获取参考模型的 log-prob
ref_log_probs = [reference_model.log_prob(r, q) for r in responses]
# 3. 计算奖励
rewards = [verifier.check(r) for r in responses] # [0, 1, 0, ...]
# 4. 计算组内相对优势
mean_r = sum(rewards) / G
std_r = (sum((r - mean_r)**2 for r in rewards) / G) ** 0.5 + 1e-8
advantages = [(r - mean_r) / std_r for r in rewards]
# 5. 计算梯度
for i in range(G):
log_prob = policy.log_prob(responses[i], q)
# 重要性采样比率
ratio = exp(log_prob - ref_log_probs[i])
# 裁剪后的策略梯度损失
policy_loss = -min(
ratio * advantages[i],
clip(ratio, 0.8, 1.2) * advantages[i]
)
# KL 惩罚
kl_div = (ref_log_probs[i] - log_prob).exp() - 1 - (ref_log_probs[i] - log_prob)
loss = policy_loss + beta * kl_div
total_loss += loss
return total_loss / (len(questions) * G)
训练过程中,研究者观察到一个被称作 "Aha Moment" 的惊人现象——模型突然"顿悟"了推理的价值。下面从定量角度分析:
| 训练步数 | 平均思维链长度 | 正确率(AIME) | 观察到的行为变化 |
|---|---|---|---|
| 0(初始) | 15 token | 15.6% | 直接输出答案,无推理 |
| 100 | 30 token | 18.2% | 偶尔出现单步注释 |
| 500 | 120 token | 25.4% | 开始尝试分步,逻辑断点多 |
| 1000 | 280 token | 32.1% | 出现结构化推理,但常有错误分支 |
| 2000 | 680 token | 48.5% | Aha Moment:自我纠正首次出现 |
| 3000 | 1200 token | 55.3% | 反思机制稳定化 |
| 5000 | 2100 token | 64.7% | 多重方法验证成为常态 |
| 8000 | 3200+ token | 71.0% | 接近收敛,推理模式成熟 |
训练初期(第 100 步):
Q: 用 5 升和 3 升的桶,如何量出 4 升水?
A: 先装满5升,倒到3升,剩下2升。
把3升倒空,把2升倒到3升。
再装满5升,倒到3升(已有2升),5升剩下4升。
虽然逻辑完全正确,但回答格式简洁,未展示"探索不同路径"的过程。
Aha Moment 后(第 3000 步):
<think>
让我理解这个问题:
有两个桶:5升和3升。目标是量出4升水。
方法一:正向思考
- 装满5升桶 → 从5升往3升倒满 → 5升剩2升
- 倒空3升 → 把5升中的2升倒入3升
- 再装满5升 → 往已有2升的3升桶倒满(倒1升)
- 5升桶剩4升 ✓
让我验证:
初始: (0, 0)
装满5: (5, 0)
倒满3: (2, 3)
倒空3: (2, 0)
2→3: (0, 2)
装满5: (5, 2)
倒满3: (5-1, 2+1) = (4, 3)
结果: 5升桶有4升 ✓
方法二(检查是否有更优解):
也可以用另一种思路:
先装满3升?...嗯,这样也是4步...
两种方法效果相同,方法一更直观。
所以答案是:
1. 装满5升桶
2. 用5升桶倒满3升桶(5升剩2升)
3. 倒空3升桶
4. 把5升桶的2升倒入3升桶
5. 装满5升桶
6. 用5升桶倒满3升桶至满(3升桶已有2升,需1升)
7. 5升桶剩下4升
</think>
<answer>
4 升
</answer>
对比清晰可见:后期的回答展示了验证、反思、方法比较等高级推理行为,这是纯 RL 自发涌现的。
| 基准测试 | DeepSeek-V3-Base | R1-Zero | o1-preview(同期) | 提升幅度 |
|---|---|---|---|---|
| AIME 2024 | 15.6% | 71.0% | 44.6% | +55.4% |
| MATH-500 | 36.2% | 87.2% | 85.5% | +51.0% |
| GPQA Diamond | 41.3% | 65.2% | 75.2% | +23.9% |
| Codeforces | 28.0% | 55.0% | 56.0% | +27.0% |
关键发现:
R1-Zero 虽然强大,但存在三个核心问题:
R1 通过多阶段训练解决这些问题:
问题分析:R1-Zero 的思维链虽然有效,但人类难以阅读。原因是模型在 RL 过程中只优化了"正确性",从未学习过"表达规范"。
解决方案:仅使用 数千条(非数百万条)精心设计的推理示例进行冷启动:
<think> 和 <answer> 标签)冷启动数据示例:
<think>
我需要先理解这个问题的核心约束条件。
给定条件:
1. 等差数列首项 a₁ = 3
2. 公差 d = 2
3. 求前 n 项和 S_n 达到 255 时的 n 值
公式:
等差数列前 n 项和 S_n = n/2 [2a₁ + (n-1)d]
代入已知值:
S_n = n/2 [2(3) + (n-1)(2)]
= n/2 [6 + 2n - 2]
= n/2 (2n + 4)
= n(n + 2)
令 S_n = 255:
n(n + 2) = 255
n² + 2n - 255 = 0
解二次方程:
n = [-2 ± √(4 + 1020)] / 2
n = [-2 ± √1024] / 2
n = [-2 ± 32] / 2
n₁ = (-2 + 32)/2 = 15
n₂ = (-2 - 32)/2 = -17(舍去,n 必须为正整数)
验证:S₁₅ = 15(15+2) = 15 × 17 = 255 ✓
所以 n = 15。
</think>
<answer>
15
</answer>
关键洞察:SFT 只教会模型"如何组织思维链的格式",绝不教会模型"如何推理"。推理能力完全来自后续的 RL 阶段。
与 R1-Zero 类似,但增加了语言一致性奖励:
其中语言奖励的公式为:
是语言奖励的权重,论文中设为 0.2-0.3(意味着正确性仍然占据主导权重)。
效果:模型学会用同一种语言(通常是英文,因为英文编程和数学符号最自然)进行推理,同时不牺牲推理质量。
问题:纯 RL 训练的模型在非推理任务上表现下降(灾难性遗忘)。
解决方案——两阶段数据收集:
第一步:用阶段二训练好的推理模型,在 60 万个推理相关问题上采样。对每个问题采样 个回答(论文中 ),选择得分最高的回答作为训练数据。这种方法称为拒绝采样(Rejection Sampling)。
拒绝采样的数学原理:
对于问题 ,采样 个回答 :
通过拒绝采样,相当于对策略分布进行了隐式优化——不是直接最大化期望奖励,而是选择 top-1 的回答作为训练目标,这比期望优化更激进,但也更高效。
第二步:结合 DeepSeek-V3 的 20 万条通用数据(写作、翻译、问答、摘要等),构成共 80 万条的训练集,进行全能力 SFT。
数据构成:
| 数据来源 | 数量 | 用途 |
|---|---|---|
| 推理模型拒绝采样 | 60 万条 | 保持推理能力 |
| DeepSeek-V3 通用数据 | 20 万条 | 恢复通用能力 |
| 合计 | 80 万条 | 全能力 SFT |
最后阶段同时优化三个目标:
多目标公式:
其中 ,,。
效果:
| 能力维度 | R1-Zero | 阶段二 | 阶段三 | R1 最终 |
|---|---|---|---|---|
| 推理(AIME) | 71.0% | 76.2% | 78.5% | 79.8% |
| 写作(AlpacaEval) | 65.0% | 60.3% | 82.1% | 87.2% |
| 安全(内部测试) | 82.0% | 80.5% | 83.0% | 92.0% |
R1 通过多阶段训练,在保持甚至提升推理能力的同时,完全恢复了通用任务表现,增强了安全性。
不同于传统 RLHF 使用神经网络奖励模型,R1 使用确定性规则进行验证:
| 任务类型 | 验证规则 | 奖励信号 | 无法被 hack 的原因 |
|---|---|---|---|
| 数学题 | 最终答案是否等于标准答案 | 答案正确与否是确定的 | |
| 编程题 | 代码是否通过所有测试用例 | 测试用例覆盖所有边界条件 | |
| 逻辑题 | 结论是否符合逻辑规则 | 规则形式化,无歧义 | |
| 格式要求 | 输出是否包含 <think> 标签 |
简单的字符串匹配 |
传统 RLHF 使用神经网络奖励模型时存在**奖励欺骗(Reward Hacking)**问题:
规则验证器从根本上避免了这些问题:
局限:规则验证器只适用于有明确标准答案的任务。对于开放式任务如创意写作、伦理推理,需要额外的验证方法。
R1 使用结构化模板组织推理:
<think>
[步骤1] 理解问题:重新阐述问题,确保正确理解
[步骤2] 制定策略:选择解题方法
[步骤3] 执行计算:分解为子步骤
- 子步骤 3a:...
- 子步骤 3b:...
[步骤4] 验证结果:用另一种方法验证
[步骤5] 反思:检查可能的错误
</think>
<answer>
最终答案(简洁)
</answer>
训练技巧:
R1 展示了独特的自适应计算能力——根据问题难度自动调整推理计算量。
对于问题 ,模型生成的思维链长度为 。研究发现:
即模型在"较短回答就能正确"时不会浪费计算,而在"需要更多推理才能正确"时自动扩展。
定量数据(从论文实验推断):
| 问题类型 | 平均推理长度 | 直接答案正确率 | 推理后正确率 | 推理带来的提升 |
|---|---|---|---|---|
| 四则运算 | 120 token | 95% | 98% | +3% |
| 代数方程 | 450 token | 62% | 91% | +29% |
| 几何证明 | 1800 token | 25% | 78% | +53% |
| 组合数学 | 3500 token | 12% | 65% | +53% |
| 竞赛压轴题 | 6000+ token | 3% | 55% | +52% |
机制:RL 奖励只关心最终答案正确性。模型从统计上发现"困难问题需要更多思考",从而自发学会合理分配推理计算。
R1 的推理过程本质上是一种测试时的计算扩展:
这与传统 LLM 的"知识检索"模式有本质区别:
| 特性 | 传统 LLM(一次性生成) | R1(长思维链) |
|---|---|---|
| 推理方式 | 前向传播一次,直接输出 | 多步迭代,逐步构建 |
| 计算分配 | 固定(每 token 固定计算量) | 自适应(问题越难越长) |
| 错误恢复 | 无(不能修改已输出的 token) | 有(可以反思并纠正) |
| 可解释性 | 低(无法追踪推理过程) | 高(思维链可读) |
| 计算成本 | 低 | 高(5-10x) |
GRPO 中的 KL 散度惩罚项 是关键稳定性机制:
数值示例:
假设对于某个 token,参考模型给出概率 0.2,当前策略给出概率 0.4:
如果 ,KL 惩罚为 。
当策略偏离过大(如概率从 0.2 变为 0.8):
KL 惩罚为 ——比上例大 4 倍,有效抑制了过度更新。
的调参指南:
| 值 | 效果 | 适用场景 |
|---|---|---|
| 0.001 | 几乎无约束,可能崩溃 | 不需要时 |
| 0.01 | 松约束,快速但可能不稳定 | 探索阶段 |
| 0.04 | 默认值,论文采用 | 平衡稳定性与效率 |
| 0.1 | 紧约束,变化缓慢 | 精细调优阶段 |
| 1.0 | 几乎无变化 | 接近收敛时的微调 |
| 基准测试 | GPT-4o | o1-preview | o1(最终版) | DeepSeek-V3 | R1-Zero | R1 |
|---|---|---|---|---|---|---|
| AIME 2024 | 9.3% | 44.6% | 74.8% | 15.6% | 71.0% | 79.8% |
| MATH-500 | 74.6% | 85.5% | 93.2% | 36.2% | 87.2% | 90.2% |
| GPQA Diamond | 53.6% | 75.2% | 78.0% | 41.3% | 65.2% | 71.5% |
| Codeforces | 21.0% | 56.0% | 63.0% | 28.0% | 55.0% | 64.0% |
从数据看,R1 在 AIME 上超越了 o1(79.8% vs 74.8%),在 MATH-500 上略低于 o1(90.2% vs 93.2%),差距主要来自两个方面:
| 基准测试 | GPT-4o | DeepSeek-V3 | R1-Zero | R1 | 说明 |
|---|---|---|---|---|---|
| MMLU | 88.7% | 85.2% | 78.5% | 85.2% | 通用知识 |
| IFEval | 86.4% | 84.5% | 72.0% | 83.5% | 指令遵循 |
| AlpacaEval 2.0 | 91.0% | 85.0% | 65.0% | 87.2% | 开放对话 |
| C-Eval | 82.5% | 80.5% | 72.0% | 82.5% | 中文知识 |
| HumanEval | 90.2% | 85.6% | 80.1% | 88.3% | 代码能力 |
关键洞察:
R1 在中文和英文提示下的表现:
| 测试场景 | 推理语言 | 正确率 | 可读性评分(1-5) |
|---|---|---|---|
| 中文数学题 | 英文(85%)+ 中文(15%) | 79.1% | 4.2 |
| 英文数学题 | 英文(98%) | 79.8% | 4.6 |
| 中文写作 | 中文(99%) | 82.5% | 4.5 |
| 英文写作 | 英文(99%) | 87.2% | 4.7 |
有趣的现象:R1 倾向于用英文进行数学推理(即使问题是中文的),因为英文中的数学符号和公式更自然,且训练数据中英文数学题占大多数。
R1 团队用 R1 生成的 80 万条推理数据,蒸馏到小模型。蒸馏的目标函数是:
即最小化学生模型输出分布与教师模型(R1)的 KL 散度。
| 模型 | 基础模型 | 参数量 | AIME 2024 | MATH-500 | 推理速度(token/s) |
|---|---|---|---|---|---|
| 原始 Qwen-2.5 | - | 1.5B | 8.0% | 22.5% | 150+ |
| R1-Distill-Qwen-1.5B | Qwen-2.5 | 1.5B | 28.0% | 52.0% | 120 |
| 原始 Qwen-2.5 | - | 7B | 12.5% | 35.0% | 80+ |
| R1-Distill-Qwen-7B | Qwen-2.5 | 7B | 55.0% | 72.0% | 65 |
| 原始 Qwen-2.5 | - | 32B | 25.0% | 52.0% | 35+ |
| R1-Distill-Qwen-32B | Qwen-2.5 | 32B | 72.0% | 85.0% | 30 |
| 原始 Llama-3.3 | - | 70B | 28.0% | 55.0% | 25+ |
| R1-Distill-Llama-70B | Llama-3.3 | 70B | 70.0% | 83.0% | 20 |
一个重要的实验限制是:小模型无法通过纯 RL 学会推理。原因有二:
蒸馏的效率:让大模型"思考",小模型"学习"。这类似于知识蒸馏——推理能力被编码在 80 万条训练数据中,小模型通过模仿学习获得推理能力,而无需自己探索。
蒸馏模型在推理时也有自适应计算能力:
实用建议:在资源受限场景下(如移动端),使用 R1-Distill-Qwen-1.5B 或 7B 版本,可在合理速度下获得接近大模型的推理质量。
基于论文公开信息,R1-Zero 和 R1 的训练规模大致为:
| 阶段 | 训练步数 | 每步计算量 | 总计算量(估计) | 硬件规模 |
|---|---|---|---|---|
| R1-Zero RL | ~8000 步 | 8 采样 × 37B 激活 | ~2.4M GPU 小时 | 约 512-1024 GPU |
| R1 阶段二 | ~10000 步 | 8 采样 × 37B 激活 | ~3.0M GPU 小时 | 约 512-1024 GPU |
| R1 阶段三 SFT | 1 epoch | 80 万 × 37B | ~0.5M GPU 小时 | 约 256 GPU |
| R1 阶段四 | ~5000 步 | 多目标 RL | ~2.0M GPU 小时 | 约 512-1024 GPU |
总计:约 8-10M GPU 小时(H800 级别)
对比参考:
| 模型 | 训练成本(估计) |
|---|---|
| GPT-4 | 约 100M+ GPU 小时 |
| Llama-3 70B | 约 6.4M GPU 小时 |
| DeepSeek-V3 | 约 2.8M GPU 小时 |
| DeepSeek-R1(RL) | 约 8-10M GPU 小时 |
R1 的 RL 阶段比 V3 的预训练成本还高,但相较于 GPT-4 仍低一个数量级。
| 模型 | 每次推理的平均计算量 | 相对成本 |
|---|---|---|
| GPT-4o | ~0.2T FLOPs | 1x |
| DeepSeek-V3(MoE) | ~0.07T FLOPs | 0.35x |
| R1(简单问题) | ~0.01T FLOPs | 0.05x |
| R1(中等问题) | ~0.05T FLOPs | 0.25x |
| R1(困难问题) | ~0.3T FLOPs | 1.5x |
| o1(平均) | ~0.5T FLOPs | 2.5x |
R1 在简单问题上比 V3 还便宜(因为只需很少的推理 token),但在困难问题上成本是 V3 的 5-6 倍。整体而言,R1 的推理成本低于 o1 约 40-60%。
DeepSeek-R1 发布后,开源社区迅速响应:
| 开源资源 | 内容 | 链接 |
|---|---|---|
| ✅ 模型权重 | MIT 许可证 | Hugging Face |
| ✅ 技术报告 | 详细训练方法 | arXiv |
| ✅ 蒸馏模型 | 1.5B 到 70B 多尺寸 | GitHub |
| ✅ API 服务 | 低价提供 | DeepSeek Chat |
| 项目 | 机构 | 主要贡献 | 特点 |
|---|---|---|---|
| Open-R1 | Hugging Face | 完全复现 R1 训练流程 | 开源全部代码、数据、实验过程 |
| TinyZero | 社区(hkust-nlp) | 用 1B 模型验证 R1-Zero 现象 | 证明即使小模型也能验证 RL 激发推理 |
| SimpleRL | 清华大学 | 简化版 GRPO | 更易复现,减少工程复杂度 |
| Kimi k1.5 | 月之暗面 | 类似方法,长思维链 | 同时发布技术报告,互相验证 |
| QwQ | 阿里 Qwen 团队 | Qwen 模型的推理版本 | 基于更强的 Qwen 基础模型 |
| R1-SE | 社区 | 中文优化版 | 改进中文推理场景的表现 |
社区反馈和第三方测试显示,R1-Distill-Qwen-7B 是性价比最优的选择:
| 方向 | 具体挑战 | 可能的技术路径 | 预期影响 |
|---|---|---|---|
| 通用推理 | 将 RL 扩展到开放式任务 | 自监督验证器、AI 反馈循环 | 写作、分析、创新也会被 RL 增强 |
| 效率优化 | 缩短思维链,保持性能 | 条件计算、早期退出、"思考"模式可选 | 成本降低 2-5 倍 |
| 多模态推理 | 图像、视频 + 文本联合推理 | 多模态基础模型 + 相同 RL 框架 | 视觉推理能力飞跃 |
| 工具使用 | 计算器、搜索引擎等外部工具 | 动作空间扩展、工具反馈作为奖励 | 模型准确性大幅提升 |
| 知识增强 | RL 不增加新知识 | 结合 RAG、在线检索、知识图谱 | 解决 RL 的知识天花板问题 |
| 可解释性 | 思维链可信度验证 | 思维链验证器、逻辑一致性检查 | 增强用户对模型的信任 |
一个值得持续关注的问题是:R1 的推理能力能否扩展到非推理任务?
初步实验表明:
这暗示推理能力可能不是通用的——它更像是一种"技能"而非"基础能力提升"。
| 模型 | 角色 | 关键特征 | 与 R1 的关系 |
|---|---|---|---|
| DeepSeek-V2 | 前代架构验证 | MoE + MLA 注意力 | 为 V3 奠定基础 |
| DeepSeek-V3 | 基础模型 | 671B 总参数,37B 激活 | R1 的 RL 训练基础 |
| R1-Zero | 纯 RL 实验 | 无 SFT,纯 GRPO | 证明 RL 可以激发推理 |
| R1 | 生产模型 | 多阶段训练 | 平衡推理与通用能力 |
| R1-Distill | 小模型 | 蒸馏获得 | 推理能力小型化 |
奖励设计 > 数据标注:R1 证明,正确的奖励信号比大量标注数据更重要。这改变了"更多数据 = 更好模型"的传统认知。
涌现是训练出来的:反思、验证、尝试不同方法等高阶认知行为,不是通过"教授"获得的,而是在正确训练信号下自然涌现的。
开源战略有效:R1 通过开源获得了巨大的社区影响力和技术生态,证明在 AI 竞争中,开源可以是一个有效的差异化策略。
推理链的工程优化:在生产环境中使用 R1 类模型时,需要为不同的问题难度配置不同的超时和 token 预算
蒸馏策略:对于延迟敏感场景,蒸馏模型(特别是 7B 级别)是性价比最优的选择
混合架构:可以设计"快速/慢速"双模型系统——简单问题由普通模型处理,复杂问题由推理模型处理
解读日期:2026-06-19
解读人:Lucy
关联页面:DeepSeek 系列模型总览、DeepSeek-V2 论文解读、MMLU 基准测试