DeepSeek R1：开源推理模型
DeepSeek 发布 R1 推理模型，性能媲美 o1，并完全开源。
事件概述
2025年1月，DeepSeek 发布了 R1 推理模型。R1 是一个与 OpenAI o1 相当的推理模型，在数学、编程和推理任务上表现优异。更重要的是，DeepSeek 完全开源了 R1 模型权重和技术报告，详细介绍了如何通过强化学习训练推理能力。R1 的发布震撼了 AI 社区，证明了开源模型可以在推理能力上达到顶尖水平。它极大地降低了部署高性能推理模型的门槛，推动了 AI 技术的民主化。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
DeepSeek-R1 由深度求索（DeepSeek）于 2025 年 1 月 20 日发布（论文《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》，arXiv:2501.12948），采用 MIT 协议开源权重。背景是 OpenAI o1 已证明「推理时计算」可行却闭源。DeepSeek 的动机是用纯强化学习（尽量少依赖人工思维链标注）在开源权重上复现长链推理、自验证等行为，并证明可蒸馏到小模型。R1 基于 DeepSeek-V3（671B MoE、每 token 激活约 37B）训练，在 AIME、MATH-500、Codeforces 等基准上追平 o1，成为开源推理模型的里程碑。这家成立于 2023 年、背靠量化基金幻方量化的中国实验室，此前已发布高性价比的 DeepSeek-V3；R1 在其架构上叠加推理训练，并以约 o1 三十分之一的低价对外开放 API，迅速引发全球关注。
核心要点
- 1基于 DeepSeek-V3 基座（671B MoE、每 token 激活约 37B），并以 MIT 协议完全开源模型权重。
- 2R1-Zero 跳过 SFT、纯 GRPO 训练，自发涌现「顿悟时刻」、长思维链与自验证。
- 3R1 增加「冷启动」SFT 与多阶段 RL，修复 R1-Zero 的可读性与语言混杂问题。
- 4用 GRPO 替代 PPO：以组内奖励均值/方差作基线，省去独立价值网络、更省显存。
- 5在 AIME、MATH-500、GPQA 等权威推理基准上，R1 的关键指标（如 AIME 79.8%、MATH-500 97.3%）已全面追平 OpenAI o1。
- 6把推理行为蒸馏到 Qwen/Llama 等 1.5B—70B 稠密模型，小模型也能强推理。
原理与技术细节
R1 的训练包含两条路线。极端的 R1-Zero 直接在 V3 基座上做纯 GRPO：奖励只用可验证的规则——数学看最终答案、代码跑测试用例，外加把推理包在指定标签的格式奖励；不训练神经奖励模型以规避「奖励作弊」。结果模型在没有任何人工思维链示范下，自发学会反思、回溯，论文记录下它写下「等等，这是顿悟时刻」的自演化现象，但存在语言混杂、格式混乱。R1 因此先冷启动：用几千条精选长思维链做 SFT 稳住格式，再大规模 GRPO，接着用拒绝采样造约 60 万推理样本做第二轮 SFT，最后再混合规则与偏好奖励做通用 RL。GRPO 的巧思是不需要 PPO 的 Critic 网络，用同组多个采样的相对好坏当基线，显存更友好。
影响与后续
DeepSeek-R1 以完全开源权重与可复现细节，证明顶尖推理能力不必锁在闭源 API 后，引发全球对「开放推理模型」的跟进（如 Qwen、Llama 的思考模式）。它首次公开展示「纯 RL 即可激发推理」的证据，并确立 GRPO 与蒸馏小模型两条实用路线。局限在于长思维链带来高延迟与成本，对政治敏感内容有过滤，多模态与安全评测仍较弱；其低成本高表现也引发对训练效率与算力管制的讨论。
学习要点
- 纯强化学习（GRPO + 可验证奖励）能从零激发长链推理，不必先靠人工示范。
- 冷启动 SFT 是「可读性」与「纯 RL 探索」之间的务实折中。
- GRPO 去掉 Critic，用组内相对比较作基线，是小模型 RL 的显存友好方案。
- 把大模型推理「蒸馏」到小模型，能让强推理在消费级硬件上落地。
术语表
一种免去价值网络的强化学习算法，用同组采样的相对优劣作基线来优化策略，更省显存。
在大规模 RL 前先用少量高质量示范数据做监督微调，以稳定模型输出格式与可读性的初始化步骤。
用大模型（教师）的输出训练小模型（学生），使其继承能力；R1 把推理行为蒸馏进 1.5B—70B 稠密模型。