ResNet：残差网络突破
微软研究院提出 ResNet，通过残差连接解决深度网络训练难题。
事件概述
2015年，微软研究院的何恺明、张祥雨、任少卿和孙剑提出了残差网络（ResNet）。ResNet 引入了"跳跃连接"（skip connection），让网络层学习残差映射而非直接映射，有效解决了深度神经网络的退化问题。ResNet-152 深度达到152层，以3.57%的错误率赢得 ImageNet 竞赛冠军，首次超越人类水平（约5%）。残差连接成为深度学习架构的标准组件，使网络可以轻松扩展到数百甚至上千层，深刻影响了后续的神经网络设计。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
随着 AlexNet、VGG、GoogLeNet 把网络推到 19–22 层，研究者发现一个反直觉现象：继续加深，训练误差不降反升——这不是过拟合，而是「退化问题」（优化困难）。2015 年，微软亚洲研究院的 Kaiming He（何恺明）、Xiangyu Zhang、Shaoqing Ren、Jian Sun 提出残差学习，用「跳跃连接」让网络直接学习残差，成功训练出 152 层乃至更深的网络，夺得 ILSVRC 2015 分类冠军（Top-5 错误率 3.57%），论文获 CVPR 2016 最佳论文。
核心要点
- 1何恺明等人 2015 年提出 ResNet，用残差连接解决深层网络的退化问题。
- 2核心公式 y = F(x) + x：模块只学习输入到输出的「残差」而非整映射。
- 3恒等跳跃连接让梯度可沿「捷径」直接回传，优化浅层也更简单。
- 4成功训练 152 层网络，ILSVRC 2015 以 3.57% Top-5 错误率夺冠。
- 5残差连接成为 CNN 与 Transformer 等现代架构的通用基本单元。
- 6该论文被认为是 21 世纪被引最高的研究论文之一。
原理与技术细节
ResNet 的关键是把「学习完整映射 H(x)」改为「学习残差 F(x) = H(x) − x」，再通过一条恒等跳跃连接把输入 x 直接加到模块输出上：y = F(x) + x。为何有效？若最优映射本就接近恒等，则让 F(x) 逼近 0 比让普通层逼近恒等容易得多，因此深层网络至少不会比浅层更差。跳跃连接还提供了一条「高速公路」：梯度可以几乎无损地直接回传到浅层，避免深层反向传播中的梯度衰减。模块本身仍是普通卷积/全连接堆叠，只是多了这条加法捷径。残差思想还与「恒等映射作为良好初始化」的直觉相呼应——网络只需学会「在恒等基础上做多小的修正」。ResNet 衍生出 ResNet-18/34/50/101/152 等标准深度，并成为检测、分割等任务的骨干网络。
影响与后续
ResNet 一举扫清了「深度」的优化障碍，证明网络可以做到上百甚至上千层，直接推动了更深的计算机视觉模型，并在 ILSVRC/COCO 2015 的多项任务中夺魁。残差/跳跃连接成为此后几乎所有现代架构（含 Transformer 的多头注意力与前馈子层）的标准组件，影响远超视觉。局限方面，极深网络（如 1000+ 层）边际收益递减、训练与推理成本升高；但「用恒等捷径保梯度」的原理已成为深度网络设计的常识。
学习要点
- 网络变深后变差，往往是优化问题而非表达力或拟合问题。
- 让模块学习「残差」比学习「完整映射」更容易优化。
- 恒等跳跃连接是保梯度的关键，也是现代深度架构的通用技巧。
- ResNet 证明：深度本身是强大资源，只要优化障碍被移除。
术语表
网络加深后训练误差反而上升的现象，源于优化困难而非过拟合或梯度消失。
把某层输入直接加到其后层输出的连接，使梯度可沿恒等路径回传，是残差学习的核心。