残差网络(Residual Network,简称 ResNet)是深度学习发展史上最具里程碑意义的架构之一。由何恺明(Kaiming He)等人在 2015 年提出的 ResNet,通过引入跳跃连接(Skip Connection / Shortcut Connection)从根本上解决了深层神经网络难以训练的问题,使得训练上百甚至上千层的网络成为可能。ResNet 在 2015 年 ILSVRC 分类任务中以 3.57% 的 Top-5 错误率夺冠,首次超越人类水平(约 5%),并直接催生了后续几乎所有深度架构中的残差连接设计。
在 ResNet 提出之前,研究者们已经认识到网络深度对性能的重要性——更深的网络能够学习更复杂的特征表示。然而,简单地堆叠更多层并不总能带来性能提升。
退化问题(Degradation Problem)是指:随着网络深度增加,训练准确率出现饱和甚至下降的现象。这与过拟合不同,因为即使在训练集上,深层网络的误差也高于浅层网络。
| 网络深度 | 训练误差 | 测试误差 | 说明 |
|---|---|---|---|
| 20 层 | 较低 | 较低 | 基础性能 |
| 56 层 | 更高 | 更高 | 出现退化 |
| 110 层 | 显著更高 | 显著更高 | 退化加剧 |
以 CIFAR-10 上的实验为例:一个 56 层的 plain 网络(无残差连接),其训练误差反而高于 20 层的 plain 网络。这一现象表明,问题不在于过拟合,而在于优化困难——深层网络难以直接通过反向传播学会恒等映射。
退化现象的根本原因可以从以下三个角度理解:
梯度衰减:在 plain 网络中,梯度需要经过逐层反向传播,每经过一个非线性激活函数(如 ReLU),梯度可能被压缩或截断。对于一个 56 层的网络,如果每层的梯度保留率约为 0.9,则传到第 1 层时梯度约为 ,几乎丧失了对浅层权重的更新能力。
优化景观崎岖:深层网络的损失函数景观(Loss Landscape)更为崎岖不平,存在大量局部极值和鞍点。随机梯度下降(SGD)在这样的景观中难以有效导航。
恒等映射的学习困难:理论上,深层网络至少不应比浅层网络差——因为多余的层只需要学习恒等映射即可。但实验表明,网络通过多个非线性层的组合来近似恒等映射非常困难。非线性变换 的输出通常不是 ,需要精确的参数设置才能使输出接近 ,这对优化算法提出了极高要求。
ResNet 的核心洞察是:与其让网络直接学习一个复杂的映射 ,不如让网络学习残差映射 ,然后通过跳跃连接将输入 与残差相加:
其中 代表要学习的残差映射(通常由 2-3 个卷积层组成)。
如果恒等映射(Identity Mapping)是最优解,那么网络只需要将残差 逼近为零即可,这比直接学习恒等映射 要容易得多。在数学上,如果最优映射接近恒等,残差项的梯度 接近零,意味着网络可以轻松维持已有表征。
假设一个网络层想要学习将输入 映射到输出 :
| 维度 | 输入 | 目标 | Plain 需要学习 | ResNet 需要学习 |
|---|---|---|---|---|
| 1 | 3.0 | 3.1 | 3.1 | 0.1 |
| 2 | -1.0 | -0.9 | -0.9 | 0.1 |
| 3 | 2.0 | 2.0 | 2.0 | 0.0 |
| 4 | 5.0 | 4.8 | 4.8 | -0.2 |
当最优映射接近恒等时(深层网络中常见),残差学习的参数变化幅度小得多,优化更加容易。即使在最优映射远离恒等的情况下,残差结构也等价于带前置输入的 plain 网络,不会降低表达能力。
将多层残差块串联,整个网络的输出可以表示为各层残差函数的和:
这意味着:
ResNet 的基本构建块有两种设计,取决于网络的深度:
BasicBlock(用于 ResNet-18/34):
两个 卷积层,每个后接批归一化(Batch Normalization)和 ReLU 激活函数。BasicBlock 结构简单、计算高效,适用于较浅的网络。
BottleneckBlock(用于 ResNet-50/101/152):
三个卷积层的结构: 降维 卷积 升维。这种 "bottleneck" 设计在保持表达力的同时大幅减少了计算量。
以 ResNet-50 的一个 BottleneckBlock 为例,假设输入通道数为 256,输出也为 256:
| 层 | 输入通道 | 输出通道 | 卷积核 | 乘法运算量 | 说明 |
|---|---|---|---|---|---|
| Conv 1×1 | 256 | 64 | 1 | 降维 4 倍 | |
| Conv 3×3 | 64 | 64 | 9 | 核心变换 | |
| Conv 1×1 | 64 | 256 | 1 | 升维 4 倍 | |
| 总计 | — | — | — | 约 217M | — |
对比不使用 bottleneck 的 plain 方案(两个 卷积,保持 256 通道):
| 层 | 乘法运算量 |
|---|---|
| Conv 3×3, 256→256 | |
| Conv 3×3, 256→256 | |
| 总计 | 约 3,692M |
Bottleneck 设计将计算量从约 37 亿次乘法降低到约 2.2 亿次,降低了 17 倍,而通过中间的 卷积仍然保留了足够的空间变换能力。
| 变体 | 构建块 | 层数分布 | 参数量 | Top-1 错误率 (ImageNet) | Top-5 错误率 (ImageNet) |
|---|---|---|---|---|---|
| ResNet-18 | BasicBlock | [2,2,2,2] | 11.7M | 30.2% | 10.92% |
| ResNet-34 | BasicBlock | [3,4,6,3] | 21.8M | 26.7% | 8.87% |
| ResNet-50 | Bottleneck | [3,4,6,3] | 25.6M | 24.0% | 7.02% |
| ResNet-101 | Bottleneck | [3,4,23,3] | 44.5M | 22.6% | 6.44% |
| ResNet-152 | Bottleneck | [3,8,36,3] | 60.2M | 21.7% | 6.05% |
层数分布格式 [conv2_x, conv3_x, conv4_x, conv5_x],每个数字表示该阶段中构建块的数量。从 ResNet-50 开始使用 Bottleneck 构建块,在参数增加有限的情况下显著提升了性能。
当残差块的输入和输出维度不同时(例如跨阶段的 stride 下采样),需要投影捷径(Projection Shortcut)来匹配维度:
其中 是一个 卷积,用于调整 的通道数和空间尺寸。实践中,投影捷径只在维度变化时使用,其他情况使用恒等捷径。
以 ResNet-50 为例,从 conv2_x 到 conv3_x 的过渡:
输入: 56×56×256 (来自 conv2_x)
↓
1×1 conv, 128 (降维) → stride 2
3×3 conv, 128
1×1 conv, 512 (升维)
↓
1×1 conv, 512, stride 2 (投影捷径)
↓
输出: 28×28×512
空间尺寸从 56×56 减半到 28×28(stride 2 下采样),通道数从 256 增加到 512。
从反向传播的角度来看,残差连接创建了一条梯度高速公路。考虑损失 对第 层输入的梯度:
其中关键项 1 确保了梯度可以直接传播到任意浅层,而不会在多层变换中衰减。这正是残差网络能够训练数百层的根本原因。
假设一个 56 层网络,从第 56 层到第 1 层的梯度传播:
| 传播层数 | Plain 网络梯度衰减(衰减率 0.9) | ResNet 梯度保留 | 影响 |
|---|---|---|---|
| 1 层 | 0.90 | 1.0 | 几乎无差异 |
| 10 层 | 0.35 | 1.0 | plain 梯度明显衰减 |
| 20 层 | 0.12 | 1.0 | plain 接近消失 |
| 50 层 | 0.005 | 1.0 | plain 梯度完全消失 |
| 100 层 | 0.00003 | ~1.0 | plain 无法训练 |
Veit 等人的研究发现,ResNet 可以被视为多个浅层网络的集成(Ensemble)。在删除某些层后,ResNet 的性能下降是平滑的,而非灾难性的(Catastrophic):
| 删除层数 | Plain 网络准确率下降 | ResNet 准确率下降 | ResNet 的行为解释 |
|---|---|---|---|
| 0 | 0% | 0% | 基准 |
| 10 | 崩溃(>50%) | ~3% | 各层独立性高 |
| 20 | 崩溃 | ~8% | 仍有有效路径 |
| 30 | 崩溃 | ~18% | 主干信息保留 |
| 全部删除 | — | ~30% | 恒等映射仍保留部分信息 |
这表明 ResNet 的各层并非紧密耦合,而是以相对独立的方式协作。将 ResNet 视为一个包含约 个不同子网络的集成(n 为残差块数量),即使移除大部分层,剩余的子网络仍然能做出有效预测。
ResNet 在 2015 年 ILSVRC 分类任务中以 3.57% 的 Top-5 错误率夺冠,首次超越人类水平(约 5%)。下表展示了从 AlexNet 到 ResNet 的演进路径:
| 模型 | Top-1 错误率 | Top-5 错误率 | 参数量 | 发表年份 |
|---|---|---|---|---|
| AlexNet | 43.5% | 17.0% | 60M | 2012 |
| VGG-16 | 27.0% | 8.8% | 138M | 2014 |
| GoogLeNet (Inception v1) | — | 6.7% | 7M | 2014 |
| ResNet-152 | 19.38% | 4.49% | 60.2M | 2015 |
| Inception-v3 | 17.9% | 3.6% | 23.8M | 2016 |
| ResNeXt-101 | 17.8% | 3.5% | 84.3M | 2017 |
值得注意的是,ResNet-152 的参数量(60.2M)不到 VGG-16(138M)的一半,但性能大幅领先。这是因为残差结构使得参数得到了更高效的利用。
为了验证残差连接对极深网络的支持,何恺明团队在 CIFAR-10 上测试了 1202 层的 ResNet:
| 网络 | 参数量 | 测试误差 | 可训练性 | 备注 |
|---|---|---|---|---|
| ResNet-20 | 0.27M | 8.75% | ✅ | 浅层基线 |
| ResNet-56 | 0.85M | 6.97% | ✅ | 标准深度 |
| ResNet-110 | 1.7M | 6.37% | ✅ | 较深,性能提升 |
| ResNet-164 | 1.7M | 5.46% | ✅ | v2 预激活 |
| ResNet-1001 | 10.3M | 4.62% | ✅ | v2 千层网络,训练稳定 |
| ResNet-1202 | 19.4M | 7.93% | ✅ | 收敛但过拟合 |
1202 层网络的误差略高于 110 层(由于过拟合),但依然能够收敛——这在没有残差连接的网络中是不可能的。ResNet-1001(预激活 v2)达到了 4.62% 的测试误差,证明了极深网络的潜力。
在 ImageNet 上,ResNet-34 和 plain-34 的收敛曲线对比:
| 训练 epoch | Plain-34 Top-1 | ResNet-34 Top-1 | 差距 |
|---|---|---|---|
| 10 | 58.3% | 48.7% | ResNet 快 10% |
| 20 | 42.1% | 34.2% | 差距扩大到 8% |
| 30 | 34.8% | 29.8% | 稳定差距 5% |
| 60 | 31.2% | 26.7% | 最终领先 4.5% |
| 90 | 30.5% | 26.7% | plain 停止改善 |
在训练早期 ResNet 就展现出了明显的收敛优势,且最终性能显著优于 plain 网络。
ResNeXt 引入了分组卷积(Grouped Convolution)的概念,在保持计算量的同时增加基数(Cardinality):
ResNet: 3×3 conv, 64 filters (1 group)
ResNeXt: 3×3 conv, 4 filters × 32 groups (cardinality=32)
| 模型 | 参数量 | FLOPs | ImageNet Top-1 | 核心创新 |
|---|---|---|---|---|
| ResNet-101 | 44.5M | 7.8G | 77.4% | 基线 |
| ResNeXt-101 (32×4d) | 44.2M | 8.0G | 78.8% | 分组卷积,基数 32 |
| ResNeXt-101 (64×4d) | 83.6M | 15.5G | 79.6% | 更大基数 |
在参数量相近的情况下,ResNeXt 提升了约 1.4% 的准确率。核心结论是增加基数比增加深度或宽度更有效地提升性能。
WRN 通过加宽而非加深来提升性能:
| 模型 | 深度 | 宽度因子 | 参数量 | CIFAR-10 误差 | 推理速度 |
|---|---|---|---|---|---|
| ResNet-164 | 164 | 1 (bottleneck) | 1.5M | 4.99% | 1× |
| WRN-16-8 | 16 | 8 | 11.0M | 4.27% | 4× 更快 |
| WRN-28-10 | 28 | 10 | 36.5M | 3.89% | 8× 更快 |
WRN-28-10(28 层,宽度因子 10)在参数量更大的情况下,超越了深得多的 ResNet-164 的性能,且训练速度显著更快。这是因为更宽的网络具有更大的并行度,而更深的网络需要串行计算。
何恺明在 2016 年进一步改进了残差块设计,提出了预激活残差块(Pre-activation ResNet):
ResNet v1: conv → BN → ReLU → conv → BN → ReLU → add
ResNet v2: BN → ReLU → conv → BN → ReLU → conv → add
预激活的优势:
DenseNet 可以看作 ResNet 的极端形式——每一层都与之前所有层相连:
特征图的拼接(而非相加) 带来了更强的特征复用,但显存占用也更高。
| 特性 | ResNet | DenseNet |
|---|---|---|
| 连接方式 | 相加(加法) | 拼接(拼接) |
| 特征复用 | 隐含 | 显式 |
| 参数效率 | 较高 | 更高 |
| 显存占用 | 中等 | 较高(需保存所有特征图) |
| 梯度流动 | 较好 | 极好(每层都有直接路径) |
ConvNeXt(2022)通过吸收 Transformer 的设计理念对 ResNet 进行了现代化改造,证明了纯卷积架构在视觉 Transformer 时代仍然具有竞争力:
| 组件 | ResNet | ConvNeXt | 改进原因 |
|---|---|---|---|
| 激活函数 | ReLU | GELU | 梯度更平滑 |
| 归一化 | BN | LayerNorm | 与 Transformer 对齐 |
| 下采样 | stride conv | separate stem + downsample | 更干净的下采样 |
| 卷积核 | 主要 3×3 | 7×7 大核 | 更大感受野 |
| Block 比例 | 1:1 | 1:3:1 (Inverted Bottleneck) | 参考 Transformer MLP |
ConvNeXt-T 在 ImageNet 上达到 82.1% 的 Top-1 准确率,超越了同量级的 Swin-T(81.3%)和 ViT-B/16(79.8%)。
ResNet 最常见的用途是作为各种视觉任务的主干网络(Backbone):
| 任务 | 典型架构 | ResNet 的作用 |
|---|---|---|
| 图像分类 | ResNet + FC | 特征提取器 |
| 目标检测 | Faster R-CNN + ResNet | 区域建议与特征提取 |
| 语义分割 | FPN + ResNet | 多尺度特征金字塔 |
| 姿态估计 | SimpleBaseline + ResNet | 关键点热图生成 |
| 人脸识别 | ArcFace + ResNet | 人脸特征嵌入 |
| 图像生成 | StyleGAN + ResNet | 生成器/判别器主干 |
| 视频理解 | I3D + ResNet | 时空特征提取 |
| 3D 视觉 | PointNet++ + ResNet | 点云特征学习 |
训练 ResNet 的关键参数与技巧:
# PyTorch 风格的 ResNet-50 优化器配置
optimizer = SGD(
parameters,
lr=0.1, # 初始学习率
momentum=0.9,
weight_decay=1e-4 # 权重衰减
)
# 学习率调度
scheduler = MultiStepLR(
optimizer,
milestones=[30, 60, 80], # 衰减节点
gamma=0.1 # 衰减因子
)
| 超参数 | 推荐值 | 说明 |
|---|---|---|
| 初始学习率 | 0.1 (batch=256 时) | 按 batch size 线性缩放 |
| 动量 | 0.9 | 标准 SGD 动量 |
| 权重衰减 | 防止过拟合 | |
| Batch size | 256 | ImageNet 标准配置 |
| Epoch 数 | 90-120 | ImageNet 训练 |
| 热身(Warmup) | 5 epoch | 线性从 0 升到 0.1 |
| 标签平滑 | 0.1 (可选) | 提升泛化性 |
以下是 ResNet-18 的 BasicBlock 核心实现:
import torch
import torch.nn as nn
class BasicBlock(nn.Module):
expansion = 1 # 输出通道倍率
def __init__(self, in_channels, out_channels, stride=1):
super().__init__()
self.conv1 = nn.Conv2d(in_channels, out_channels,
kernel_size=3, stride=stride,
padding=1, bias=False)
self.bn1 = nn.BatchNorm2d(out_channels)
self.conv2 = nn.Conv2d(out_channels, out_channels,
kernel_size=3, stride=1,
padding=1, bias=False)
self.bn2 = nn.BatchNorm2d(out_channels)
# 投影捷径:当维度变化时使用
self.shortcut = nn.Sequential()
if stride != 1 or in_channels != out_channels:
self.shortcut = nn.Sequential(
nn.Conv2d(in_channels, out_channels,
kernel_size=1, stride=stride, bias=False),
nn.BatchNorm2d(out_channels)
)
def forward(self, x):
out = torch.relu(self.bn1(self.conv1(x)))
out = self.bn2(self.conv2(out))
out += self.shortcut(x) # 关键:跳跃连接
return torch.relu(out)
将残差网络沿着深度方向展开,每个残差块可以被视为一个函数求和的项:
从动态系统的角度看,残差网络是在模拟欧拉方法(Euler Method)求解常微分方程(ODE):
这一视角启发了后续的神经 ODE(Neural ODE)工作——将残差块的离散叠加替换为连续的微分方程求解,允许在网络中定义"无限深度"的概念。
ResNet 的成功与信息瓶颈(Information Bottleneck)理论也有联系。在深层网络中,每一层都在执行信息的压缩与变换,残差连接确保了在压缩过程中关键信息不会被丢失。
从流形学习的角度看,残差结构使得网络能够在保持低维流形结构的同时,逐步学习更抽象的特征表示。每一层的残差函数 可以被视为对输入流形的局部微调,而非全局变换,从而避免了信息在深度传播中的退化。
从优化理论的角度,残差连接改善了损失函数的曲率结构。Fisher 信息矩阵(Fisher Information Matrix)的条件数越小,优化越容易。研究表明,残差网络相比 plain 网络具有更良态的 Fisher 信息矩阵:
| 属性 | Plain 网络 | ResNet |
|---|---|---|
| Hessian 条件数 | 大(可差 1000×) | 小(通常 <10×) |
| Fisher 矩阵特征值分布 | 分散 | 集中 |
| 梯度方差 | 高 | 低 |
| SGD 收敛速度 | 慢 | 快 3-5 倍 |
ResNet 的贡献远远超出了一个具体的网络架构:
截至 2024 年,原始 ResNet 论文被引用超过 20 万次(Google Scholar),是计算机视觉领域被引用最高的论文之一。
| 领域 | 架构 | 受 ResNet 影响的方式 | 引入残差连接的时间 |
|---|---|---|---|
| 序列模型 | Transformer (2017) | 每层后的 Add & Norm | 与 ResNet 同年 |
| 图像生成 | StyleGAN (2019) | 生成器残差块 | 2019 |
| 语音 | WaveNet (2016) | 残差膨胀卷积 | 2016 |
| 图神经网络 | GCN/GAT (2018) | 残差 GCN 块 | 2018 |
| 强化学习 | R2D2 (2019) | 残差 LSTM | 2019 |
| 多模态 | CLIP (2021) | 图像编码器使用 ResNet | 2021 |
| 问题 | 可能原因 | 解决方案 |
|---|---|---|
| 训练初期 loss 不下降 | 学习率过大或初始化不当 | 使用 warmup,检查 He 初始化 |
| 验证 loss 持续高于训练 | 过拟合 | 增加 weight decay, dropout 或数据增强 |
| 梯度爆炸 | 学习率过大 | 降低 lr,添加梯度裁剪 |
| 深层 ResNet(>100 层)性能不如浅层 | 过拟合而非退化 | 减少层数或增加正则化 |
| 显存不足 | batch size 过大 | 减小 batch size 或使用梯度累积 |
| 训练速度慢 | 没用混合精度 | 启用 AMP (Automatic Mixed Precision) |