Dropout 是一种简单而有效的正则化技术，通过在训练过程中随机丢弃（置零）神经网络中的部分神经元，显著缓解过拟合问题。自 2012 年由 Geoffrey Hinton 等人提出以来，Dropout 已成为深度学习领域最广泛使用的正则化方法之一。
深度神经网络拥有大量参数，在许多任务上具备强大的拟合能力。然而，当模型容量远超数据所需时，网络倾向于"记住"训练样本而非学习通用模式——这就是过拟合（overfitting）。传统的正则化方法如 和 正则化通过对权重施加惩罚来限制模型复杂度，但它们对所有权重施加了均质的约束，无法针对性地打破神经元之间的复杂共适应关系。
考虑一个拥有两个隐藏层的神经网络，其中第一层的神经元 和第二层的神经元 在训练过程中形成了紧密的"互补"关系： 在某些特征上表现好， 补充了 遗漏的模式，二者合起来取得了优异的训练效果。这种神经元间的"共适应"（co-adaptation）关系在训练数据上表现良好，但在测试数据上，如果 偶尔失效， 由于过度依赖 的输出分布，也无法正常工作。
Dropout 的核心思想正是打破这种共适应：在每次训练迭代中，随机地"关闭"一部分神经元，迫使每个神经元学会独立工作，不依赖于特定同伴的存在。
对于一个具有 个隐藏层的神经网络，设第 层的输出为 。在标准的全连接网络中，第 层的输入为：
使用 Dropout 时，我们引入一个二值掩码向量 ，其中 是第 层的神经元数量， 的每个元素独立地服从伯努利分布：
其中 是保留概率（keep probability），即神经元被保留下来的概率。经过 Dropout 操作后，该层的输出变为：
这里 表示逐元素乘法。被置零的神经元在该次前向传播和反向传播中完全不参与计算。
假设一个隐藏层有 5 个神经元，当前迭代中它们的激活值为：
设置保留概率 ，随机采样的掩码向量为：
则 Dropout 后的输出为：
第 2 和第 5 个神经元被丢弃，它们的梯度也会同时归零，因此对应权重在该次迭代中不被更新。
Dropout 的一个关键要点是：它只在训练阶段使用，推理阶段必须关闭。然而，如果推理时直接移除 Dropout，会导致各层输出幅度的不匹配。
考虑一个简单的场景：假设训练时保留概率 ，某层有 100 个神经元，每个神经元在训练时的期望输出是其原始激活值的一半（因为有一半概率被置零）。在推理时，如果不做任何补偿，所有 100 个神经元全部激活，输出幅度将是训练时的 2 倍，后续层的计算将产生偏差。
为了解决这个问题，有两种等价的方法：
方法一：训练时缩放（Scale During Training）
在训练阶段，对保留下来的神经元的激活值乘以 ，使其期望值与推理时一致：
此时，训练时每个神经元的期望输出为：
与推理时的输出一致。这种方法被称为 标准 Dropout（Standard Dropout）。
方法二：推理时缩放（Scale During Inference, 即 Inverted Dropout）
这是现代深度学习框架（TensorFlow、PyTorch 等）默认使用的方式。在训练阶段不缩放，保持原始激活值，在推理时将每个神经元的输出乘以 ：
或者等效地，在训练时将 Dropout 后的输出乘以 。后一种方式更为常见，被称为 Inverted Dropout：
PyTorch 的 nn.Dropout(p=0.5) 使用 Inverted Dropout，训练时自动将保留的激活值乘以 ，推理时直接去掉 Dropout 层即可。
| 方法 | 训练时操作 | 推理时操作 | 使用框架 |
|---|---|---|---|
| 标准 Dropout | 保留神经元，激活值不变 | 全部激活，值乘以 | 论文原始实现 |
| Inverted Dropout | 保留神经元，值乘以 | 全部激活，不做缩放 | PyTorch、TensorFlow |
Dropout 可以理解为一种高效的模型集成方法。对于一个有 个神经元的网络，每次 Dropout 随机丢弃一部分神经元，相当于生成了一个不同的子网络。由于每个神经元有保留概率 ，可能的子网络数量为 。
在每次训练迭代中，我们训练的是这些子网络中的一个随机样本。训练完成后，推理阶段使用的完整网络相当于这些子网络的几何平均（geometric mean）：
这类似于随机森林中多棵决策树的投票机制，但 Dropout 的集成是通过权重共享实现的——所有子网络共享参数，这比独立训练 个单独模型要高效得多。
Dropout 促使网络学习更稀疏的特征表示。由于神经元无法依赖特定的同伴，每个神经元必须学会独立地提取有用的特征。这导致：
Dropout 与 正则化有微妙的联系。研究表明，在逻辑回归等简单模型上，Dropout 的期望效果近似于一个自适应强度的 正则化：
其中 取决于数据方差。这表明 Dropout 的正则化强度是自适应的：对于方差大的特征（可能是噪声），施加更强的正则化；对于方差小的特征（可能是信号），施加更弱的正则化。
| 特性 | Dropout | 正则化 | 早停 |
|---|---|---|---|
| 防过拟合机制 | 随机丢弃神经元 | 权重衰减 | 限制迭代次数 |
| 计算开销 | 训练时忽略不计 | 无额外开销 | 需要验证集 |
| 自适应强度 | 是（数据方差驱动） | 否（固定 ） | 否 |
| 与模型结构关系 | 密切相关 | 无关 | 无关 |
| 推理阶段 | 需关闭/缩放 | 始终生效 | 不适用 |
在卷积神经网络（CNN）中，标准的 Dropout 效果有限，因为 CNN 的特征图具有空间相关性——丢弃单个像素对特征表达的破坏很小。Spatial Dropout 以整个通道为单位进行丢弃，即随机将整个特征图置零：
对于一个形状为 的特征图，Spatial Dropout 生成形状为 的掩码，然后广播到整个空间维度：
# Spatial Dropout in PyTorch-style pseudocode
mask = torch.rand(batch_size, channels, 1, 1) > p_keep
output = input * mask.float() / p_keep
这种变体对于图像分割、目标检测等密集预测任务特别有效。
DropConnect 是 Dropout 的广义化版本。Dropout 丢弃的是神经元（即整行的输出），而 DropConnect 丢弃的是权重（即单个连接）：
其中 是与权重矩阵 形状相同的掩码矩阵。这意味着在 DropConnect 中，即使一个神经元被保留，它也可能只接收到部分输入连接。
MC Dropout 是一个重要的理论突破，由 Gal 和 Ghahramani 在 2016 年提出。他们证明 Dropout 可以近似为深度高斯过程的贝叶斯推断。
核心思想：在推理阶段保留 Dropout，进行多次前向传播，将多次预测结果的均值和方差作为最终预测和不确定性估计。
def mc_dropout_predict(model, x, num_samples=50):
"""MC Dropout 预测，返回均值和标准差"""
model.train() # 开启 Dropout
predictions = []
for _ in range(num_samples):
pred = model(x).detach()
predictions.append(pred)
predictions = torch.stack(predictions)
mean = predictions.mean(dim=0)
std = predictions.std(dim=0)
return mean, std
这个特性使得 Dropout 不仅是一个正则化工具，还提供了对模型不确定性的量化——在医疗诊断、自动驾驶等高风险应用中至关重要。
| Dropout 类型 | 丢弃对象 | 适用场景 | 推理行为 |
|---|---|---|---|
| 标准 Dropout | 全连接层神经元 | 全连接网络 | 关闭 Dropout |
| Spatial Dropout | 整个特征图通道 | CNN 网络 | 关闭 Dropout |
| DropConnect | 权重连接 | 任何网络 | 关闭 Dropout |
| MC Dropout | 任何层神经元 | 需要不确定性估计 | 保留 Dropout |
Alpha Dropout 专为使用 SELU 激活函数的网络设计。SELU 激活函数具有自归一化特性——让网络的激活值自动趋向于零均值和单位方差。Alpha Dropout 确保 Dropout 后仍然保持这种自归一化性质：
其中 的值根据 SELU 的参数计算，使得 Dropout 后输出的均值和方差保持不变。
保留概率 是 Dropout 最重要的超参数，通常设置在 到 之间：
| 网络架构 | 推荐配置 | 说明 |
|---|---|---|
| 小型全连接网络（1-2 层隐藏层） | 每层 | 适度的正则化 |
| 大型全连接网络（4+ 层） | 宽层 ，窄层 | 窄层更需要保留特征 |
| AlexNet/VGG | 全连接层 | 经典配置 |
| ResNet | 一般不加 Dropout | 使用 BN 替代 |
| Transformer | 到 | 通常在 attention 和 FFN 后 |
| LSTM/GRU | （变分 Dropout） | 需要在时间步间共享掩码 |
假设我们在训练一个手写数字识别模型（MNIST），全连接网络有 3 个隐藏层（512-256-128）。以下是带 Dropout 和不带 Dropout 的对比：
# 不带 Dropout
class NetWithoutDropout(nn.Module):
def __init__(self):
super().__init__()
self.fc1 = nn.Linear(784, 512)
self.fc2 = nn.Linear(512, 256)
self.fc3 = nn.Linear(256, 128)
self.out = nn.Linear(128, 10)
def forward(self, x):
x = x.view(-1, 784)
x = torch.relu(self.fc1(x))
x = torch.relu(self.fc2(x))
x = torch.relu(self.fc3(x))
return self.out(x)
# 带 Dropout (p=0.5)
class NetWithDropout(nn.Module):
def __init__(self):
super().__init__()
self.fc1 = nn.Linear(784, 512)
self.drop1 = nn.Dropout(0.5)
self.fc2 = nn.Linear(512, 256)
self.drop2 = nn.Dropout(0.5)
self.fc3 = nn.Linear(256, 128)
self.drop3 = nn.Dropout(0.5)
self.out = nn.Linear(128, 10)
def forward(self, x):
x = x.view(-1, 784)
x = torch.relu(self.fc1(x))
x = self.drop1(x)
x = torch.relu(self.fc2(x))
x = self.drop2(x)
x = torch.relu(self.fc3(x))
x = self.drop3(x)
return self.out(x)
| 配置 | 训练准确率 | 测试准确率 | 训练时间/epoch |
|---|---|---|---|
| 无 Dropout | 99.8% | 97.2% | 12 秒 |
| Dropout (p=0.3) | 99.5% | 97.8% | 12 秒 |
| Dropout (p=0.5) | 98.7% | 98.2% | 12 秒 |
| Dropout (p=0.7) | 97.5% | 97.6% | 12 秒 |
从表中可以看到：
误区一：Dropout 率越高越好
Dropout 率过高会导致模型欠拟合。当 时，大部分神经元被丢弃，网络的信息容量严重不足，类似于训练一个比实际小得多的模型，训练准确率也会显著下降。
误区二：在推理时忘记关闭 Dropout
这是最常见的新手错误。如果在测试时开启 Dropout，预测会具有随机性，每次运行得到不同的结果（除非使用 MC Dropout 的意图）。
误区三：Dropout 与 Batch Normalization 的冲突
Dropout 和 BN 在某些情况下会相互干扰：
Conv → BN → ReLU → Dropout），或者在不使用 BN 的网络中独立使用 Dropout误区四：在所有层使用相同的 Dropout 率
不同层需要不同的 Dropout 率：
Dropout 常与其他正则化技术配合使用，但理解它们之间的差异有助于做出更好的选择。
| 技术 | 机制 | 超参数 | 计算开销 | 对泛化贡献 |
|---|---|---|---|---|
| 正则化 | 权重衰减 | 极小 | 中等 | |
| Dropout | 随机丢弃 | 极小 | 很高 | |
| BatchNorm | 层归一化 | 动量 | 中等（额外参数） | 中等 |
| 数据增强 | 数据变换 | 增强策略 | 预处理阶段高 | 很高 |
| 标签平滑 | 软化标签 | 极小 | 低 | |
| 早停 | 提前停止 | 耐心轮数 | 极小 | 中等 |
典型组合方案：
Dropout 可以从信息论角度理解。在训练过程中，Dropout 引入的随机性相当于在神经元的激活分布上施加了一个约束，鼓励网络学习到具有最大熵（即信息量最大）的特征表示。
具体来说，假设第 层的神经元激活值分布为 ，Dropout 引入的噪声相当于在保持任务性能的同时，最大化激活值的条件熵：
这在直观上是合理的：一个信息量丰富的特征不仅对当前任务有用，也可能对未知任务具有迁移价值。
Gal 和 Ghahramani 证明，训练带 Dropout 的神经网络等价于对深度高斯过程进行变分推断。在这个框架下：
这一理论将 Dropout 从工程技巧提升到了贝叶斯推断的数学框架，为其行为提供了严格的数学保障。
Dropout 可以看作是网络容量的动态调节器。设网络有 个参数，每次迭代只有大约 个参数被更新。因为每个参数在每次迭代中被更新的概率为 ，经过 次迭代后，每个参数的期望更新次数为 。这意味着相同的迭代次数下，Dropout 使得模型实际更新的参数减少了 倍，从而增强了正则化效果。
| 年份 | 贡献 | 研究者 |
|---|---|---|
| 2012 | Dropout 首次提出，在 AlexNet 上取得突破性成果 | Hinton et al. |
| 2013 | 正式论文发表，系统分析 Dropout 的有效性 | Srivastava et al. |
| 2014 | DropConnect 提出，扩展了 Dropout 的思想 | Wan et al. |
| 2015 | Spatial Dropout 针对 CNN 专门优化 | Tompson et al. |
| 2016 | MC Dropout 理论建立（贝叶斯视角） | Gal & Ghahramani |
| 2017 | Dropout 被称为"最成功的深度学习思想之一" | Goodfellow et al. |
| 2018 | 变分 Dropout 权重更新的理论完善 | Kingma et al. |
| 2019 | 结构化 Dropout（根据层级关系丢弃） | 多项研究 |
| 2020+ | Transformer 中保活率为 成为标配 | 多篇论文 |
随着 Batch Normalization、Layer Normalization 等归一化技术的普及，Dropout 在一些领域的角色发生了变化：
但 Dropout 并未被淘汰——在以下场景中仍然扮演关键角色：
Dropout 以简单的操作——随机丢弃神经元——实现了强大的正则化效果。其成功源于多个理论视角的支撑：集成学习的增益、对共适应的破坏、贝叶斯推断的近似。在实践中，Dropout 几乎不增加计算开销，易于实现，配合 MC Dropout 还能提供不确定性估计。
选择合适的 Dropout 配置需要根据网络架构、层类型和数据集特点综合考虑。对于全连接网络， 是可靠的起点；对于卷积网络，Spatial Dropout 或结合 BN 的低 Dropout 率是常见选择；对于 Transformer，保持率 的轻量 Dropout 就足够了。