参数初始化(Parameter Initialization)是深度学习训练中关键的第一步——在梯度下降开始之前,我们需要为模型的所有参数(权重和偏置)设置初始值。这个看似简单的步骤,实际上对训练的收敛速度、最终性能和能否成功训练有着决定性的影响。
选择错误的初始化方法可能导致梯度消失或梯度爆炸,使模型根本无法学习;而好的初始化方法则为优化提供一个良好的起点,帮助模型快速收敛到好的解。
如果起点不对,即使是最好的优化算法也无能为力。
如果将网络中所有权重初始化为相同的值(例如全部为 0),那么同一层的所有神经元在训练过程中将始终学习相同的特征。这是因为在反向传播中,同一层所有神经元的梯度完全相同,导致它们的参数始终对称。这种现象称为对称性破缺失败(Failure of Symmetry Breaking)。
具体例子:考虑一个全连接层,输入维度为 100,输出维度为 50。如果所有 都初始化为 0,那么对于任意输入 ,该层所有 50 个神经元的输出都是 0,反向传播时所有参数的梯度也完全相同。无论训练多久,这 50 个神经元始终学习同样的特征——相当于只用了 1 个神经元。
在深度网络中,梯度在反向传播过程中需要逐层传递。如果初始化不当,梯度会随着层数加深而指数级地衰减或放大。
数学直觉:考虑一个 层的线性网络,每层权重矩阵为 。前向传播时,输出为 。若每个 ,则 。当 时, 导致衰减到 ,而 导致放大到 。
即使梯度消失和爆炸问题不致命(例如通过 Batch Normalization 缓解),不恰当的初始化也会大幅拖慢收敛速度。良好的初始化解空间位于损失函数曲面中"信息量丰富"的区域,使每个参数更新都能有效降低损失。
| 初始化方法 | 提出时间 | 适用激活函数 | 核心思想 |
|---|---|---|---|
| 零初始化 | — | 仅偏置 | 所有权重设为 0 |
| 随机均匀初始化 | — | 任意 | 从均匀分布采样小随机值 |
| LeCun 初始化 | 1998 | Sigmoid/Tanh | 保持输入方差为 1 |
| Xavier/Glorot 初始化 | 2010 | Tanh/线性 | 保持输入输出方差一致 |
| He/Kaiming 初始化 | 2015 | ReLU/PReLU | 适配 ReLU 的半波整流 |
| Orthogonal 初始化 | 2012 | RNN/线性 | 保持正交变换的范数不变性 |
问题:如前所述,所有权重相同导致对称性未被打破。因此零初始化只能用于偏置项,不能用于权重。
使用场景:偏置通常初始化为 0,因为在合理初始化权重的情况下,偏置从 0 开始学习是有效的。
其中 为输入神经元数量。这种初始化保证了参数期望值为 0,且随着输入维度增加,参数范围减小,使得输出的方差可控。
局限:对于深度网络,仅靠这种简单的缩放仍然无法完全避免深层梯度的不稳定性。
由 Yann LeCun 在 1998 年的 LeNet 论文中提出,是首个系统化研究初始化的工作。
核心思想:保持每个神经元的输入方差为 1。假设输入 的方差为 ,则神经元输出 的方差为:
令 ,则 。
2010 年,Xavier Glorot 和 Yoshua Bengio 在《Understanding the difficulty of training deep feedforward neural networks》中提出了 Xavier 初始化(又称 Glorot 初始化),这是深度学习发展史上的里程碑之一。
Glorot 和 Bengio 提出:理想初始化应该同时满足两个条件:
根据这两个条件,可以推导出:
其中 和 分别为该层的输入和输出维度。
均匀分布:
正态分布:
考虑一个输入维度 ,输出维度 的全连接层,激活函数为 Tanh。
使用 Xavier 正态分布初始化,标准差为:
这意味着大多数权重值分布在 区间内。
对比测试:
| 方法 | 标准差 | 单层前向传播后输出方差 | 10 层后输出方差 |
|---|---|---|---|
| 过大初始化 () | 0.5 | 约 25 | 爆炸到 量级 |
| Xavier 初始化 () | 0.115 | 约 1.0 | 约 1.0(稳定) |
| 过小初始化 () | 0.01 | 约 0.01 | 衰减到 量级 |
结论:Xavier 初始化在 Tanh 等零均值的对称激活函数下表现优异,能有效保持前向和反向传播中的信号强度。
Xavier 初始化假设激活函数是线性的且在 0 附近可近似为恒等映射。对于 ReLU 这种非对称激活函数(输出一半为 0),它会导致信号衰减。
2015 年,何恺明(Kaiming He)等人在 ResNet 论文中提出了专门针对 ReLU 激活函数的初始化方法。
ReLU 激活函数 会将一半的神经元输出设为 0,使得输出的方差减半。因此在经过 ReLU 后,实际方差只有 Xavier 假设的一半。
如果 ReLU 层输入的特征服从关于 0 对称的分布,经过 ReLU 后约一半神经元被"关闭",所以:
令 ,得到:
正态分布:
均匀分布:
考虑一个 50 层的网络,每层 ,激活函数为 ReLU:
| 方法 | 第 1 层后输出均值 | 第 10 层后输出均值 | 第 50 层后输出均值 |
|---|---|---|---|
| Xavier | ≈ 0.5 | ≈ 0.03 | → 0(信号消失) |
| He | ≈ 0.5 | ≈ 0.5 | ≈ 0.5(稳定) |
实验结果清晰地显示,在 ReLU 网络中 Xavier 初始化会导致信号随网络加深而消失,而 He 初始化则能保持信号强度的稳定。
对于 Leaky ReLU 和 PReLU,He 初始化可以推广为:
其中 是 Leaky ReLU 的负斜率参数(通常默认为 0.01 或可学习)。
对于循环神经网络(RNN)和某些深层的线性网络,正交初始化是一种有效的策略。
定义:权重矩阵 (假设 )满足 ,即列向量两两正交且为单位向量。
构造方法:从标准正态分布采样一个随机矩阵,然后对其做 QR 分解得到正交矩阵。
优点:
数值示例:
对于 RNN 序列长度 的任务:
| 初始化方法 | 梯度范数() | 梯度范数() | 梯度范数() |
|---|---|---|---|
| 均匀随机 | 0.85 | 0.12 | 0.008 |
| 正交 | 1.02 | 0.95 | 0.91 |
正交初始化在长序列上保持了梯度信号的稳定性,而随机初始化则使梯度迅速衰减。
在 CIFAR-10 数据集上使用一个 20 层的纯全连接网络(激活函数为 ReLU)进行对比实验的结果:
| 初始化方法 | 初始损失值 | 50 epochs 后准确率 | 200 epochs 后准确率 | 训练是否稳定 |
|---|---|---|---|---|
| 零初始化 | N/A | N/A | N/A | ❌ 因对称性无法训练 |
| 过小随机 () | 损失极小 | 20.3% | 45.2% | ✅ 极慢收敛 |
| 过大随机 () | 损失极大 | 10.1%(发散) | 10.0%(发散) | ❌ 梯度爆炸 |
| Xavier 初始化 | 2.30 | 32.1% | 41.8% | ⚠️ 深层信号衰减 |
| He 初始化 | 2.30 | 55.7% | 72.3% | ✅ 快速稳定收敛 |
核心发现:He 初始化在 ReLU 网络中的收敛速度显著优于 Xavier 初始化,最终准确率也高出约 30 个百分点(相对值)。初始损失值本身不能反映初始化质量——过小随机初始化初始损失极低(因为输出接近 0),但后续收敛极慢。
| 网络类型 | 激活函数 | 推荐初始化方法 |
|---|---|---|
| 前馈网络(浅层,<5层) | Sigmoid/Tanh | Xavier/Glorot 初始化 |
| 前馈网络(深度,≥5层) | Tanh | Xavier/Glorot 初始化 |
| 前馈网络(任意深度) | ReLU/Leaky ReLU | He/Kaiming 初始化 |
| 卷积神经网络 | ReLU | He 初始化 |
| 循环神经网络(RNN) | Tanh | 正交初始化 |
| LSTM/GRU | Sigmoid/Tanh | Xavier 初始化(权重)+ 正交初始化(遗忘门) |
| Transformer | GELU/ReLU | He 初始化或默认的 truncated normal |
| Batch Normalization 后的网络 | 任意 | 可放宽要求,但仍建议遵循上述规则 |
偏置项(Bias)的初始化相对简单:
| 框架 | 默认初始化方法 |
|---|---|
PyTorch(nn.Linear) |
He 均匀初始化() |
PyTorch(nn.Conv2d) |
He 均匀初始化 |
TensorFlow / Keras(Dense) |
Glorot 均匀初始化 |
JAX(nn.Dense) |
He 正态初始化(LeCun 正态在旧版本中) |
不同框架的默认值不同,在迁移代码或进行公平对比时需要注意。
import torch
import torch.nn as nn
def init_weights(m):
if isinstance(m, nn.Linear) or isinstance(m, nn.Conv2d):
# He 初始化(适用于 ReLU)
nn.init.kaiming_normal_(m.weight, mode='fan_in', nonlinearity='relu')
# 或 Xavier 初始化(适用于 Tanh)
# nn.init.xavier_normal_(m.weight, gain=nn.init.calculate_gain('tanh'))
if m.bias is not None:
nn.init.zeros_(m.bias)
elif isinstance(m, nn.LSTM):
for name, param in m.named_parameters():
if 'weight_ih' in name:
nn.init.xavier_uniform_(param)
elif 'weight_hh' in name:
nn.init.orthogonal_(param)
elif 'bias' in name:
# 遗忘门偏置初始化为 1
n = param.size(0) // 4
nn.init.zeros_(param)
param.data[n:2*n].fill_(1.0) # 遗忘门位置
model = nn.Sequential(
nn.Linear(784, 256),
nn.ReLU(),
nn.Linear(256, 128),
nn.ReLU(),
nn.Linear(128, 10)
)
model.apply(init_weights)
当模型训练异常时,可以通过以下方式排查初始化问题:
def diagnose_initialization(model, input_shape=(32, 784)):
"""诊断前向传播信号状态"""
x = torch.randn(*input_shape)
with torch.no_grad():
for name, module in model.named_children():
x = module(x)
if hasattr(module, 'weight'):
print(f"{name}: 输出均值={x.mean().item():.4f}, "
f"输出标准差={x.std().item():.4f}, "
f"权重标准差={module.weight.std().item():.4f}")
如果在每一层后使用 Batch Normalization,初始化可以适当放宽,因为 BN 在前向传播中会强制将输出重新缩放为均值为 0、方差为 1 的分布。
实践建议:即使使用 BN,仍推荐使用 He 或 Xavier 初始化。合理的初始化与 BN 配合可以进一步加速收敛,且允许使用更大的学习率。
ResNet 的残差连接使得信号可以绕过某些层直接传播,本质上缓解了深层网络中的梯度消失问题。结合 He 初始化,可以使数百层的网络也能稳定训练:
在 He 初始化的配合下,残差块 的输出方差维持在 1 左右,则 在 100 层后的方差约增长到 100(比不加残差的情况慢得多),使得深层训练成为可能。
| 方法 | 适用场景 | 可否训练 1000 层 | 数学复杂度 | 实践普及度 |
|---|---|---|---|---|
| Xavier/Glorot | Tanh/Sigmoid 网络 | ❌ | 低 | ★★★★★ |
| He/Kaiming | ReLU 网络 | ⚠️ 配合残差可 | 低 | ★★★★★ |
| Orthogonal | RNN/LSTM | ✅ | 中 | ★★★★ |
| Fixup | 超深 ResNet | ✅ (10000 层) | 中 | ★★★ |
| LARS | 超大 Batch 训练 | ✅ | 中 | ★★★★ |
| MetaInit | 小样本学习 | ✅ | 高 | ★★ |
Fixup 初始化由 Zhang 等人于 2019 年提出,旨在训练超深网络(10000 层)而无需 Batch Normalization。其核心思想是通过重新缩放每个残差块的输出来稳定训练。
核心公式:
其中 是一个可学习的缩放参数(初始化为一个小值,如 0.1 或 ), 是标准初始化(如 He 初始化)后的权重。
LARS 在 2017 年由 You 等人提出,专门解决大 Batch 训练中的初始化与学习率配合问题。其核心思想是对每一层使用不同的学习率:
其中 是全局学习率, 是层自适应的缩放因子。LARS + He 初始化可以训��� 32K+ Batch Size 的 ResNet-50。
相同的初始化 + 相同的数据顺序会对最终结果产生一致影响。不同的随机种子会导致模型收敛到不同的局部最优,性能可能有 1-5% 的波动(取决于任务复杂度)。建议做 3-5 次不同种子的实验取平均值。
是的,称为元初始化或学习初始化(如 MetaInit, 2019)。这种方法通过优化一小步梯度下降后的损失来"学习"一个好的初始化点,特别适用于小样本学习场景。
在确定性模式下,相同随机种子在不同硬件上应给出相同的初始化结果。但 TensorFlow 和 PyTorch 的随机数生成器在不同硬件实现上可能有细微差异。建议在关键实验中固定种子并记录硬件信息。
初始化直接影响了最优学习率的范围。He 初始化配合的学习率通常可设为 0.1(SGD)或 0.001(Adam),而使用未校准的过小/过大初始化时,学习率需要大幅调低。
| 初始化质量 | 推荐 LR(SGD) | 推荐 LR(Adam) |
|---|---|---|
| He/Xavier(良好) | 0.01-0.1 | 0.001 |
| 未经校准(一般) | 0.001-0.01 | 0.0003-0.001 |
| 过小/过大(差) | 需重新初始化 | 需重新初始化 |
微调预训练模型时(如 ImageNet 预训练的 ResNet),所有层的初始权重来自预训练检查点,不再需要随机初始化。此时只有新添加的分类头需要初始化(通常使用 He 初始化)。在这种情况下,初始化的影响远小于从零训练的场景。