损失函数(Loss Function)是机器学习模型训练的核心目标函数,它量化了模型预测值与真实值之间的差异。训练过程本质上就是寻找使损失函数最小化的模型参数。选择合适的损失函数直接影响模型的收敛速度、最终性能和泛化能力。
损失函数的概念可以追溯到18世纪的最小二乘法(Gauss, 1809),并在20世纪随着统计学习理论和神经网络的兴起而不断丰富。从简单的误差平方到如今几十种专业化的损失函数家族,每一次发展都对应着特定领域的需求突破。

上图为 MSE、MAE 和 Huber 三种回归损失函数的曲线对比。MSE(蓝色抛物线)对大误差惩罚呈平方增长,MAE(橙色V形)对误差线性惩罚,Huber(绿色曲线)在阈值内使用 MSE、阈值外使用 MAE,兼具两者的优点。
损失函数是一个映射 f:Y×Y→R≥0,将预测值 y^ 和真实值 y 映射为一个非负实数,数值越小表示预测越准确。给定训练数据集 D={(xi,yi)}i=1N,模型的经验风险定义为:
Remp(θ)=N1i=1∑NL(f(xi;θ),yi)
其中 θ 为模型参数,f(xi;θ) 为模型对样本 xi 的预测输出,L 为损失函数。训练目标为 minθRemp(θ)。
一个好的损失函数应具备以下性质:
| 性质 |
描述 |
重要性 |
| 凸性 |
函数在参数空间上是凸的(或至少是凸的近似) |
保证全局最优解存在 |
| 可微性 |
对模型参数可导(至少几乎处处可导) |
梯度下降需要梯度信息 |
| 一致性 |
在样本量趋近无穷时,经验风险最小化收敛到真实风险最小化 |
保证统计一致性 |
| 鲁棒性 |
对异常值不敏感,梯度不会无限增长 |
防止训练不稳定 |
| 计算效率 |
前向和反向传播的计算复杂度低 |
影响训练速度和可用性 |
graph TD
A[训练数据] --> B[模型前向传播]
B --> C[计算损失函数]
C --> D[计算梯度<br/>∂L/∂θ]
D --> E[更新参数<br/>θ ← θ - η·∂L/∂θ]
E --> B
style A fill:#e1f5fe
style C fill:#fff3e0
style D fill:#f3e5f5
损失函数在训练循环中的位置:损失计算是前向传播的终点,也是反向传播的起点
当模型容量较大而训练数据有限时,单纯最小化经验风险会导致过拟合。为此引入结构风险最小化(SRM):
Rsrm(θ)=N1i=1∑NL(f(xi;θ),yi)+λ⋅Ω(θ)
其中 Ω(θ) 是正则化项(如 L2 范数),衡量模型复杂度;λ 控制拟合与泛化的平衡。这构成了正则化损失的基础(详见后文)。
mindmap
root((损失函数))
回归任务
MSE / L2 Loss
MAE / L1 Loss
Huber Loss
Log-Cosh Loss
Quantile Loss
分类任务
Cross-Entropy
Hinge Loss
Focal Loss
KL Divergence
对比学习
Triplet Loss
InfoNCE
NT-Xent
Contrastive Loss
生成模型
Adversarial Loss
Reconstruction Loss
VAE Loss
Diffusion Loss
排序学习
Pairwise Hinge
ListNet
LambdaRank
NLP特殊
CTC Loss
Connectionist Temporal
Label Smoothing
回归任务的目标是预测连续值,常见的回归损失函数包括以下几种。
最常用的回归损失,计算预测值与真实值之差的平方:
LMSE(y,y^)=(y−y^)2
数值实例:假设真实房价为 100 万元,模型预测为 90 万元,则 MSE 损失为 (100−90)2=100。若预测为 120 万元,MSE 同样为 (100−120)2=400,对偏离更远的预测惩罚更大。下表展示了不同误差下的 MSE 值:
| 真实值 y |
预测值 y^ |
误差 Δ |
MSE |
说明 |
| 100 |
99 |
1 |
1 |
极小误差,几乎无惩罚 |
| 100 |
95 |
5 |
25 |
小误差,适度惩罚 |
| 100 |
90 |
10 |
100 |
中等误差 |
| 100 |
80 |
20 |
400 |
大误差,平方放大了16倍 |
| 100 |
50 |
50 |
2500 |
极大误差,占主导地位 |
梯度:∂y^∂L=−2(y−y^),梯度与误差成正比。
优缺点:
- ✅ 可微、凸函数,优化稳定
- ✅ 对大误差给予平方级别惩罚,迫使模型关注大偏差样本
- ❌ 对异常值极其敏感(平方放大效应):一个离谱的异常值会主导整个损失
典型案例:在房价预测中,如果数据中有几栋价值 10 亿的豪宅而大多数房屋在 100 万左右,MSE 会让模型过度拟合这些豪宅而忽略普通房屋。在这种情况下,MSE 的最优解会向这些异常值偏移,牺牲大多数普通样本的预测精度。
计算预测值与真实值之差的绝对值:
LMAE(y,y^)=∣y−y^∣
数值实例:同样的房价预测,预测 90 万时 MAE 为 ∣100−90∣=10,预测 120 万时 MAE 为 ∣100−120∣=20。
梯度:∂y^∂L={−11if y>y^if y<y^,梯度恒为 ±1(除了在 0 处不可导)。
对比:当误差为 100 时,MSE=10000 而 MAE=100;当误差为 1 时,MSE=1 而 MAE=1。MSE 对小误差和大误差的惩罚差异巨大,而 MAE 对所有误差一视同仁。
结合 MSE 和 MAE 的优点,在误差较小时使用 MSE(平滑),误差较大时使用 MAE(鲁棒):
LHuber(y,y^)={21(y−y^)2δ∣y−y^∣−21δ2if ∣y−y^∣≤δif ∣y−y^∣>δ
其中 δ 是阈值参数(通常取 1.0 或中位数绝对偏差的倍数)。
数值实例:设定 δ=5,真实值 100,预测值 102(误差 2 < 5),使用 MSE 部分:21⋅22=2。若预测值为 120(误差 20 > 5),使用 MAE 部分:5⋅20−21⋅52=100−12.5=87.5。
graph LR
subgraph 损失曲线形状
A[MSE:抛物线<br/>处处平滑但异常敏感]
B[MAE:V形<br/>鲁棒但0点不可导]
C[Huber:抛物线+V形尾巴<br/>鱼与熊掌兼得]
end
A --> D{异常值多?}
B --> D
C --> D
D -->|是| E[Huber Loss<br/>推荐默认]
D -->|否| F[MSE]
| 损失函数 |
数学表达 |
对异常敏感度 |
平滑性 |
梯度行为 |
推荐场景 |
| MSE / L2 |
(y−y^)2 |
极高 |
处处平滑 |
梯度 ∝ 误差 |
无异常值、误差正态分布 |
| MAE / L1 |
$ y - \hat{y} $ |
低 |
在0处不可导 |
梯度恒为±1 |
存在异常值的鲁棒估计 |
| Huber |
分段定义 |
中等 |
处处平滑 |
梯度被δ限幅 |
综合场景(推荐默认) |
| Log-Cosh |
log(cosh(y−y^)) |
低 |
处处平滑(二阶可导) |
类似Huber且更平滑 |
需要二阶信息的场景 |
| Quantile |
ρτ(y−y^) |
可控 |
在0处不可导 |
非对称梯度 |
分位数回归、置信区间预测 |
分位数损失(Quantile Loss) 是一种非对称损失函数,适用于预测区间而非点估计:
LQuantile(y,y^)={τ(y−y^)(1−τ)(y^−y)if y≥y^if y<y^
其中 τ∈(0,1) 是目标分位数。例如 τ=0.9 会惩罚低估多于高估,从而产生上界预测。
交叉熵是分类任务中最常用的损失函数,源自信息论。对于二分类问题:
LBCE(y,p^)=−[ylogp^+(1−y)log(1−p^)]
其中 y∈{0,1} 是真实标签,p^∈[0,1] 是模型预测为正类的概率。
数值实例:真实标签 y=1,模型预测正类概率 p^=0.9,则损失为 −log(0.9)≈0.105。若模型只预测 p^=0.1,则损失为 −log(0.1)≈2.302。
| 真实标签 |
预测概率 |
损失值 |
说明 |
| y=1 |
p^=0.99 |
0.010 |
高置信度正确 |
| y=1 |
p^=0.9 |
0.105 |
正确,但还有提升空间 |
| y=1 |
p^=0.6 |
0.511 |
低置信度正确 |
| y=1 |
p^=0.5 |
0.693 |
模棱两可(等价于随机猜) |
| y=1 |
p^=0.4 |
0.916 |
轻微错误 |
| y=1 |
p^=0.1 |
2.303 |
严重错误 |
| y=1 |
p^=0.01 |
4.605 |
灾难性错误(高置信度错误) |
对于多分类问题(K 个类别),使用 Categorical Cross-Entropy:
LCE(y,p^)=−k=1∑Kyklogp^k
其中 yk 是 one-hot 编码的第 k 个标签,p^k 是 softmax 输出的第 k 个概率。
Softmax + Cross-Entropy 的梯度:组合后的梯度形式极其简洁:
∂zk∂LCE=p^k−yk
其中 zk 是 softmax 之前的 logits。这个简洁形式是交叉熵在神经网络中广泛应用的关键原因——梯度计算既直观又高效。
用于支持向量机和最大间隔分类器:
LHinge(y,y^)=max(0,1−y⋅y^)
其中 y∈{−1,1},y^ 是模型的原始输出(非概率)。当正确分类且间隔足够大时(yy^≥1),损失为 0。
数值实例:真实标签 y=1,模型输出 y^=2,则 yy^=2≥1,损失为 0。若 y^=0.5,损失为 max(0,1−0.5)=0.5。若 y^=−1(完全分类错误),损失为 max(0,1−(−1))=2。
针对类别不平衡问题,在交叉熵基础上增加聚焦参数:
LFocal(pt)=−(1−pt)γlog(pt)
其中 pt 为正确类别的预测概率,γ≥0 为聚焦参数。
Focal Loss 由 Lin 等人于 2017 年在 RetinaNet 目标检测论文中提出,一举解决了单阶段检测器精度落后于两阶段检测器的核心问题(当时的单阶段检测器如 YOLO、SSD 因类别极端不平衡而精度不足)。
核心思想:当 γ>0 时,已正确分类的样本(pt 较大)损失贡献被大幅降低,使模型更专注于难分类样本。
数值实例:设 γ=2:
| 场景 |
p^t |
交叉熵损失 |
Focal Loss (γ=2) |
减轻比例 |
| 易分类样本(置信度高) |
0.9 |
0.105 |
0.00105 |
100倍减轻 |
| 中等样本 |
0.7 |
0.357 |
0.032 |
11倍减轻 |
| 困难样本(置信度低) |
0.3 |
1.204 |
0.590 |
2倍减轻 |
| 极困难样本 |
0.1 |
2.303 |
1.864 |
仅1.2倍减轻 |
graph TD
subgraph Focal Loss 作用机制
A[训练数据] --> B{样本难度}
B -->|易分类样本| C[大幅降低权重<br/>1-pt 很小 → 几乎忽略]
B -->|困难样本| D[保持甚至增加权重<br/>1-pt 较大 → 重点关注]
C --> E[优化方向偏向困难样本]
D --> E
E --> F[对类别不平衡更加鲁棒]
end
style C fill:#c8e6c9
style D fill:#ffcdd2
style F fill:#fff3e0
| γ |
pt=0.9 的减轻比例 |
pt=0.3 的减轻比例 |
推荐场景 |
| 0 |
1×(等价CE) |
1× |
无类别不平衡 |
| 1 |
10×减轻 |
1.4×减轻 |
中等不平衡 |
| 2 |
100×减轻 |
2×减轻 |
严重不平衡(推荐默认) |
| 5 |
10万×减轻 |
5.7×减轻 |
极端不平衡(目标检测) |
RetinaNet 使用 γ=2 在 COCO 目标检测数据集上取得了当时最先进的成果(mAP 39.1),证明了 Focal Loss 在类别极度不平衡场景下的有效性。
用于人脸识别、度量学习等任务,将同一类别的样本拉近、不同类别的推开:
LTriplet(a,p,n)=max(0,∥f(a)−f(p)∥22−∥f(a)−f(n)∥22+α)
其中 a 为锚点样本,p 为正样本(同类),n 为负样本(异类),α 为间隔参数(通常设为 0.2~1.0)。
graph LR
subgraph 训练前
A1[锚点 a]
P1[正样本 p<br/>同类]
N1[负样本 n<br/>异类]
A1 --- P1
A1 --- N1
end
subgraph 训练后
A2[锚点 a]
P2[正样本 p<br/>拉近]
N2[负样本 n<br/>推远]
A2 === P2
A2 -.- N2
end
style P1 fill:#c8e6c9
style P2 fill:#c8e6c9
style N1 fill:#ffcdd2
style N2 fill:#ffcdd2
style A1 fill:#e3f2fd
style A2 fill:#e3f2fd
Triplet Loss 训练目标:缩小同类间距,扩大异类间距(直到 margin α)
数值实例:
| 场景 |
d(a,p) |
d(a,n) |
α |
损失 |
说明 |
| 理想 |
0.3 |
0.8 |
0.2 |
max(0,0.3−0.8+0.2)=0 |
已满足约束,无需优化 |
| 临界 |
0.5 |
0.6 |
0.2 |
max(0,0.5−0.6+0.2)=0.1 |
刚超过边界,微调即可 |
| 困难 |
0.7 |
0.4 |
0.2 |
max(0,0.7−0.4+0.2)=0.5 |
负样本比正样本更近,需要大幅调整 |
| 极端 |
0.9 |
0.2 |
0.2 |
max(0,0.9−0.2+0.2)=0.9 |
严重违反,最大惩罚 |
FaceNet(Schroff et al., 2015)使用 Triplet Loss 在 LFW 人脸验证数据集上达到了 99.63% 的准确率,是度量学习在工业界的标志性应用。FaceNet 的一个关键工程创新是难样本挖掘(Hard Negative Mining):只选择 d(a,n)<d(a,p) 的困难三元组进行训练,因为简单三元组的损失已经为 0,对训练没有贡献。
InfoNCE 损失在自监督学习中广泛应用:
LInfoNCE=−log∑k=12N1[k=i]exp(sim(zi,zk)/τ)exp(sim(zi,zj)/τ)
其中 sim(⋅,⋅) 为余弦相似度,τ 为温度参数。这个损失在自监督学习(SimCLR, MoCo)中广泛应用。
温度参数 τ 的影响:
- τ 较小(如 0.07):对相似度差异更敏感,倾向"硬分配"——更好地区分相似样本
- τ 较大(如 1.0):相似度差异被平滑,倾向"软分配"
- 推荐范围:0.05~0.5
SimCLR(Chen et al., 2020)使用 InfoNCE 在 ImageNet 上达到了与监督学习竞争的自监督结果(top-1 acc 76.5%),验证了对比学习在大规模无监督表示学习中的有效性。
| 损失函数 |
每次使用样本数 |
显存消耗 |
适用场景 |
代表工作 |
| Triplet Loss |
3(1个三元组) |
低 |
人脸识别、检索 |
FaceNet |
| InfoNCE (NT-Xent) |
2N(N 个正对) |
高(需大批量) |
自监督学习 |
SimCLR |
| Contrastive |
2(1个正对) |
低 |
度量学习 |
Siamese Network |
| MultiSimilarity |
取决于采样策略 |
中 |
细粒度检索 |
MultiSimilarity Loss |
为防止过拟合,在原始损失基础上添加正则化项:
Ltotal=N1i=1∑NL(yi,y^i)+λΩ(θ)
常见的正则化项:
| 正则化 |
公式 |
效果 |
特性代码 |
| L1 (Lasso) |
λ∥θ∥1 |
产生稀疏权重(特征选择) |
L1Loss |
| L2 (Ridge) |
2λ∥θ∥22 |
权重衰减,防止过拟合 |
weight_decay |
| Elastic Net |
λ1∥θ∥1+λ2∥θ∥22 |
综合 L1 和 L2 优点 |
L1Loss + weight_decay |
| Entropy Reg |
−λ∑p^logp^ |
鼓励预测熵高(防止过自信) |
强化学习中使用 |
| Dropout |
随机丢弃神经元 |
隐式集成学习 |
nn.Dropout |
L1 vs L2 的可视化对比:
graph LR
subgraph L1正则化
A1[损失等高线] --> B1[菱形约束<br/>最优解在角点<br/>→ 稀疏解]
end
subgraph L2正则化
A2[损失等高线] --> B2[圆形约束<br/>最优解在切点<br/>→ 权重衰减]
end
style B1 fill:#ffcdd2
style B2 fill:#c8e6c9
L1 正则化产生稀疏解的关键在于约束区域的形状:L1 的菱形约束在某些坐标轴上角点处更容易接触损失等高线,导致对应维度的权重被压缩为0。
NCE(Noise Contrastive Estimation)将无监督问题转化为二分类问题:
LNCE=−E[logpθ(x)+kq(x)pθ(x)]−k⋅Eq[logpθ(x)+kq(x)kq(x)]
其中 pθ 为模型分布,q 为噪声分布,k 为噪声样本数。Word2Vec 和许多自监督学习算法均使用 NCE 或其变体。
选择噪声分布 q 的经验法则:
- 对于语言模型:使用 unigram 分布(基于词频采样)
- 对于图像模型:使用均匀分布或从其他类别随机采样
- 噪声样本数 k:经验上 k=25 效果良好(Mikolov et al., 2013)

上图展示了神经网络训练过程中损失函数的景观。三维曲面的高低代表损失值的大小,蓝色到橙色的渐变表示从低损失区域(冷色)到高损失区域(暖色)的过渡。优化算法沿着曲面下坡寻找全局极小点。
现代深度学习中的损失函数往往高度非凸,在高维参数空间形成复杂的"损失景观"(Loss Landscape)。理解这些景观对优化至关重要:
| 特征 |
描述 |
应对策略 |
| 鞍点 |
在某些方向是极小、在另一些方向是极大的点 |
动量优化、自适应学习率(Adam) |
| 局部极小 |
某些区域中的极小值,非全局最优 |
SGD 的随机噪声可帮助逃离;大模型经验表明大多数局部极小与全局极小的性能接近 |
| 平坦极小 vs 尖锐极小 |
平坦极小的泛化性能通常更好 |
使用 SGD 而非 Adam 更易找到平坦极小 |
| 梯度消失 |
损失函数在输入空间的某些区域梯度接近于 0 |
使用 ReLU 激活函数、Batch Normalization、残差连接 |
实证发现(Li et al., 2018, "Visualizing the Loss Landscape of Neural Nets"):
- 更深的网络通常有更复杂的损失景观,但适当的跳跃连接(ResNet)可以显著平滑景观
- 批量归一化(Batch Normalization)对损失景观的平滑效果甚至超过残差连接
- 对于同一网络架构,不同损失函数也会改变损失景观的形状——这也是选对损失函数重要的深层原因
以 MNIST(10 分类,60000 训练样本)使用相同 3 层 MLP 架构(256-128-64),SGD 学习率 0.01,训练 20 epochs:
| 损失函数 |
训练准确率 |
测试准确率 |
收敛至 90% 所需 epoch |
备注 |
| Cross-Entropy |
99.8% |
99.2% |
3 |
默认首选,收敛最快 |
| MSE(概率输出) |
98.5% |
97.8% |
8 |
梯度衰减问题,收敛慢 |
| Hinge Loss |
99.5% |
98.9% |
5 |
适用于 SVM 风格分类器 |
| Focal Loss (γ=2) |
99.6% |
99.1% |
4 |
在均衡数据集上无明显优势 |
| Label Smoothing |
99.7% |
99.3% |
3 |
泛化略好,置信度校准更优 |
实验结论:对于类别均衡的分类任务,Cross-Entropy 是最佳默认选择;Focal Loss 和 Label Smoothing 在特定场景下略有优势。
以下用 PyTorch 实现几种常用损失函数:
import torch
import torch.nn.functional as F
def focal_loss(logits, targets, gamma=2.0, alpha=None):
"""Focal Loss 实现"""
ce_loss = F.cross_entropy(logits, targets, reduction='none')
pt = torch.exp(-ce_loss) # 预测正确类别的概率
focal_weight = (1 - pt) ** gamma
if alpha is not None:
# alpha 平衡因子:处理类别不平衡
alpha_t = alpha[targets]
focal_weight = alpha_t * focal_weight
return focal_weight * ce_loss
def huber_loss(pred, target, delta=1.0):
"""Huber Loss 实现"""
diff = torch.abs(pred - target)
return torch.where(
diff <= delta,
0.5 * diff ** 2,
delta * diff - 0.5 * delta ** 2
)
def triplet_loss(anchor, positive, negative, margin=0.2):
"""Triplet Loss 实现"""
d_pos = torch.sum((anchor - positive) ** 2, dim=1)
d_neg = torch.sum((anchor - negative) ** 2, dim=1)
loss = torch.clamp(d_pos - d_neg + margin, min=0)
return loss.mean()
def info_nce_loss(features, temperature=0.07):
"""InfoNCE / NT-Xent Loss 实现(SimCLR 风格)"""
# features: [2N, D] — N对正样本
features = F.normalize(features, dim=1)
similarity = torch.matmul(features, features.T) / temperature
batch_size = features.shape[0] // 2
labels = torch.cat([
torch.arange(batch_size, device=features.device) + batch_size,
torch.arange(batch_size, device=features.device)
])
mask = torch.eye(batch_size * 2, device=features.device).bool()
similarity = similarity[~mask].view(batch_size * 2, -1)
return F.cross_entropy(similarity, labels)
graph TD
Start{任务类型?} --> Reg[回归任务]
Start --> Cls[分类任务]
Start --> Metric[度量/对比学习]
Start --> Gen[生成任务]
Reg --> Outlier{异常值较多?}
Outlier -->|是| Huber[Huber Loss]
Outlier -->|否| MSE[MSE]
Cls --> Binary{二分类?}
Binary -->|是| Imb{类别不平衡?}
Imb -->|是| Focal[Focal Loss]
Imb -->|否| BCE[Binary Cross-Entropy]
Binary -->|否| Multi{多分类?}
Multi --> Imb2{类别不平衡?}
Imb2 -->|是| Focal2[Focal Loss]
Imb2 -->|否| CE[Categorical Cross-Entropy]
Metric --> Contrastive[对比学习]
Metric --> Ranking[排序任务]
Contrastive --> InfoNCE[InfoNCE / NT-Xent]
Ranking --> ListNet[ListNet / LambdaRank]
Gen --> ContGen[连续数据]
Gen --> DiscGen[离散数据]
ContGen --> MSEGen[MSE / VAE Loss]
DiscGen --> CrossEnt[Cross-Entropy]
style Start fill:#e3f2fd
style Huber fill:#fff3e0
style MSE fill:#fff3e0
style Focal fill:#e8f5e9
style CE fill:#e8f5e9
style BCE fill:#e8f5e9
style InfoNCE fill:#f3e5f5
| 场景 |
推荐损失函数 |
对应激活函数 |
备注 |
| 线性回归 |
MSE |
无(线性) |
最简单的回归 |
| 鲁棒回归 |
Huber Loss |
线性 |
存在异常值时使用 |
| 二分类 |
Binary Cross-Entropy |
Sigmoid |
默认首选 |
| 多分类 |
Categorical Cross-Entropy |
Softmax |
默认首选,可配合 Label Smoothing |
| 多标签分类 |
BCE(多输出) |
Sigmoid(每个输出) |
每个标签独立的二分类 |
| 类别不平衡 |
Focal Loss |
Softmax / Sigmoid |
目标检测、异常检测 |
| 对比学习 |
InfoNCE / Triplet |
L2 归一化 |
SimCLR, MoCo, FaceNet |
| 生成对抗 |
BCE(判别器) |
Sigmoid |
GAN |
| 变分自编码器 |
MSE + KL Divergence |
线性(解码器) |
VAE |
| 序列到序列 |
CE + Label Smoothing |
Softmax + 温度 |
Transformer, LLM |
| 度量学习 |
Triplet / ArcFace |
L2 归一化 |
人脸识别、相似度检索 |
| 目标检测 |
Focal Loss + Smooth L1 |
Softmax + 线性 |
RetinaNet, YOLO |
| 排序学习 |
ListNet / LambdaRank |
Softmax |
搜索排序、推荐系统 |
| 自监督学习 |
InfoNCE / Masked Recon |
余弦相似度 |
SimCLR, MAE, BERT |
timeline
title 损失函数发展简史
1809 : 高斯提出最小二乘法 (MSE)
1958 : Rosenblatt 感知机损失
1963 : Vapnik 提出 Hinge Loss (SVM)
1986 : Rumelhart 用 MSE 训练反向传播
1990s : Cross-Entropy 在分类中普及
2003 : Mikolov 用 NCE 训练 Word2Vec
2012 : Krizhevsky 在 AlexNet 使用 Cross-Entropy
2015 : FaceNet 使用 Triplet Loss (Schroff)
2017 : Focal Loss 解决目标检测不平衡问题
2020 : SimCLR 使用 InfoNCE 推广对比学习
2023+ : 偏好对齐损失 (DPO/RLHF)
-
从最成熟的损失函数开始:回归用 MSE,分类用 Cross-Entropy,然后根据问题调整。不推荐一开始就使用复杂的定制损失。
-
正则化先行:在调整损失函数之前,先尝试不同的正则化强度(L2 weight decay 通常效果稳定)。很多情况下,简单的损失 + 合适的正则化已经足够。
-
关注梯度行为:如果训练不稳定(损失震荡),检查损失函数的梯度是否过大或过小。梯度裁剪(Gradient Clipping)可以缓解大部分梯度爆炸问题。
-
合理初始化:某些损失函数(如 Focal Loss)对初始化敏感。建议先用标准 Cross-Entropy 预训练几个 epoch,再切换到 Focal Loss 做精细调优。
-
多任务学习:当需要同时优化多个指标时,考虑加权损失:
Ltotal=w1L1+w2L2+…
权重的设定可以通过:
- 手动调参(简单但费时)
- 不确定性加权(Kendall et al., 2018):L=σ121L1+σ221L2+logσ1σ2
- 动态平衡:让各损失的梯度量级接近
| 陷阱 |
现象 |
原因 |
解决方案 |
| 损失爆炸 |
损失值快速增长至 NaN |
梯度爆炸(常发生在 MSE + 大异常值) |
梯度裁剪、切换到 Huber Loss |
| 对数值溢出 |
损失显示 NaN 或 Inf |
log(0) 出现在 Cross-Entropy 中 |
添加 ϵ=10−8 数值稳定 |
| 激活函数不匹配 |
模型不收敛 |
损失函数要求的输出范围与激活函数不匹配 |
检查损失-激活对应表 |
| 不平衡主导 |
模型预测全为多数类 |
Cross-Entropy 被多数类淹没 |
使用 Focal Loss 或加权 Cross-Entropy |
| 标签平滑被忽略 |
模型过于自信 |
未在实现中应用标签平滑 |
y^=(1−ϵ)y+ϵ/K |
| 梯度消失 |
训练几乎不更新 |
损失函数在饱和区梯度极小 |
检查损失函数选择、初始化方法 |
| 梯度消失(Cross-Entropy + Sigmoid) |
对数不利区域梯度极小 |
极端预测值饱和 |
使用 Logit 版本(结合 BCEWithLogitsLoss) |
数值稳定版本示例:
# ❌ 不稳定的实现
loss = -y_true * torch.log(y_pred + 1e-8)
# ✅ 稳定的实现(PyTorch 内置)
loss = F.binary_cross_entropy_with_logits(y_pred, y_true)
# BCEWithLogitsLoss = Sigmoid + BCE 数值稳定版本
损失函数是机器学习的核心组成部分,选择合适的损失函数需要综合考虑任务类型、数据特性、模型架构和优化算法。
核心建议:没有最好的损失函数,只有最适合特定任务的损失函数。从最成熟的方案开始(回归用 MSE,分类用 Cross-Entropy),用数据验证替代理论猜测,并根据具体问题逐步调整。
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. Chapter 6: Deep Feedforward Networks.
- Lin, T. Y., et al. (2017). Focal Loss for Dense Object Detection. ICCV.
- Schroff, F., et al. (2015). FaceNet: A Unified Embedding for Face Recognition and Clustering. CVPR.
- Chen, T., et al. (2020). A Simple Framework for Contrastive Learning of Visual Representations. ICML.
- Kendall, A., et al. (2018). Multi-Task Learning Using Uncertainty to Weigh Losses. CVPR.
- Li, H., et al. (2018). Visualizing the Loss Landscape of Neural Nets. NeurIPS.
参见:机器学习基础 | 深度学习框架 | AI 知识库首页