岭回归 (Ridge Regression,又称 Tikhonov 正则化)是线性回归的 L2 正则化版本,通过在损失函数中引入系数平方和的惩罚项,有效缓解过拟合与多重共线性问题。自 Hoerl 和 Kennard 于 1970 年系统提出以来,岭回归已成为统计建模、机器学习和数据分析中最稳定、最常用的线性方法之一。
普通最小二乘法(OLS)的优化目标为:
min β ∑ i = 1 n ( y i − x i T β ) 2 \min_{\beta} \sum_{i=1}^n (y_i - \mathbf{x}_i^T \beta)^2
β min i = 1 ∑ n ( y i − x i T β ) 2
其解析解为:
β ^ O L S = ( X T X ) − 1 X T y \hat{\beta}_{OLS} = (X^T X)^{-1} X^T y
β ^ O L S = ( X T X ) − 1 X T y
当特征数 p pp 接近样本数 n nn ,或特征间存在高度相关性时,X T X X^T XX T X 接近奇异(条件数极大),导致以下问题:
系数方差剧增 :OLS 的系数方差为 σ 2 ( X T X ) − 1 \sigma^2 (X^T X)^{-1}σ 2 ( X T X ) − 1 ,当 X T X X^T XX T X 有接近零的特征值时,方差趋于无穷
过拟合 :模型完美拟合训练噪声,在新数据上表现极差
不稳定性 :微小输入变化导致系数大幅震荡,预测不可靠
正则化在损失函数中加入对模型复杂度的惩罚,迫使系数向零收缩(shrinkage):
min β ∑ i = 1 n ( y i − x i T β ) 2 + λ ∥ β ∥ 2 2 \min_{\beta} \sum_{i=1}^n (y_i - \mathbf{x}_i^T \beta)^2 + \lambda \|\beta\|_2^2
β min i = 1 ∑ n ( y i − x i T β ) 2 + λ ∥ β ∥ 2 2
其中:
β \betaβ :回归系数向量
λ ≥ 0 \lambda \geq 0λ ≥ 0 :正则化强度(超参数)
∥ β ∥ 2 2 = ∑ j = 1 p β j 2 \|\beta\|_2^2 = \sum_{j=1}^p \beta_j^2∥ β ∥ 2 2 = ∑ j = 1 p β j 2 :L2 范数平方
L2 正则化:损失函数的椭圆等高线与 L2 球形约束区域的切点,给出了岭回归的解
在统计学中,正则化等价于对系数施加先验约束。它是 偏差-方差权衡 (Bias-Variance Tradeoff)的经典应用——通过引入少量偏差,换取更大的方差降低,从而使总预测误差最小化。
graph TD
A[高维/共线性数据] --> B{是否正则化?}
B -->|否 - OLS| C[无偏估计<br>方差极大<br>过拟合]
B -->|是 - Ridge| D[有偏估计<br>方差大幅降低<br>泛化能力强]
C --> E[测试集误差高]
D --> F[测试集误差最小化]
style D fill:#90EE90,stroke:#333
style F fill:#90EE90,stroke:#333
对岭回归的目标函数求导并令导数为零,得到闭式解:
β ^ r i d g e = ( X T X + λ I ) − 1 X T y \hat{\beta}_{ridge} = (X^T X + \lambda I)^{-1} X^T y
β ^ r i d g e = ( X T X + λ I ) − 1 X T y
其中 I II 是 p × p p \times pp × p 单位矩阵。对比 OLS 解:
OLS:β ^ O L S = ( X T X ) − 1 X T y \hat{\beta}_{OLS} = (X^T X)^{-1} X^T yβ ^ O L S = ( X T X ) − 1 X T y
Ridge:β ^ r i d g e = ( X T X + λ I ) − 1 X T y \hat{\beta}_{ridge} = (X^T X + \lambda I)^{-1} X^T yβ ^ r i d g e = ( X T X + λ I ) − 1 X T y
关键区别 :Ridge 在 X T X X^T XX T X 的对角线上加 λ \lambdaλ ,确保矩阵始终可逆(即使 X T X X^T XX T X 非满秩),同时缩小了特征值。
对设计矩阵 X XX 做 SVD:X = U Σ V T X = U \Sigma V^TX = U Σ V T ,其中 Σ = diag ( σ 1 , … , σ p ) \Sigma = \text{diag}(\sigma_1, \dots, \sigma_p)Σ = diag ( σ 1 , … , σ p ) 。则:
β ^ O L S = ∑ j = 1 p u j T y σ j v j \hat{\beta}_{OLS} = \sum_{j=1}^p \frac{u_j^T y}{\sigma_j} v_j
β ^ O L S = j = 1 ∑ p σ j u j T y v j
β ^ r i d g e = ∑ j = 1 p σ j 2 σ j 2 + λ ⋅ u j T y σ j v j \hat{\beta}_{ridge} = \sum_{j=1}^p \frac{\sigma_j^2}{\sigma_j^2 + \lambda} \cdot \frac{u_j^T y}{\sigma_j} v_j
β ^ r i d g e = j = 1 ∑ p σ j 2 + λ σ j 2 ⋅ σ j u j T y v j
收缩因子 σ j 2 σ j 2 + λ \frac{\sigma_j^2}{\sigma_j^2 + \lambda}σ j 2 + λ σ j 2 的作用:
大特征值方向(σ j ≫ λ \sigma_j \gg \lambdaσ j ≫ λ ):收缩因子 ≈ 1 \approx 1≈ 1 ,几乎不动
小特征值方向(σ j ≪ λ \sigma_j \ll \lambdaσ j ≪ λ ):收缩因子 ≈ 0 \approx 0≈ 0 ,强烈压缩
这解释了岭回归能有效处理多重共线性的本质原因——它将不稳定的小特征值方向上的噪声信息压缩掉。
假设 n = 5 n = 5n = 5 个样本,p = 3 p = 3p = 3 个高度相关特征:
X = [ 1 1.05 2.1 1 0.95 1.9 1 2.1 4.2 1 1.95 3.9 1 3.0 6.0 ] , y = [ 3.1 2.9 6.3 5.8 9.0 ] X = \begin{bmatrix} 1 & 1.05 & 2.1 \\ 1 & 0.95 & 1.9 \\ 1 & 2.1 & 4.2 \\ 1 & 1.95 & 3.9 \\ 1 & 3.0 & 6.0 \end{bmatrix}, \quad y = \begin{bmatrix} 3.1 \\ 2.9 \\ 6.3 \\ 5.8 \\ 9.0 \end{bmatrix}
X = 1 1 1 1 1 1.05 0.95 2.1 1.95 3.0 2.1 1.9 4.2 3.9 6.0 , y = 3.1 2.9 6.3 5.8 9.0
注意 x 2 ≈ 2 × x 1 x_2 \approx 2 \times x_1x 2 ≈ 2 × x 1 ,x 3 ≈ 2 × x 2 x_3 \approx 2 \times x_2x 3 ≈ 2 × x 2 ,特征间存在高度共线性。
方法
β 0 \beta_0β 0
β 1 \beta_1β 1
β 2 \beta_2β 2
β 3 \beta_3β 3
条件数
OLS (λ = 0 \lambda=0λ = 0 )
0.10
0.85
1.72
3.51
1.5 × 10 5 1.5 \times 10^51.5 × 1 0 5
Ridge (λ = 0.1 \lambda=0.1λ = 0.1 )
0.12
0.82
1.65
3.28
45.2
Ridge (λ = 1.0 \lambda=1.0λ = 1.0 )
0.15
0.71
1.38
2.75
7.8
Ridge (λ = 10 \lambda=10λ = 10 )
0.28
0.32
0.58
1.12
1.9
随着 λ \lambdaλ 增大,系数显著收缩,条件数从 10 5 10^51 0 5 降至 1.9 1.91.9 ,矩阵稳定性大幅提升。
岭回归等价于带约束的优化问题:
min β ∑ i = 1 n ( y i − x i T β ) 2 s.t. ∥ β ∥ 2 2 ≤ t \min_{\beta} \sum_{i=1}^n (y_i - \mathbf{x}_i^T \beta)^2 \quad \text{s.t.} \quad \|\beta\|_2^2 \leq t
β min i = 1 ∑ n ( y i − x i T β ) 2 s.t. ∥ β ∥ 2 2 ≤ t
graph LR
subgraph OLS
A[(X^T X)^{-1} X^T y] --> B[无约束<br>系数可任意大]
end
subgraph Ridge
C[(X^T X + λI)^{-1} X^T y] --> D[L2球约束<br>系数受限]
end
B --> E[椭圆等高线与球面切点]
D --> E
图解 :损失函数的等高线是椭圆,L2 约束是半径为 t \sqrt{t}t 的球面。解是椭圆与球面的切点——不一定是 OLS 最优解,但在球约束内的最优解。
假设有两个特征 β 1 \beta_1β 1 和 β 2 \beta_2β 2 :
OLS 的解可能落在距离原点很远的位置(系数很大)
Ridge 的 L2 球约束将解限制在一个圆形区域内
圆形约束导致系数同时收缩但不为零(L2 球是光滑凸集,切点不在坐标轴上)
这与 Lasso(L1 约束形成菱形区域)形成鲜明对比——Lasso 在角点处产生稀疏解(部分系数为零),而 Ridge 保留所有特征。
岭回归的本质是在偏差和方差之间寻找最优平衡点。
graph TD
subgraph λ 增大方向
L[λ = 0<br>OLS] --> M[λ = λ*<br>最优] --> H[λ → ∞<br>全为0]
end
subgraph 误差变化
B[偏差 ↑] --> B1[偏差增大]
V[方差 ↓] --> V1[方差减小]
T[总误差] --> T1[U型曲线]
end
L -.-> B
L -.-> V
M -.-> T1
偏差-方差权衡曲线:随着正则化强度增加,偏差逐渐增大而方差快速减小,总预测误差呈现 U 型,最低点对应最优 λ \lambdaλ 选择
在不同 λ \lambdaλ 下,偏差和方差的变化规律:
λ \lambdaλ
偏差
方差
总误差
适用场景
λ = 0 \lambda = 0λ = 0
0(无偏)
最大
高(过拟合)
n ≫ p n \gg pn ≫ p 且无共线性
0 < λ < λ ∗ 0 < \lambda < \lambda^*0 < λ < λ ∗
轻微
大幅降低
降低
常见选择
λ = λ ∗ \lambda = \lambda^*λ = λ ∗
可接受
显著降低
最低
最优
λ > λ ∗ \lambda > \lambda^*λ > λ ∗
过大
小幅降低
回升(欠拟合)
先验强或噪声极大
随着 λ \lambdaλ 从 0 00 增至 ∞ \infty∞ ,岭回归的系数不断变化形成正则化路径。这是一个连续平滑的曲线——与 Lasso 不同,Ridge 的所有系数同时收缩但不归零。
将数据分为 K 份(通常 K=5 或 10),每份轮流做验证集,选择使平均验证误差最小的 λ \lambdaλ :
for λ in candidate_values:
for fold k in 1..K:
在 K-1 份上拟合 Ridge(λ)
在剩余 1 份上计算 MSE
CV_error[λ] = mean(MSE over K folds)
λ* = argmin CV_error[λ]
当 n nn 较小时,留一交叉验证是更好的选择。对岭回归,LOOCV 有简洁的闭式公式:
CV ( λ ) = 1 n ∑ i = 1 n ( y i − y ^ i 1 − H i i ( λ ) ) 2 \text{CV}(\lambda) = \frac{1}{n} \sum_{i=1}^n \left( \frac{y_i - \hat{y}_i}{1 - H_{ii}(\lambda)} \right)^2
CV ( λ ) = n 1 i = 1 ∑ n ( 1 − H ii ( λ ) y i − y ^ i ) 2
其中 H ( λ ) = X ( X T X + λ I ) − 1 X T H(\lambda) = X (X^T X + \lambda I)^{-1} X^TH ( λ ) = X ( X T X + λ I ) − 1 X T 是帽子矩阵,H i i H_{ii}H ii 是其对角线元素。
GCV 用迹近似代替逐项计算,计算效率远高于 LOOCV:
GCV ( λ ) = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 ( 1 − 1 n tr ( H ( λ ) ) ) 2 \text{GCV}(\lambda) = \frac{\frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2}{(1 - \frac{1}{n} \text{tr}(H(\lambda)))^2}
GCV ( λ ) = ( 1 − n 1 tr ( H ( λ )) ) 2 n 1 ∑ i = 1 n ( y i − y ^ i ) 2
import numpy as np
from sklearn.linear_model import Ridge, RidgeCV
from sklearn.preprocessing import StandardScaler
# 生成含共线性的合成数据
np.random.seed(42)
n, p = 100, 20
X = np.random.randn(n, p)
# 引入共线性
for j in range(1, p):
X[:, j] = X[:, 0] + 0.1 * np.random.randn(n)
true_beta = np.random.randn(p) * 0.5
y = X @ true_beta + 0.5 * np.random.randn(n)
# 标准化(岭回归对尺度敏感)
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
# 交叉验证选择最优 lambda
ridge_cv = RidgeCV(
alphas=np.logspace(-3, 3, 50),
scoring='neg_mean_squared_error',
cv=5
)
ridge_cv.fit(X_scaled, y)
print(f"最优 lambda: {ridge_cv.alpha_:.4f}")
print(f"R² 分数: {ridge_cv.score(X_scaled, y):.4f}")
# 不同 lambda 下的系数范数
for lam in [0.01, 0.1, 1.0, 10.0, 100.0]:
ridge = Ridge(alpha=lam)
ridge.fit(X_scaled, y)
coef_norm = np.linalg.norm(ridge.coef_, 2)
print(f"λ={lam:6.2f} → ||β||₂ = {coef_norm:.4f}")
输出示例:
最优 lambda: 1.2457
R² 分数: 0.8234
λ= 0.01 → ||β||₂ = 3.2145
λ= 0.10 → ||β||₂ = 2.8893
λ= 1.00 → ||β||₂ = 1.8752
λ= 10.00 → ||β||₂ = 0.8761
λ=100.00 → ||β||₂ = 0.3214
def ridge_regression(X, y, lambda_val):
"""
岭回归的闭式解实现
Parameters:
X: (n, p) 设计矩阵
y: (n,) 目标向量
lambda_val: 正则化强度
Returns:
beta: (p,) 系数向量
"""
n, p = X.shape
I = np.eye(p)
beta = np.linalg.solve(X.T @ X + lambda_val * I, X.T @ y)
return beta
# 验证手动实现与 sklearn 一致性
beta_manual = ridge_regression(X_scaled, y, lambda_val=1.0)
beta_sklearn = Ridge(alpha=1.0).fit(X_scaled, y).coef_
print(f"最大差异: {np.max(np.abs(beta_manual - beta_sklearn)):.2e}")
岭回归有优雅的贝叶斯解释:对系数施加高斯先验 β j ∼ N ( 0 , τ 2 ) \beta_j \sim N(0, \tau^2)β j ∼ N ( 0 , τ 2 ) ,Ridge 解对应后验分布的众数(MAP 估计)。
p ( β ∣ σ 2 ) ∝ exp ( − 1 2 σ 2 ∥ β ∥ 2 2 ) p(\beta | \sigma^2) \propto \exp\left(-\frac{1}{2\sigma^2}\|\beta\|_2^2\right)
p ( β ∣ σ 2 ) ∝ exp ( − 2 σ 2 1 ∥ β ∥ 2 2 )
此时 λ = σ 2 / τ 2 \lambda = \sigma^2 / \tau^2λ = σ 2 / τ 2 。这个视角解释了岭回归为什么倾向于较小的系数——这正是高斯先验的收缩效应。
graph TD
subgraph 频率学派视角
OLS[OLS: 无偏估计] -->|加 L2 惩罚| Ridge[Ridge: 有偏估计]
end
subgraph 贝叶斯视角
Prior[先验 β ~ N(0, τ²)] --> Posterior[后验分布]
Likelihood[似然 y|X,β ~ N(Xβ, σ²)] --> Posterior
Posterior --> MAP[MAP 估计 = Ridge 解<br>λ = σ²/τ²]
end
Ridge -.->|等价| MAP
特性
Ridge (L2)
Lasso (L1)
Elastic Net
惩罚项
λ ∥ β ∥ 2 2 \lambda \|\beta\|_2^2λ ∥ β ∥ 2 2
λ ∥ β ∥ 1 \lambda \|\beta\|_1λ ∥ β ∥ 1
λ 1 ∥ β ∥ 1 + λ 2 ∥ β ∥ 2 2 \lambda_1 \|\beta\|_1 + \lambda_2 \|\beta\|_2^2λ 1 ∥ β ∥ 1 + λ 2 ∥ β ∥ 2 2
解的形状
圆形约束
菱形约束
混合约束
特征选择
否(所有系数非零)
是(部分系数为零)
是(分组选择)
解的形式
闭式解
需迭代优化
需迭代优化
共线组处理
系数均匀收缩
只选一个特征
组内均匀 + 组间选择
计算复杂度
O ( p 3 ) \mathcal{O}(p^3)O ( p 3 )
O ( p 3 + k p ) \mathcal{O}(p^3 + kp)O ( p 3 + k p )
O ( p 3 + k p ) \mathcal{O}(p^3 + kp)O ( p 3 + k p )
p > n p > np > n 情况
唯一解(p pp 维)
至多 n nn 个非零
至多 n nn 个非零
假设有两个相关特征 x 1 , x 2 x_1, x_2x 1 , x 2 ,相关系数为 0.9:
Ridge (L2):β 1 = β 2 \beta_1 = \beta_2β 1 = β 2 均匀收缩,路径沿对角线直线向原点收缩
Lasso (L1):β 1 ≠ β 2 \beta_1 \neq \beta_2β 1 = β 2 竞争选择,先收缩一个至零,再收缩另一个
Elastic Net :介于两者之间,保留分组强相关性
通过核技巧将岭回归扩展到非线性空间:
f ( x ) = ∑ i = 1 n α i K ( x , x i ) f(x) = \sum_{i=1}^n \alpha_i K(x, x_i)
f ( x ) = i = 1 ∑ n α i K ( x , x i )
其中 α = ( K + λ I ) − 1 y \alpha = (K + \lambda I)^{-1} yα = ( K + λ I ) − 1 y ,K KK 为核矩阵。KRR 保留了 Ridge 闭式解的优势,同时通过核函数捕捉非线性关系。
场景
Ridge 适用性
p ≪ n p \ll np ≪ n ,无共线性
可选(与 OLS 接近)
p ≪ n p \ll np ≪ n ,有共线性
✅ 强烈推荐
p ≈ n p \approx np ≈ n
✅ 适合
p > n p > np > n
✅ 唯一可逆解
需要特征选择
❌ 不适合(用 Lasso)
需要高可解释性
✅ 适合(系数稳定)
候选 λ \lambdaλ 范围 :对数尺度搜索 [ 10 − 3 , 10 3 ] [10^{-3}, 10^3][ 1 0 − 3 , 1 0 3 ]
验证方法 :时间序列数据用前向验证(walk-forward),横截面数据用 K-fold
特征标准化 :输入特征必须标准化(均值为 0,方差为 1),否则惩罚项偏向高尺度特征
截距处理 :截距 β 0 \beta_0β 0 通常不参与正则化,需先中心化 y yy 和 X XX
未标准化特征 :若特征尺度差异大(如一个在 [ 0 , 1 ] [0,1][ 0 , 1 ] ,另一个在 [ 10 6 , 10 7 ] [10^6, 10^7][ 1 0 6 , 1 0 7 ] ),L2 惩罚不对等地压制小尺度特征
时序数据泄露 :时间序列回测时,必须使用滚动窗口而非随机 K-fold
λ \lambdaλ 过大 :过度收缩使有信号的特征被压制,导致欠拟合
忽视截距 :某些实现默认不对截距正则化,需确认 API 行为
Lasso 回归 :L1 正则化,适用于特征选择
Elastic Net :组合 L1 + L2 正则化
主成分回归(PCR) :先降维后回归的替代方法
偏差-方差权衡 :理解正则化的核心框架
优化于:2026-07-02