岭回归 (Ridge Regression, 又称 Tikhonov 正则化)是线性回归的 L2 正则化版本,通过在损失函数中引入系数平方和惩罚项,有效缓解过拟合与多重共线性问题。自 Hoerl 和 Kennard 于 1970 年系统提出以来,岭回归已成为统计建模、机器学习和量化金融中最稳定、最常用的线性方法之一。
普通最小二乘法(OLS)的优化目标为:
min β ∑ i = 1 n ( y i − x i T β ) 2 \min_{\beta} \sum_{i=1}^n (y_i - \mathbf{x}_i^T \beta)^2
β min i = 1 ∑ n ( y i − x i T β ) 2
解为:
β ^ O L S = ( X T X ) − 1 X T y \hat{\beta}_{OLS} = (X^T X)^{-1} X^T y
β ^ O L S = ( X T X ) − 1 X T y
当特征数 p pp 接近样本数 n nn ,或特征间存在高度相关性时,X T X X^T XX T X 接近奇异(条件数极大),导致:
系数估计方差剧增 :OLS 的系数方差为 σ 2 ( X T X ) − 1 \sigma^2 (X^T X)^{-1}σ 2 ( X T X ) − 1 ,当 X T X X^T XX T X 有接近零的特征值时,方差→ ∞ \to \infty→ ∞
过拟合 :模型完美拟合噪声,在新数据上表现极差
不稳定性 :微小输入变化导致系数大幅震荡
正则化在损失函数中加入对模型复杂度的惩罚,迫使系数向零收缩(shrinkage):
min β ∑ i = 1 n ( y i − x i T β ) 2 + λ ∥ β ∥ 2 2 \min_{\beta} \sum_{i=1}^n (y_i - \mathbf{x}_i^T \beta)^2 + \lambda \|\beta\|_2^2
β min i = 1 ∑ n ( y i − x i T β ) 2 + λ ∥ β ∥ 2 2
其中:
β \betaβ :回归系数向量
λ ≥ 0 \lambda \geq 0λ ≥ 0 :正则化强度(超参数)
∥ β ∥ 2 2 = ∑ j = 1 p β j 2 \|\beta\|_2^2 = \sum_{j=1}^p \beta_j^2∥ β ∥ 2 2 = ∑ j = 1 p β j 2 :L2 范数平方
在统计学中,正则化等价于在系数上施加先验约束,属于偏差-方差权衡 (Bias-Variance Tradeoff)的经典应用——引入少量偏差,换取巨大的方差降低,使总预测误差最小化。
graph TD
A[高维/共线性数据] --> B{是否正则化?}
B -->|否 - OLS| C[无偏估计<br>方差极大<br>过拟合]
B -->|是 - Ridge| D[有偏估计<br>方差大幅降低<br>泛化能力强]
C --> E[测试集误差高]
D --> F[测试集误差最小化]
style D fill:#90EE90,stroke:#333
style F fill:#90EE90,stroke:#333
对岭回归的目标函数求导并令导数为零,得到闭式解:
β ^ r i d g e = ( X T X + λ I ) − 1 X T y \hat{\beta}_{ridge} = (X^T X + \lambda I)^{-1} X^T y
β ^ r i d g e = ( X T X + λ I ) − 1 X T y
其中 I II 是 p × p p \times pp × p 单位矩阵。对比 OLS 解:
OLS:β ^ O L S = ( X T X ) − 1 X T y \hat{\beta}_{OLS} = (X^T X)^{-1} X^T yβ ^ O L S = ( X T X ) − 1 X T y
Ridge:β ^ r i d g e = ( X T X + λ I ) − 1 X T y \hat{\beta}_{ridge} = (X^T X + \lambda I)^{-1} X^T yβ ^ r i d g e = ( X T X + λ I ) − 1 X T y
关键区别 :Ridge 在 X T X X^T XX T X 的对角线上加 λ \lambdaλ ,确保矩阵始终可逆(即使 X T X X^T XX T X 非满秩),同时缩小了特征值。
对设计矩阵 X XX 做 SVD:X = U Σ V T X = U \Sigma V^TX = U Σ V T ,其中 Σ = diag ( σ 1 , … , σ p ) \Sigma = \text{diag}(\sigma_1, \dots, \sigma_p)Σ = diag ( σ 1 , … , σ p ) 。则:
β ^ O L S = ∑ j = 1 p u j T y σ j v j \hat{\beta}_{OLS} = \sum_{j=1}^p \frac{u_j^T y}{\sigma_j} v_j
β ^ O L S = j = 1 ∑ p σ j u j T y v j
β ^ r i d g e = ∑ j = 1 p σ j 2 σ j 2 + λ ⋅ u j T y σ j v j \hat{\beta}_{ridge} = \sum_{j=1}^p \frac{\sigma_j^2}{\sigma_j^2 + \lambda} \cdot \frac{u_j^T y}{\sigma_j} v_j
β ^ r i d g e = j = 1 ∑ p σ j 2 + λ σ j 2 ⋅ σ j u j T y v j
收缩因子 σ j 2 σ j 2 + λ \frac{\sigma_j^2}{\sigma_j^2 + \lambda}σ j 2 + λ σ j 2 的作用:
大特征值方向(σ j ≫ λ \sigma_j \gg \lambdaσ j ≫ λ ):收缩因子≈ 1 \approx 1≈ 1 ,几乎不动
小特征值方向(σ j ≪ λ \sigma_j \ll \lambdaσ j ≪ λ ):收缩因子≈ 0 \approx 0≈ 0 ,强烈压缩
这解释了为什么岭回归能有效处理多重共线性——它将不稳定的小特征值方向的信息压缩掉。
假设 n = 5 n = 5n = 5 个样本,p = 3 p = 3p = 3 个高度相关特征:
X = [ 1 1.05 2.1 1 0.95 1.9 1 2.1 4.2 1 1.95 3.9 1 3.0 6.0 ] , y = [ 3.1 2.9 6.3 5.8 9.0 ] X = \begin{bmatrix} 1 & 1.05 & 2.1 \\ 1 & 0.95 & 1.9 \\ 1 & 2.1 & 4.2 \\ 1 & 1.95 & 3.9 \\ 1 & 3.0 & 6.0 \end{bmatrix}, \quad y = \begin{bmatrix} 3.1 \\ 2.9 \\ 6.3 \\ 5.8 \\ 9.0 \end{bmatrix}
X = 1 1 1 1 1 1.05 0.95 2.1 1.95 3.0 2.1 1.9 4.2 3.9 6.0 , y = 3.1 2.9 6.3 5.8 9.0
注意 x 2 ≈ 2 × x 1 x_2 \approx 2 \times x_1x 2 ≈ 2 × x 1 (高度共线性),x 3 ≈ 2 × x 2 x_3 \approx 2 \times x_2x 3 ≈ 2 × x 2 。
方法
β 0 \beta_0β 0
β 1 \beta_1β 1
β 2 \beta_2β 2
β 3 \beta_3β 3
条件数
OLS (λ = 0 \lambda=0λ = 0 )
0.10
0.85
1.72
3.51
1.5 × 10 5 1.5 \times 10^51.5 × 1 0 5
Ridge (λ = 0.1 \lambda=0.1λ = 0.1 )
0.12
0.82
1.65
3.28
45.2
Ridge (λ = 1.0 \lambda=1.0λ = 1.0 )
0.15
0.71
1.38
2.75
7.8
Ridge (λ = 10 \lambda=10λ = 10 )
0.28
0.32
0.58
1.12
1.9
随着 λ \lambdaλ 增大,系数收缩显著,同时条件数大幅改善(从 10 5 10^51 0 5 降至 1.9 1.91.9 ),矩阵稳定性极度提升。
岭回归等价于带约束的优化问题:
min β ∑ i = 1 n ( y i − x i T β ) 2 s.t. ∥ β ∥ 2 2 ≤ t \min_{\beta} \sum_{i=1}^n (y_i - \mathbf{x}_i^T \beta)^2 \quad \text{s.t.} \quad \|\beta\|_2^2 \leq t
β min i = 1 ∑ n ( y i − x i T β ) 2 s.t. ∥ β ∥ 2 2 ≤ t
graph LR
subgraph OLS
A[(X^T X)^{-1} X^T y] --> B[无约束<br>系数可任意大]
end
subgraph Ridge
C[(X^T X + λI)^{-1} X^T y] --> D[L2球约束<br>系数受限]
end
B --> E[椭圆等高线与球面切点]
D --> E
style D fill:#e1f5fe
style E fill:#f57c00,color:#fff
图解 :损失函数的等高线是椭圆,L2 约束是半径为 t \sqrt{t}t 的球面。解是椭圆与球面的切点——不一定是 OLS 最优解,但在球内。
假设有两个特征 β 1 \beta_1β 1 和 β 2 \beta_2β 2 :
OLS 的解可能落在距离原点很远的位置(系数很大)
Ridge 的 L2 球约束将解限制在一个圆形区域内
这个圆形约束导致系数同时收缩,但不为零(L2 球是光滑凸集,切点不在坐标轴上)
这与 Lasso(L1 约束,菱形区域)形成鲜明对比——后者在角点处产生稀疏解(部分系数为零)。
随着 λ \lambdaλ 从 0 00 增至 ∞ \infty∞ ,岭回归系数形成一条正则化路径 :
λ \lambdaλ 范围
系数行为
偏差
方差
适用场景
λ = 0 \lambda = 0λ = 0
等于 OLS
0
最大
n ≫ p n \gg pn ≫ p 且无共线性
0 < λ < λ ∗ 0 < \lambda < \lambda^*0 < λ < λ ∗
轻微收缩
小
大降
常见选择
λ = λ ∗ \lambda = \lambda^*λ = λ ∗
最优权衡
可接受
显著降低
交叉验证选出的最优值
λ > λ ∗ \lambda > \lambda^*λ > λ ∗
过度收缩
大
小
强先验或小样本
λ → ∞ \lambda \to \inftyλ → ∞
全趋近 0
最大(无信息)
0
极端正则化
graph LR
subgraph 正则化路径图
direction LR
L0[λ=0<br>OLS无偏] --> Ls[λ=λ*<br>最优权衡]
Ls --> Lm[λ→∞<br>全为0]
end
subgraph 误差分解
bias[偏差 ✅ 随λ增大而增大]
var[方差 ✅ 随λ增大而减小]
total[总误差 ✅ U型曲线]
end
L0 -.-> bias
Ls -.-> total
Lm -.-> var
将数据分为 K 份(通常 K=5 或 10),每份轮流做验证集,选择使平均验证误差最小的 λ \lambdaλ 。
伪代码 :
for λ in candidate_values:
for fold k in 1..K:
在 K-1 份上拟合 Ridge(λ)
在剩余 1 份上计算 MSE
CV_error[λ] = mean(MSE over K folds)
λ* = argmin CV_error[λ]
当 n nn 较小时,LOO-CV 是更好的选择。对岭回归有闭式解的公式:
CV ( λ ) = 1 n ∑ i = 1 n ( y i − y ^ i 1 − H i i ( λ ) ) 2 \text{CV}(\lambda) = \frac{1}{n} \sum_{i=1}^n \left( \frac{y_i - \hat{y}_i}{1 - H_{ii}(\lambda)} \right)^2
CV ( λ ) = n 1 i = 1 ∑ n ( 1 − H ii ( λ ) y i − y ^ i ) 2
其中 H ( λ ) = X ( X T X + λ I ) − 1 X T H(\lambda) = X (X^T X + \lambda I)^{-1} X^TH ( λ ) = X ( X T X + λ I ) − 1 X T 是帽子矩阵(hat matrix),H i i H_{ii}H ii 是其对角线元素。
GCV 用一个简洁的迹近似代替 LOOCV 的各对角线项:
GCV ( λ ) = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 ( 1 − 1 n tr ( H ( λ ) ) ) 2 \text{GCV}(\lambda) = \frac{\frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2}{(1 - \frac{1}{n} \text{tr}(H(\lambda)))^2}
GCV ( λ ) = ( 1 − n 1 tr ( H ( λ )) ) 2 n 1 ∑ i = 1 n ( y i − y ^ i ) 2
GCV 的计算效率远高于 LOOCV,且在大样本下近似等价。
import numpy as np
from sklearn.linear_model import Ridge, RidgeCV
from sklearn.model_selection import cross_val_score
from sklearn.preprocessing import StandardScaler
# 生成含共线性的合成数据
np.random.seed(42)
n, p = 100, 20
X = np.random.randn(n, p)
# 引入共线性:x_j = x_1 + noise * 0.1
for j in range(1, p):
X[:, j] = X[:, 0] + 0.1 * np.random.randn(n)
true_beta = np.random.randn(p) * 0.5
y = X @ true_beta + 0.5 * np.random.randn(n)
# 标准化(岭回归对尺度敏感)
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
# 使用交叉验证选择最优 lambda
ridge_cv = RidgeCV(
alphas=np.logspace(-3, 3, 50),
scoring='neg_mean_squared_error',
cv=5
)
ridge_cv.fit(X_scaled, y)
print(f"最优 lambda: {ridge_cv.alpha_:.4f}")
print(f"R² 分数: {ridge_cv.score(X_scaled, y):.4f}")
# 各 lambda 下的系数范数
for lam in [0.01, 0.1, 1.0, 10.0, 100.0]:
ridge = Ridge(alpha=lam)
ridge.fit(X_scaled, y)
coef_norm = np.linalg.norm(ridge.coef_, 2)
print(f"λ={lam:6.2f} → ||β||₂ = {coef_norm:.4f}")
输出示例:
最优 lambda: 1.2457
R² 分数: 0.8234
λ= 0.01 → ||β||₂ = 3.2145
λ= 0.10 → ||β||₂ = 2.8893
λ= 1.00 → ||β||₂ = 1.8752
λ= 10.00 → ||β||₂ = 0.8761
λ=100.00 → ||β||₂ = 0.3214
def ridge_regression(X, y, lambda_val):
"""
岭回归的闭式解实现
Parameters:
X: (n, p) 设计矩阵(已标准化)
y: (n,) 目标向量
lambda_val: 正则化强度
Returns:
beta: (p,) 系数向量
"""
n, p = X.shape
I = np.eye(p)
beta = np.linalg.solve(X.T @ X + lambda_val * I, X.T @ y)
return beta
# 验证与 sklearn 一致
beta_manual = ridge_regression(X_scaled, y, lambda_val=1.0)
beta_sklearn = Ridge(alpha=1.0).fit(X_scaled, y).coef_
print(f"最大差异: {np.max(np.abs(beta_manual - beta_sklearn)):.2e}")
在 Fama-French 三因子模型中,岭回归防止因子间共线性导致系数不稳定:
r i = β 0 + β 1 MKT i + β 2 HML i + β 3 SMB i + ϵ i r_i = \beta_0 + \beta_1 \text{MKT}_i + \beta_2 \text{HML}_i + \beta_3 \text{SMB}_i + \epsilon_i
r i = β 0 + β 1 MKT i + β 2 HML i + β 3 SMB i + ϵ i
实际应用中,基金经理常使用几十甚至上百个因子,因子间相关性强——这正是岭回归的优势场景。
# 两个高度相关资产的价差估计
def pair_trading_hedge_ratio(price_a, price_b, lambda_val=0.1):
"""
用岭回归估计配对交易的 hedge ratio
price_a, price_b: 两个资产的价格序列
lambda_val: 正则化强度
"""
X = np.column_stack([np.ones_like(price_a), price_a])
beta = ridge_regression(X, price_b, lambda_val)
spread = price_b - X @ beta
return beta[1], spread # hedge_ratio, 价差序列
def return_forecast(factors, returns, lambda_val=1.0, window=252):
"""
滚动窗口收益率预测
factors: (T, p) 因子矩阵
returns: (T,) 收益率序列
"""
T = len(returns)
predictions = np.zeros(T - window)
for t in range(window, T):
X_w = factors[t-window:t]
y_w = returns[t-window:t]
beta = ridge_regression(X_w, y_w, lambda_val)
predictions[t - window] = factors[t] @ beta
return predictions
一个量化研究员用 10 行代码上线 Ridge Regression 策略:
"去,给老子整一个 ridge regression,只要做一件事:long apple,short tesla,然后根据历史 volatility 简单做个 vol-scale。"
这个"懒人"策略赶上 tech sector 暴涨,躺赚 5%。成功的背后不是模型的准确预测,而是 Ridge 的稳定性确保了:即使在因子高度相关的市场环境中,敞口也不会失控。
为什么 Ridge 在这种情况下有效?
因素
Ridge 的优势
因子共线性
AAPL 和 TSLA 在 tech 板块暴露高度重叠,Ridge 防止系数互相抵消
信号微弱
配对比率的小变化会被 L2 正则化平滑,不会过度反应
快速部署
闭式解意味着无需迭代训练,在线更新极快
vol-scale
结合 Vol-Scale 后,波动率调整进一步稳定了风险暴露
岭回归有优雅的贝叶斯解释:OLS 系数呈高斯分布,等价于对系数施加 β j ∼ N ( 0 , τ 2 ) \beta_j \sim N(0, \tau^2)β j ∼ N ( 0 , τ 2 ) 的先验:
p ( β ∣ σ 2 ) ∝ exp ( − 1 2 σ 2 ∥ β ∥ 2 2 ) p(\beta | \sigma^2) \propto \exp\left(-\frac{1}{2\sigma^2}\|\beta\|_2^2\right)
p ( β ∣ σ 2 ) ∝ exp ( − 2 σ 2 1 ∥ β ∥ 2 2 )
此时 Ridge 解对应后验分布的众数(MAP 估计),λ = σ 2 / τ 2 \lambda = \sigma^2 / \tau^2λ = σ 2 / τ 2 。
graph TD
subgraph 频率学派
OLS[OLS: β的无偏估计] -->|加L2惩罚| Ridge[Ridge: 有偏估计]
end
subgraph 贝叶斯学派
Prior[β ~ N(0, τ²)] --> Posterior[后验分布 p(β|X,y)]
Likelihood[y|X,β ~ N(Xβ, σ²)] --> Posterior
Posterior --> MAP[MAP估计 = Ridge解<br>λ = σ²/τ²]
end
Ridge -.->|等价| MAP
style Prior fill:#bbdefb
style MAP fill:#a5d6a7
这个视角解释了为什么 Ridge 自然倾向于较小且相近的系数——这正是高斯先验的收缩效应。
特性
Ridge (L2)
Lasso (L1)
Elastic Net
惩罚项
λ ∥ β ∥ 2 2 \lambda \|\beta\|_2^2λ ∥ β ∥ 2 2
λ ∥ β ∥ 1 \lambda \|\beta\|_1λ ∥ β ∥ 1
λ 1 ∥ β ∥ 1 + λ 2 ∥ β ∥ 2 2 \lambda_1 \|\beta\|_1 + \lambda_2 \|\beta\|_2^2λ 1 ∥ β ∥ 1 + λ 2 ∥ β ∥ 2 2
解的形状
圆形约束
菱形约束
混合约束
特征选择
否(系数非零)
是(部分系数为 0)
是(分组选择)
解的形式
闭式解
无闭式解(迭代)
无闭式解(迭代)
共线组处理
系数均匀收缩
只选一个
组内均匀 + 组间选择
计算效率
O ( p 3 ) \mathcal{O}(p^3)O ( p 3 )
O ( p 3 + k p ) \mathcal{O}(p^3 + kp)O ( p 3 + k p )
O ( p 3 + k p ) \mathcal{O}(p^3 + kp)O ( p 3 + k p )
p > n p > np > n 情况
唯一解(p pp 维)
至多 n nn 个非零
至多 n nn 个非零
量化适用性
高(因子共存)
中(特征筛选)
高(分组选择)
假设有两个相关特征 x 1 , x 2 x_1, x_2x 1 , x 2 ,相关系数为 0.9:
L2 (Ridge):
β₁ = β₂ (均匀收缩)
路径:沿对角线的直线向原点收缩
L1 (Lasso):
β₁ ≠ β₂ (竞争选择)
路径:先收缩一个至0,另一个再收缩
Elastic Net:
两者之间,保留分组强相关性
将岭回归通过核技巧扩展到非线性空间:
f ( x ) = ∑ i = 1 n α i K ( x , x i ) f(x) = \sum_{i=1}^n \alpha_i K(x, x_i)
f ( x ) = i = 1 ∑ n α i K ( x , x i )
其中 α = ( K + λ I ) − 1 y \alpha = (K + \lambda I)^{-1} yα = ( K + λ I ) − 1 y ,K KK 为核矩阵。
KRR 保留了 Ridge 的闭式解优势,同时通过核函数捕捉非线性关系。
岭回归也是许多高级方法的基础组件:
RRR (Reduced Rank Regression):降秩 + Ridge 正则化
SIR (Sliced Inverse Regression):逆回归中的 Ridge 平滑
RR-HSIC :高维独立性检验中的核 Ridge 正则化
场景
Ridge 是否适用
p ≪ n p \ll np ≪ n 无共线性
可选(与 OLS 结果接近)
p ≪ n p \ll np ≪ n 有共线性
✅ 强烈推荐
p ≈ n p \approx np ≈ n
✅ 适合
p > n p > np > n
✅ 唯一可逆解
需要特征选择
❌ 不适合(用 Lasso 或 Elastic Net)
需要高可解释性
✅ 适合(系数稳定)
候选 λ \lambdaλ 范围 :通常在对数尺度上搜索 [ 10 − 3 , 10 3 ] [10^{-3}, 10^3][ 1 0 − 3 , 1 0 3 ]
验证方法 :时间序列数据用前向验证(walk-forward),横截面数据用 K-fold
标准化数据 :输入特征必须统一标准化(均值为 0,方差为 1),否则惩罚项偏向高尺度特征
截距项处理 :截距 β 0 \beta_0β 0 通常不参与正则化(先中心化 y yy 和 X XX )
未标准化 :如果特征尺度相差大(如一个在 [ 0 , 1 ] [0,1][ 0 , 1 ] ,另一个在 [ 10 6 , 10 7 ] [10^6, 10^7][ 1 0 6 , 1 0 7 ] ),L2 惩罚会不对等地压制小尺度特征
时序数据泄露 :在时序回测中,必须使用滚动窗口而非随机 K-fold
λ \lambdaλ 过大 :过度收缩使有信号的特征也被压制,导致欠拟合
忽视截距 :某些实现默认不对截距正则化,需确认 API 行为
创建于:2026-06-11
来源:栀染《量化交易的深度学习困境》
优化于:2026-06-29