核谱 (Kernel Spectrum)是核方法(Kernel Method)和神经网络理论中的核心概念,描述核函数或神经正切核(NTK)在特征空间中的特征值分布。理解核谱对于解释深度学习模型的学习偏好 、收敛速度 和泛化能力 至关重要,尤其在量化金融等信号极其微弱的场景中。
对于核函数 K ( x , x ′ ) K(\mathbf{x}, \mathbf{x}')K ( x , x ′ ) ,Mercer 定理保证存在谱分解:
K ( x , x ′ ) = ∑ i = 1 ∞ λ i ϕ i ( x ) ϕ i ( x ′ ) K(\mathbf{x}, \mathbf{x}') = \sum_{i=1}^{\infty} \lambda_i \,\phi_i(\mathbf{x})\,\phi_i(\mathbf{x}')
K ( x , x ′ ) = i = 1 ∑ ∞ λ i ϕ i ( x ) ϕ i ( x ′ )
其中 { λ i } i = 1 ∞ \{\lambda_i\}_{i=1}^\infty{ λ i } i = 1 ∞ 为非负特征值(通常按降序排列 λ 1 ≥ λ 2 ≥ ⋯ ≥ 0 \lambda_1 \geq \lambda_2 \geq \cdots \geq 0λ 1 ≥ λ 2 ≥ ⋯ ≥ 0 ),{ ϕ i ( ⋅ ) } i = 1 ∞ \{\phi_i(\cdot)\}_{i=1}^\infty{ ϕ i ( ⋅ ) } i = 1 ∞ 为对应的正交特征函数(在 L 2 ( X ) L_2(\mathcal{X})L 2 ( X ) 中构成完备正交基)。
在矩阵形式下,给定 n nn 个样本 { x 1 , … , x n } \{\mathbf{x}_1, \ldots, \mathbf{x}_n\}{ x 1 , … , x n } ,核矩阵 K ∈ R n × n \mathbf{K} \in \mathbb{R}^{n \times n}K ∈ R n × n 的谱分解为:
K = ∑ i = 1 n λ i v i v i T \mathbf{K} = \sum_{i=1}^{n} \lambda_i \,\mathbf{v}_i \mathbf{v}_i^\mathsf{T}
K = i = 1 ∑ n λ i v i v i T
符号
含义
λ i \lambda_iλ i
第 i ii 大特征值,反映该方向上的"信号能量"
v i \mathbf{v}_iv i
对应的特征向量(在有限样本空间中表示一个方向)
∑ i λ i \sum_i \lambda_i∑ i λ i
核的总方差 (Total Variance)
λ i / ∑ j λ j \lambda_i / \sum_j \lambda_jλ i / ∑ j λ j
第 i ii 个方向解释的方差比例
不同核函数的特征值衰减速度差异极大,直接影响模型的学习行为:
核函数类型
公式
特征值衰减
谱复杂度
线性核
K ( x , x ′ ) = x T x ′ K(\mathbf{x}, \mathbf{x}') = \mathbf{x}^\mathsf{T} \mathbf{x}'K ( x , x ′ ) = x T x ′
有限个非零
低
多项式核
K = ( x T x ′ + c ) d K = (\mathbf{x}^\mathsf{T} \mathbf{x}' + c)^dK = ( x T x ′ + c ) d
多项式衰减
中
RBF(高斯)核
K = exp ( − ∥ x − x ′ ∥ 2 2 σ 2 ) K = \exp\left(-\frac{\|\mathbf{x} - \mathbf{x}'\|^2}{2\sigma^2}\right)K = exp ( − 2 σ 2 ∥ x − x ′ ∥ 2 )
指数衰减
高(无限维)
拉普拉斯核
K = exp ( − ∥ x − x ′ ∥ σ ) K = \exp\left(-\frac{\|\mathbf{x} - \mathbf{x}'\|}{\sigma}\right)K = exp ( − σ ∥ x − x ′ ∥ )
多项式衰减
高
NTK(深度网络)
取决于架构
常呈现幂律衰减
极高
RBF 核的特征值衰减速度取决于核宽度 σ \sigmaσ :σ \sigmaσ 越小,特征值衰减越慢(模型更复杂),σ \sigmaσ 越大,特征值衰减越快(模型更平滑)。
graph LR
subgraph "核函数 → 谱结构"
A[核函数 K] --> B[核矩阵 K]
B --> C[特征值分解]
C --> D["λ₁ ≫ λ₂ ≫ λ₃ ⋯ ≫ λₙ"]
end
subgraph "谱特性→学习行为"
D --> E["大特征值 λ₁(快速学习)"]
D --> F["中等特征值 λₖ(中等速度)"]
D --> G["小特征值 λₙ(极慢/学不到)"]
end
E --> H["市场 Beta / 宏观因子"]
F --> I["中频截面信号"]
G --> J["微观 Alpha(残差模式)"]
谱偏见 (也称频谱偏好 ,Frequency Bias / Spectral Bias)是深度神经网络在训练过程中表现出的系统性偏好:优先学习核谱中特征值较大的频率分量 。
在梯度流(Gradient Flow)近似下,使用均方误差损失训练无限宽神经网络时,预测函数的收敛速度为:
f ^ t ( x ) − f ∗ ( x ) = ∑ i = 1 ∞ ⟨ f ∗ , ϕ i ⟩ ⋅ exp ( − η λ i t ) ⋅ ϕ i ( x ) \hat{f}_t(\mathbf{x}) - f^*(\mathbf{x}) = \sum_{i=1}^{\infty} \left\langle f^*, \phi_i \right\rangle \cdot \exp\left(-\eta \lambda_i t\right) \cdot \phi_i(\mathbf{x})
f ^ t ( x ) − f ∗ ( x ) = i = 1 ∑ ∞ ⟨ f ∗ , ϕ i ⟩ ⋅ exp ( − η λ i t ) ⋅ ϕ i ( x )
其中 η \etaη 为学习率,t tt 为训练时间。可见:
收敛残差 i ( t ) ∝ e − η λ i t \text{收敛残差}_i(t) \propto e^{-\eta \lambda_i t}
收敛残差 i ( t ) ∝ e − η λ i t
这意味着:
特征值 λ i \lambda_iλ i 越大,该方向上的误差项衰减得越快 (e − η λ i t e^{-\eta \lambda_i t}e − η λ i t )
特征值 λ i \lambda_iλ i 越小,该方向上的误差项衰减得越慢
---
title: 不同特征值的收敛速度对比
---
xychart-beta
title "训练轮次 vs 残差方差(不同 λ)"
x-axis "训练轮次" [0, 500, 1000, 1500, 2000, 2500, 3000]
y-axis "Log 残差方差" -10 --> 0
line "λ = 1.0(大特征值)" [0, -1.5, -3.0, -4.5, -6.0, -7.5, -9.0]
line "λ = 0.1(中等特征值)" [0, -0.15, -0.3, -0.45, -0.6, -0.75, -0.9]
line "λ = 0.01(小特征值)" [0, -0.015, -0.03, -0.045, -0.06, -0.075, -0.09]
上图展示了不同特征值对应的收敛速度差异:特征值差一个数量级,收敛速度差数个数量级。
谱偏见在多种网络架构中都有实证验证:
低频优先(F-Principle) :Xu et al. (2019) 在实验中发现,全连接网络训练过程中,低频分量(对应大特征值)的误差下降速度显著快于高频分量
NTK 特征值分布 :深度 CNN 的 NTK 特征值除头部极少量大特征值外,其余特征值以幂律衰减,且尾部衰减更快
"先素描后填充" :网络的训练过程类似于绘画——先勾勒出低频轮廓(大尺度结构),再逐步填充高频细节(精细模式)
过参数化(Overparameterization)在一定程度上缓解了谱偏见,其机制如下。
对于宽度为 m mm 、深度为 L LL 的网络,NTK 的谱行为受网络宽度影响:
λ i (NTK) = Θ ( λ i (lim) m ) (当 m → ∞ ) \lambda_i^{\text{(NTK)}} = \Theta\left(\frac{\lambda_i^{\text{(lim)}}}{m}\right) \quad \text{(当 $m \to \infty$)}
λ i (NTK) = Θ ( m λ i (lim) ) ( 当 m → ∞)
宽网络的 NTK 更接近一个恒等映射,谱更平坦。但这并不意味着尾部小特征值就能被充分学习——它只是延缓了过拟合的发生。
对于参数为 θ ∈ R p \boldsymbol{\theta} \in \mathbb{R}^pθ ∈ R p 的神经网络 f ( x ; θ ) f(\mathbf{x}; \boldsymbol{\theta})f ( x ; θ ) ,神经正切核定义为:
Θ ( t ) ( x , x ′ ) = ∇ θ f ( x ; θ ( t ) ) T ∇ θ f ( x ′ ; θ ( t ) ) \Theta^{(t)}(\mathbf{x}, \mathbf{x}') = \nabla_{\boldsymbol{\theta}} f(\mathbf{x}; \boldsymbol{\theta}(t))^\mathsf{T} \nabla_{\boldsymbol{\theta}} f(\mathbf{x}'; \boldsymbol{\theta}(t))
Θ ( t ) ( x , x ′ ) = ∇ θ f ( x ; θ ( t ) ) T ∇ θ f ( x ′ ; θ ( t ))
在无限宽极限下,NTK 在训练过程中保持不变(NTK 冻结):
Θ ( x , x ′ ) = lim m → ∞ Θ ( t ) ( x , x ′ ) (与 t 无关) \Theta(\mathbf{x}, \mathbf{x}') = \lim_{m \to \infty} \Theta^{(t)}(\mathbf{x}, \mathbf{x}') \quad \text{(与 $t$ 无关)}
Θ ( x , x ′ ) = m → ∞ lim Θ ( t ) ( x , x ′ ) ( 与 t 无关 )
NTK 的谱直接决定了网络能够学习什么样的函数:
NTK 谱 ⇒ 再生核 Hilbert 空间(RKHS) ⇒ 可学习函数空间 \text{NTK 谱} \quad \Rightarrow \quad \text{再生核 Hilbert 空间(RKHS)} \quad \Rightarrow \quad \text{可学习函数空间}
NTK 谱 ⇒ 再生核 Hilbert 空间( RKHS ) ⇒ 可学习函数空间
NTK 的 RKHS 范数:
∥ f ∥ H Θ 2 = ∑ i = 1 ∞ ⟨ f , ϕ i ⟩ 2 λ i Θ \|f\|_{\mathcal{H}_{\Theta}}^2 = \sum_{i=1}^{\infty} \frac{\langle f, \phi_i \rangle^2}{\lambda_i^{\Theta}}
∥ f ∥ H Θ 2 = i = 1 ∑ ∞ λ i Θ ⟨ f , ϕ i ⟩ 2
目标函数 f ∗ f^*f ∗ 的 NTK 范数越小(即其频谱分量与 NTK 的大特征值方向重合越多),学习收敛越快。
NTK 谱特性
对训练的影响
对泛化的影响
慢衰减(谱较平)
能学习更复杂的函数
需要更多样本防止过拟合
快衰减(谱集中)
快速拟合低频分量
泛化能力强,但拟合能力有限
谱有 gap(间断)
跳过后即停止学习
函数空间有明显分界
在量化交易场景中,核谱结构直接映射为不同层级的市场信号:
graph TD
subgraph "核谱谱段"
A["头部(前0.1%)"] --> B["大特征值"]
C["体部(1-10%)"] --> D["中等特征值"]
E["尾部(90%+)"] --> F["小特征值"]
end
subgraph "市场信号"
B --> G["市场大趋势<br>Macro Beta"]
D --> H["中频截面信号<br>因子动量"]
F --> I["微观 Alpha<br>残差/做市信号"]
end
subgraph "学习与收益特征"
G --> J["极易学习<br>已被套利<br>收益≈0"]
H --> K["中等难度<br>容量适中<br>收益中等"]
I --> L["极难学习<br>容量极大<br>潜在收益高"]
end
更详细的映射表:
特征值百分位
特征值大小
对应信号
信号类型
学习速度
容量
衰减速度
前 0.1%
λ 1 ∼ 10 2 \lambda_1 \sim 10^2λ 1 ∼ 1 0 2
Macro Beta(大盘趋势、行业轮动)
低频
1-2 轮 Epoch
极大(百亿级)
极快
0.1%-1%
λ ∼ 10 1 \lambda \sim 10^1λ ∼ 1 0 1
因子层面(动量、价值、低波)
中低频
10-50 轮 Epoch
大(数十亿级)
快
1%-10%
λ ∼ 10 0 \lambda \sim 10^0λ ∼ 1 0 0
中频信号(截面套利)
中频
100-500 轮
中等(十亿级)
中等
10%-50%
λ ∼ 10 − 1 \lambda \sim 10^{-1}λ ∼ 1 0 − 1
高频模式(做市、流动性)
中高频
千轮以上
较小
慢
50%-100%
λ ∼ 10 − 2 \lambda \sim 10^{-2}λ ∼ 1 0 − 2 及以下
Micro Alpha(残差模式)
高频 / 微观
极慢 / 学不到
大但分散
极慢
量化深度学习面临的根本困境可以总结如下:
真正未被套利的 Alpha ⊂ Kernel Spectrum 尾部(小特征值) \boxed{\text{真正未被套利的 Alpha} \subset \text{Kernel Spectrum 尾部(小特征值)}}
真正未被套利的 Alpha ⊂ Kernel Spectrum 尾部(小特征值)
这一矛盾的底层机制:
头部特征值已被充分学习 :
浅层线性模型(如套利定价模型 APT、Fama-French 因子模型)已经捕捉了大部分大特征值方向的信息
这些模型训练快、易过时,已有大量资金在交易这些信号
大特征值方向的夏普比已趋近于零(未考虑交易成本的情况下甚至为负)
尾部特征值学习极慢 :
Vanilla SGD 对尾部方向的更新步长为:O ( η λ i λ i ) = O ( η ) O\left( \frac{\eta \lambda_i}{\lambda_i} \right) = O(\eta)O ( λ i η λ i ) = O ( η ) ——看似不依赖于 λ i \lambda_iλ i ,但实际有效学习需要 O ( 1 / λ i ) O(1/\lambda_i)O ( 1/ λ i ) 轮迭代
假设 λ 1 = 10 2 \lambda_1 = 10^2λ 1 = 1 0 2 ,λ 0.99 = 10 − 2 \lambda_{0.99} = 10^{-2}λ 0.99 = 1 0 − 2 ,则尾部方向的学习速度比头部慢 10 4 10^41 0 4 倍
换言之:模型需要 10 4 10^41 0 4 倍的数据量才能同样"看清"尾部信号
市场时序动态(Temporal Dynamics)矛盾 :
市场 Drift(制度转换、流动性变化)的时间尺度约为数周到数月
学习尾部信号所需的数据时间跨度往往大于市场 Drift 周期
结果 :在模型学到任何有统计意义的尾部信号之前,市场已经变了
定义信号的"可学习性系数"为:
ℓ ( λ i , T ) = 1 − e − η λ i T \ell(\lambda_i, T) = 1 - e^{-\eta \lambda_i T}
ℓ ( λ i , T ) = 1 − e − η λ i T
其中 T TT 是可用的训练轮数。当 ℓ → 1 \ell \to 1ℓ → 1 时信号被充分学习。所需数据量为:
所需样本量 ≈ 1 η λ i log ( 1 ϵ ) \text{所需样本量} \approx \frac{1}{\eta \lambda_i} \log\left(\frac{1}{\epsilon}\right)
所需样本量 ≈ η λ i 1 log ( ϵ 1 )
假设 ϵ = 0.05 \epsilon = 0.05ϵ = 0.05 ,η = 0.01 \eta = 0.01η = 0.01 :
特征值
所需样本
对应时间跨度
市场 Drift 周期
能否学到
10 2 10^21 0 2
~30 轮
小时级
数月
✅ 远快于 Drift
10 0 10^01 0 0
~3000 轮
天级
数月
✅ 快于 Drift
10 − 1 10^{-1}1 0 − 1
~30000 轮
周级
数月
⚠️ 勉强够
10 − 2 10^{-2}1 0 − 2
~300000 轮
月级
数月
❌ 已被 Drift 淹没
核心思想:通过预条件矩阵 改变核函数谱,使所有方向的学习速度趋于一致。
K ~ = P − 1 / 2 K P − 1 / 2 \tilde{K} = P^{-1/2} K P^{-1/2}
K ~ = P − 1/2 K P − 1/2
理想情况下,预条件矩阵 P PP 应使 K ~ \tilde{K}K ~ 的谱接近均匀分布:
κ ( K ~ ) ≈ 1 (条件数接近 1) \kappa(\tilde{K}) \approx 1 \quad \text{(条件数接近 1)}
κ ( K ~ ) ≈ 1 (条件数接近 1 )
常见的预条件策略:
方法
预条件矩阵
优点
缺点
对角预条件
P = diag ( K ) P = \operatorname{diag}(K)P = diag ( K )
计算简单
仅均衡特征值缩放
分层预条件(Multigrid)
粗粒度核矩阵的逆
对谱平滑问题有效
对剧烈谱变化效果有限
Nyström 近似预条件
低秩近似 K ≈ Q Q T K \approx QQ^\mathsf{T}K ≈ Q Q T
显著改善小特征值学习
近似误差可能丢失信号
Newton 方法
P = ∇ 2 L P = \nabla^2 \mathcal{L}P = ∇ 2 L
理论上最优
O ( n 3 ) O(n^3)O ( n 3 ) 计算不可行
KFAC
近似 Fisher 信息矩阵
实用折中
需要适合的网络结构
现代优化器通过不同机制间接缓解谱偏见:
方法 谱自适应机制
───── ─────────────────────────────────────────
SGD 无——对谱结构最敏感
Momentum ▸ 加速频谱平坦方向的收敛
AdaGrad ▸ 按参数历史梯度的平方和缩放(有效处理稀疏特征)
RMSProp ▸ 指数移动平均替代累加,更鲁棒
Adam ▸ 结合动量 + RMSProp,实践中表现最好
LAMB ▸ 逐层自适应,适合大模型
其中 Adam 的更新步长为:
θ t + 1 = θ t − η m t v t + ϵ \boldsymbol{\theta}_{t+1} = \boldsymbol{\theta}_t - \eta \frac{\mathbf{m}_t}{\sqrt{\mathbf{v}_t} + \epsilon}
θ t + 1 = θ t − η v t + ϵ m t
Adam 对谱结构的缓解有限:它对大特征值(梯度大,因此 v t \mathbf{v}_tv t 大)的减速和对小特征值(梯度小,因此 v t \mathbf{v}_tv t 小)的加速是不对称的,但在极端谱条件下仍不足以解决问题。
更激进的方法是直接对特征空间进行解耦(Disentanglement):
谱分解嵌入 (Spectral Embedding):
显式对核矩阵做特征分解
在不同特征方向上使用不同的学习率
公式:η i = η 0 λ i + ϵ \eta_i = \frac{\eta_0}{\sqrt{\lambda_i} + \epsilon}η i = λ i + ϵ η 0
多尺度训练 (Multi-Scale Training):
先用粗粒度分辨率训练(捕捉大特征值)
逐步增加分辨率(暴露小特征值信号)
类似课程学习(Curriculum Learning)
特征筛选器 (Feature Sieve):
使用 PCA 对输入降维,去除大特征值的噪声贡献
保留残差维度的信号
代价:可能丢失有用信息
import numpy as np
from sklearn.gaussian_process.kernels import RBF
from scipy.linalg import eigh
def diagnose_kernel_spectrum(
features: np.ndarray, # [n_samples, n_features]
kernel: str = "rbf",
sigma: float = 1.0,
top_k: int = 20
):
"""诊断特征空间的核谱结构"""
n = features.shape[0]
# 构建核矩阵
if kernel == "rbf":
pairwise_sq = np.sum(
(features[:, None, :] - features[None, :, :]) ** 2, axis=-1
)
K = np.exp(-pairwise_sq / (2 * sigma ** 2))
else:
K = features @ features.T
# 特征分解
eigenvalues = eigh(K, eigvals_only=True)
eigenvalues = eigenvalues[::-1] # 从大到小
# 谱分析
total_var = np.sum(eigenvalues)
cum_ratio = np.cumsum(eigenvalues) / total_var
print(f"=== Kernel Spectrum Diagnosis ===")
print(f"Total variance: {total_var:.2f}")
print(f"Top-{top_k} eigenvalue summary:")
for i in range(min(top_k, n)):
print(f" λ{i+1:4d} = {eigenvalues[i]:10.2f} "
f"(ratio={eigenvalues[i]/total_var:.4f}, "
f"cum={cum_ratio[i]:.4f})")
# 谱衰减指数估计(幂律拟合)
idx = np.arange(1, min(100, n) + 1)
log_eig = np.log(eigenvalues[:100])
log_idx = np.log(idx)
slope = np.polyfit(log_idx, log_eig, 1)[0]
print(f"\nEstimated spectral decay exponent: α = {-slope:.2f}")
print(f" α < 1: 慢衰减(高复杂度的特征空间)")
print(f" 1 < α < 2: 中等衰减")
print(f" α > 2: 快衰减(低复杂度空间)")
return eigenvalues
输入数据
↓
[Step 1] 特征工程
├─ 对输入特征做 PCA,分离大/小特征值方向
└─ 对原始特征做特征交叉(提升高维表达能力)
↓
[Step 2] 核谱诊断
├─ 计算经验核矩阵的特征值
├─ 估计谱衰减指数 α
└─ 判断 α 是否过大(> 2)表示信号集中在头部
↓
[Step 3] 模型与优化器选择
├─ α < 1(谱平缓):标准 Adam 即可
├─ 1 < α < 2:使用 LayerNorm + AdamW + warmup
└─ α > 2(谱陡峭):需要 preconditioning 或多尺度训练
↓
[Step 4] 训练监控
├─ 每个 checkpoint 计算预测在特征空间各方向的 MSE
├─ 绘制"方向-误差"曲线,跟踪尾部学习进度
└─ 若尾部方向 3 个 checkpoint 无改善,触发正则化调整
↓
[Step 5] 推理
└─ 只保留头部方向?把尾部信号丢给更高频/更短周期的模型?
假设构建一个 LSTM 预测沪深 300 成分股未来 5 日收益率,输入为 60 个基本面和量价因子。
Step 1 — 核谱诊断结果 :
Top-10 eigenvalue summary:
λ 1 = 4523.21 (ratio=0.4321, cum=0.4321) ← 市场 Beta
λ 2 = 1245.67 (ratio=0.1190, cum=0.5511) ← 动量因子
λ 3 = 892.34 (ratio=0.0852, cum=0.6363) ← 价值因子
...
λ 10 = 45.21 (ratio=0.0043, cum=0.8912)
...
λ 300 = 0.02 (ratio=0.0000, cum≈1.000) ← 尾部噪声
Spectral decay exponent: α = 3.21
结论:谱非常陡峭(α = 3.21),前 10 个方向解释了 89% 的方差,尾部 290 个方向仅贡献 11%。
Step 2 — 优化策略 :
# 使用 LAMB 优化器替代 Adam
optimizer = LAMB(
model.parameters(),
lr=1e-3,
weight_decay=1e-4,
lambd=0.1 # 预条件强度
)
# 多尺度特征
features_pca = PCA(n_components=20).fit_transform(features)
features_residual = features - PCA(n_components=20).inverse_transform(features_pca)
# 两个子模型分别处理不同谱段
model_coarse = LSTM(input_dim=20, hidden_dim=64) # 头部信号
model_fine = Transformer(input_dim=60-20, ...) # 尾部信号
Step 3 — 训练结果 :
策略
训练集 R²
验证集 R²
年化夏普比
尾部学习率
Baseline (SGD)
0.042
0.008
0.32
< 1%
Baseline (Adam)
0.051
0.014
0.48
~3%
LAMB
0.063
0.021
0.61
~8%
LAMB + 多尺度
0.078
0.029
0.87
~15%
+ 多尺度 + 谱正则化
0.071
0.032
0.93
~18%
Kernel Spectrum 和 Spectral Bias 是同一枚硬币的两面:
Kernel Spectrum :描述核函数自身的谱结构(输入空间到特征空间的映射质量)
Spectral Bias :描述神经网络训练过程中对不同频谱分量的学习偏好(收敛速率差异)
两者的桥接在于 NTK 理论:对于无限宽网络,学习过程的收敛速率直接由 NTK 的特征值分布决定。
核谱结构可以解释现代深度学习中观测到的双重下降现象:
欠参数区 :模型自由度 < 核的主特征值数,只能学习头部信号
过参数区 :模型自由度 > 核的全部特征值数,尾部信号通过插值被"记忆"
插值阈值 :对应于核矩阵的有效秩 (Effective Rank):rank eff = ( ∑ λ i ) 2 ∑ λ i 2 \text{rank}_{\text{eff}} = \frac{(\sum \lambda_i)^2}{\sum \lambda_i^2}rank eff = ∑ λ i 2 ( ∑ λ i ) 2
核谱集中度直接反映了模型的归纳偏置强度:
快衰减谱 → 强归纳偏置 → 更依赖先验 → 样本效率高但上限有限
慢衰减谱 → 弱归纳偏置 → 更依赖数据 → 泛化能力依赖足够样本
NTK 的精确计算和特征分解需要 O ( n 2 ) O(n^2)O ( n 2 ) 到 O ( n 3 ) O(n^3)O ( n 3 ) 的复杂度,在金融场景(百万级样本)下基本不可行。实际应用中的解决方案:
近似方法
复杂度
精度
适用场景
Nyström 采样
O ( m 3 + m n ) O(m^3 + m n)O ( m 3 + mn )
中等
核矩阵分析
随机特征(Random Features)
O ( m n d ) O(m n d)O ( mn d )
较低
大规模回归
训练中隐式 NTK(Empirical NTK)
O ( b 3 p ) O(b^3 p)O ( b 3 p )
高
小批量诊断
谱估计(Lanczos)
O ( n m d m ) O(n_m d_m)O ( n m d m )
高
仅需 top-k 特征值
上述分析假设了线性/KRR(Kernel Ridge Regression)的框架,现实中的深度学习存在以下偏离:
特征学习 :深度网络在训练过程中会改变自己的核(NTK 在有限宽下并非静止)
深层分层学习 :不同层学习不同频率分量,层间谱存在复杂耦合
注意力机制 :Transformer 的自注意力机制打破了核方法的对称性限制
批次归一化 :BN 在训练过程中引入随机性,可能改变谱结构
信噪比极低 :金融数据的信噪比(SNR)通常在 10 − 4 10^{-4}1 0 − 4 到 10 − 2 10^{-2}1 0 − 2 量级,核谱尾部被噪声淹没
非平稳性 :股票的协方差结构会随市场 regime 变化,核矩阵本身是时变的
组合约束 :即使成功学到尾部信号,交易成本、执行冲击、容量限制也会大幅降低实际收益
概念
核心要点
核谱定义
核函数的特征值分布,描述不同方向上的信号能量
谱偏见
网络优先学习大特征值方向,小特征值方向收敛极慢
金融困境
真正的 Alpha 藏在谱尾,但学习速度远慢于市场 Drift
谱感知优化
Preconditioning、自适应学习率、多尺度训练可部分缓解
实践诊断
通过经验核矩阵的特征值衰减指数选择优化策略
核心局限
计算复杂度高、谱时变、信号被噪声淹没
核谱理论揭示了一个深刻的冷事实:在金融市场中,最简单的模型学到了最广泛交易的"策略",而最复杂、最有价值的 Alpha 恰恰藏在那些最简单模型永远不会去看的方向上。
Jacot, A., Gabriel, F., & Hongler, C. (2018). Neural Tangent Kernel: Convergence and Generalization in Neural Networks . NeurIPS 2018.
Cao, Y., et al. (2019). On the Spectral Bias of Neural Networks . arXiv:1902.06988.
Rahimi, A., & Recht, B. (2007). Random Features for Large-Scale Kernel Machines . NeurIPS 2007.
Xu, Z., et al. (2019). Frequency Principle: Fourier Analysis Sheds Light on Deep Neural Networks . arXiv:1901.06523.
Arora, S., et al. (2019). On Exact Computation with an Infinitely Wide Neural Net . NeurIPS 2019.
Bordelon, B., et al. (2020). Spectrum Dependent Learning Curves in Kernel Regression and Wide Neural Networks . ICML 2020.
栀染. 量化交易的深度学习困境 .
创建于:2026-06-11 | 最后更新:2026-07-01
来源:栀染《量化交易的深度学习困境》