核谱(Kernel Spectrum)是核方法(Kernel Method)、神经网络理论以及现代量化金融中的重要概念。它揭示了核函数或神经正切核(NTK, Neural Tangent Kernel)在特征空间中的特征值分布结构,并直接决定了模型的学习偏好——什么信号学得快、什么信号学得慢、什么信号根本学不到。对于量化交易者而言,理解核谱是解开「深度学习模型为什么总是学不到 alpha」这一核心问题的关键钥匙。

上图展示了一个典型核矩阵的谱(特征值分布):头部少数特征值占据绝大部分能量,尾部大量特征值趋近于零。这种分布决定了模型的学习行为。
核方法(Kernel Method)是机器学习的一个重要分支。其核心思想是通过核函数将数据隐式映射到高维(甚至无穷维)特征空间,使得原本线性不可分的问题在高维空间中变得线性可分。经典的核方法包括:
核方法的理论分析高度依赖谱理论——即对核函数诱导的积分算子进行特征分解。
2018年,Jacot等人提出了**神经正切核(Neural Tangent Kernel, NTK)**的概念,揭示了无限宽神经网络在梯度下降训练时的行为等价于使用NTK核函数的核方法。这一发现将深度学习的理论分析与核方法统一了起来,使得我们可以用谱理论来理解神经网络的训练行为。
NTK的谱结构直接决定了神经网络的训练速度、泛化能力和特征学习偏好。
对于正定核函数 ,我们可以对其诱导的积分算子进行谱分解。在数据集 上,核矩阵 的元素为 ,其谱分解为:
其中:
核矩阵的每个特征值 对应着数据空间中的一个"模式"或"方向"。特征值的相对大小决定了:
| 特征值范围 | 特征方向 | 数据变化 | 信号特征 |
|---|---|---|---|
| 大特征值(头部) | 低频方向 | 剧烈、全局 | 市场大盘走势、宏观趋势 |
| 中等特征值 | 中频方向 | 中等 | 行业轮动、板块效应 |
| 小特征值(尾部) | 高频方向 | 微弱、局部 | 微观套利信号、噪声 |
核谱的衰减速率(即 随 增大的下降速度)是一个关键指标。常见核函数的谱衰减特性如下:
| 核函数 | 谱衰减速率 | 有效维度 | 适用场景 |
|---|---|---|---|
| 线性核 | 有限个非零特征值 | 数据原始维度 | 线性模型 |
| RBF/高斯核 | 指数衰减 | 高 | 通用非线性建模 |
| 拉普拉斯核 | 多项式衰减 | 中等 | 图像处理 |
| NTK(ReLU网络) | 多项式衰减 | 数据相关 | 深度学习分析 |
直观理解:谱衰减越快,核函数的"有效复杂度"越低,模型越倾向于学习低频/简单的函数。反之,谱衰减越慢,模型能学习更复杂的函数,但也更容易过拟合。
梯度下降训练的动力学可以用核谱来精确描述。在核回归或无限宽神经网络的设定下,模型的预测函数 在训练时间 时的演化满足:
其中:
这个简洁的公式揭示了深刻的结果:
假设一个数据集有 1000 个样本,核矩阵的特征值从大到小分布如下:
| 特征值序号 | 特征值 | 半衰期(步数) | 训练 10000 步后的收敛度 |
|---|---|---|---|
| 1–10 | 100–10 | 7–70 步 | >99.9% |
| 11–50 | 10–1 | 70–700 步 | >99.9%–99.9% |
| 51–200 | 1–0.1 | 700–7000 步 | 99.9%–76% |
| 201–500 | 0.1–0.01 | 7000–70000 步 | 76%–14% |
| 501–1000 | <0.01 | >70000 步 | <14% |
解读:同样的梯度下降算法,头部 10 个模式在不到 100 步内就学完了,而尾部 500 个模式训练 10000 步后只学了一小半。这就引出了量化交易中的核心问题——真正的 alpha 信号往往藏在尾部。
对于量化交易中的高频因子和深度学习模型,核谱揭示了信号的可学习性与实盘价值之间的悖论关系:
| 特征值范围 | 对应信号类型 | 学习速度 | 实盘价值 | 套利状态 |
|---|---|---|---|---|
| (头部) | Macro Beta(市场大趋势) | 极快(几轮迭代) | 低 | 已被大量套利 |
| 中频信号(行业轮动、周期) | 中等(数千轮) | 中等 | 部分套利 | |
| (尾部) | Micro Alpha(真正套利机会) | 极慢(数十万轮) | 高 | 尚未被充分套利 |
| 纯噪声 | 永远学不到 | 无 | N/A |
量化交易中的核谱悖论可以总结为:
真正的 alpha 藏在 Kernel Spectrum 的尾部(小特征值),但 vanilla SGD 学习尾部的速度极慢,而市场的 Drift(信号衰退)速度远快于尾部学习速度。结果就是:模型永远学不到真正的 alpha。
如果市场信号的半衰期是 3 个月,而模型需要 6 个月才能学会某个尾部分量,那么这个信号对模型来说就是不可学习的。
以沪深300指数增强策略为例,假设我们使用一个三层神经网络预测未来5日收益率:
| 因子类型 | 对应谱位置 | NTK特征值 | 学习所需epoch | 信号半衰期 | 学习效果 |
|---|---|---|---|---|---|
| 市场动量 | 头部 | 85.3 | 5 | 3个月 | ✅ 快速学会但已无效 |
| 行业轮动 | 中频 | 4.7 | 500 | 6个月 | ⚠️ 勉强跟上 |
| 微观反转 | 尾部 | 0.03 | 80000 | 2个月 | ❌ 永远赶不上 |
| 高频订单流 | 尾部 | 0.008 | 300000 | 1周 | ❌ 完全不可学 |
这个表格揭示了为什么很多量化团队发现:简单的线性模型(只关注头部特征值)和改进基准模型的表现往往优于复杂的深度学习模型——因为深度模型尾部学习的信号已经失效了。
神经网络的训练存在谱偏见(Spectral Bias):网络天然倾向于先学习低频函数(对应大特征值方向),后学习高频函数(对应小特征值方向)。这正是 Rahaman 等人(2019)在《On the Spectral Bias of Neural Networks》中揭示的现象。
谱偏见的根源在于:
其中 是函数 在频率 上的傅里叶变换, 是核函数 的傅里叶变换。由于 随着 增大而衰减(核函数的光滑性),高频分量的学习速度天生慢于低频分量。
谱偏见的影响数据(在 Synthetic 2D 分类任务上,Rahaman et al., 2019):
| 频率范围 | 训练 100 epoch 后误差 | 训练 1000 epoch 后误差 | 训练 10000 epoch 后误差 |
|---|---|---|---|
| 低频() | 2.3% | 0.1% | 0.0% |
| 中频() | 45.1% | 8.7% | 1.2% |
| 高频() | 89.7% | 67.3% | 21.5% |
谱偏见和隐式偏差(Implicit Bias)是两个相互关联但不同的概念:
| 概念 | 含义 | 时间尺度 | 核心机制 |
|---|---|---|---|
| 谱偏见 | 模型学习不同频率成分的速度差异 | 训练过程中 | 核谱的特征值结构 |
| 隐式偏差 | 梯度下降在众多解中偏好的解 | 收敛后 | 最小范数解、margin最大化 |
两者共同决定了神经网络的泛化行为。
谱偏见不仅影响量化交易,也在以下领域有重要影响:

上图展示了不同核函数的特征值谱对比:ReLU网络的NTK、RBF核、以及线性核的谱分布差异。可以看出ReLU-NTK在中等特征值区间有更丰富的结构。
核心思想是通过预处理(Preconditioning)拉平核谱上的学习速度。Preconditioner 修改了梯度更新方向:
在核方法的视角下,这等价于修改核矩阵:
目标是使得 的特征值分布更均匀——即 ,其中条件数 。
| 方法 | 原理 | 计算开销 | 谱平坦效果 | 适用范围 |
|---|---|---|---|---|
| 无Preconditioner(SGD) | 标准梯度下降 | 最低 | 差(cond = 1000+) | 通用基线 |
| K-FAC | 近似Fisher信息矩阵 | 中等 | 好(cond = 3–5) | 中等规模网络 |
| NGD(自然梯度) | Fisher信息矩阵 | 高 | 极好(cond = 1–2) | 小规模 |
| Shampoo | 分层预处理 | 高 | 好 | 大规模优化 |
| LARS/LAMB | 逐层自适应学习率 | 低 | 中等 | 大规模分布式训练 |
| Spectral Preconditioning | 显式谱分解+缩放 | 极高 | 理论最优 | 小数据集分析 |
下图的对比清晰地展示了Preconditioner的效果——预处理后的核矩阵特征值分布更加均匀,尾部特征值被有效放大:

上图对比了使用Preconditioner前后的核谱分布。红色曲线(原始谱)呈现典型的"长尾"分布,蓝色曲线(预处理后)的特征值分布明显更加均匀,尾部特征值得到了有效放大。
理论分析表明,使用理想的Preconditioner后,收敛速度可以从:
提升到:
其中 是迭代次数, 是条件数。
实际意义:如果原始核谱的条件数是 1000,那么Preconditioner可以将收敛所需的迭代次数减少约 1000 倍。
另一种实用策略是在训练过程中显式截断核谱的尾部:只训练对应于大特征值的参数分量,丢弃或正则化尾部分量。
这种方法在控制计算成本和防止过拟合之间取得了良好的平衡。
Mercer定理是核谱的理论基础:对于正定连续核 在紧致域 上,存在正交基 和非负特征值 ,使得:
其中 是积分算子 的本征函数:
在Mercer分解下,再生核希尔伯特空间 中的任意函数 可以表示为:
其范数为:
解释:大特征值方向上,函数的分量系数 被 放大,因此这些方向上的函数变化对范数的影响较小。反过来,小特征值方向上的变化会被惩罚得更重——这解释了为什么核方法在处理小特征值时倾向于"平滑"。
对于一维RBF核 在区间 上:
| 特征值序号 | 特征值 () | 特征值 () | 特征值 () |
|---|---|---|---|
| 1 | 1.847 | 2.051 | 2.294 |
| 2 | 0.815 | 1.215 | 1.737 |
| 3 | 0.162 | 0.503 | 1.039 |
| 4 | 0.021 | 0.161 | 0.532 |
| 5 | 0.002 | 0.042 | 0.235 |
| 6 | ~0 | 0.009 | 0.091 |
| 7 | ~0 | 0.002 | 0.031 |
| 8 | ~0 | ~0 | 0.010 |
观察: 越大(核越"平滑"),谱的衰减越慢——能够表示更复杂的函数。但更大的 也意味着更容易过拟合。
| 方面 | 核谱 | 傅里叶分析 |
|---|---|---|
| 基函数 | 数据依赖的特征函数 | 固定的正弦/余弦基 |
| 适用性 | 任意核函数,任意数据分布 | 平移不变核(如RBF) |
| 计算成本 | 对 个数据点 | 使用FFT |
| 优势 | 适用于非均匀采样数据 | 计算高效,理论成熟 |
| 关联 | RBF核的谱 = 傅里叶域中的频域响应 | 傅里叶分析是平移不变核谱的特例 |
对于平移不变核(Stationary Kernel),两者通过Bochner定理连接:
其中 是谱密度,对应傅里叶域的"特征值"。
在数值线性代数中,Preconditioner的概念早已被广泛使用。核谱分析与经典数值分析的核心差异在于:
| 领域 | 关注点 | 矩阵来源 | 处理目标 |
|---|---|---|---|
| 数值线性代数 | 线性方程组 的条件数 | 物理离散化 | 让 接近单位矩阵 |
| 核谱分析 | 核矩阵的特征值分布 | 核函数+数据 | 让小特征值被有效学习 |
| 优化理论 | Hessian矩阵的曲率 | 损失函数 | 让梯度下降快速收敛 |
| 场景 | 条件数 | 推荐方案 | 预期提升 |
|---|---|---|---|
| 构建市场Beta预测模型 | 100–500 | LARS优化器 | 训练速度提升2-5倍 |
| 高频Alpha因子挖掘 | 1000–10000 | K-FAC + 谱截断 | 尾部信号捕获提升5-10倍 |
| 事件驱动交易模型 | 50–200 | LAMB优化器 | 收敛稳定性提升 |
| 跨资产波动率预测 | 10–50 | SGD/Adam足够 | N/A |
import numpy as np
from sklearn.gaussian_process.kernels import RBF
from sklearn.metrics.pairwise import rbf_kernel
# 生成模拟数据
np.random.seed(42)
n_samples = 500
X = np.random.randn(n_samples, 10)
# 计算RBF核矩阵
gamma = 0.1 # gamma = 1/(2*sigma^2)
K = rbf_kernel(X, gamma=gamma)
# 核谱分解
eigvals = np.linalg.eigvalsh(K)
eigvals = eigvals[::-1] # 从大到小排列
# 计算条件数
cond_num = eigvals[0] / eigvals[-1]
print(f"条件数 cond(K) = {cond_num:.2f}")
# 计算累积能量
cumulative_energy = np.cumsum(eigvals) / np.sum(eigvals)
n_modes_90 = np.searchsorted(cumulative_energy, 0.90) + 1
n_modes_99 = np.searchsorted(cumulative_energy, 0.99) + 1
print(f"前90%能量由 {n_modes_90} 个模式贡献")
print(f"前99%能量由 {n_modes_99} 个模式贡献")
print(f"特征值分布: 最大={eigvals[0]:.4f}, " +
f"最小={eigvals[-1]:.4f}, 中位数={np.median(eigvals):.4f}")
import torch
import torch.nn as nn
import torch.optim as optim
# 使用K-FAC近似实现谱感知优化
# (实际项目中推荐使用第三方库如 torch_kfac 或 asdl)
class SpectralAwareNet(nn.Module):
def __init__(self, input_dim, hidden_dim, output_dim):
super().__init__()
self.fc1 = nn.Linear(input_dim, hidden_dim)
self.fc2 = nn.Linear(hidden_dim, hidden_dim)
self.fc3 = nn.Linear(hidden_dim, output_dim)
self.relu = nn.ReLU()
def forward(self, x):
x = self.relu(self.fc1(x))
x = self.relu(self.fc2(x))
return self.fc3(x)
# 训练循环中使用学习率调度来应对谱偏见
model = SpectralAwareNet(10, 64, 1)
optimizer = optim.Adam(model.parameters(), lr=0.001)
scheduler = optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=1000)
for epoch in range(1000):
# ... 训练代码 ...
loss.backward()
optimizer.step()
scheduler.step()
if epoch % 100 == 0:
# 监控不同频率成分的收敛情况
# 实际项目中可在此处计算NTK的谱
pass