核谱(Kernel Spectrum)是核方法(Kernel Method)和神经网络理论中的核心概念,描述核函数或神经正切核(NTK)在特征空间中的特征值分布。
对于核函数 K(x,x′),其谱分解为:
K=i=1∑∞λiviviT
其中:
- λi:特征值(从大到小排列,λ1≥λ2≥⋯≥0)
- vi:对应的特征向量(特征方向)
| 特征值范围 |
对应信号 |
学习难度 |
实盘价值 |
| 大特征值(头部) |
Macro Beta(市场大趋势) |
极易学习 |
低(已被套利) |
| 中等特征值 |
中频信号 |
中等 |
中等 |
| 小特征值(尾部) |
Micro Alpha(真正套利机会) |
极难学习 |
高 |
- 真正的 alpha 藏在 kernel spectrum 的尾部(小特征值)
- Vanilla SGD 学习尾部的速度极慢
- 市场 drift 速度远快于尾部学习速度
- 结果:模型永远学不到真正的 alpha
神经网络训练存在谱偏见:
学习速度i∝λi
- 大特征值方向 → 学习极快
- 小特征值方向 → 学习极慢(甚至学不到)
通过 preconditioner 拉平谱上学习速度:
K~=P−1/2KP−1/2
使得所有特征值趋于均衡,小特征值方向的信号也能被有效学习。
创建于:2026-06-11
*来源:栀染《量化交易的深度学习困境》