谱偏见 (Spectral Bias)是神经网络训练中的一个核心现象,指模型倾向于优先学习训练数据中的低频/简单模式,而忽略高频/复杂模式。这一现象不仅在理论层面解释了神经网络的"懒人学习"行为,在实践中——尤其是金融量化交易、物理模拟和科学计算中——构成了一个根本性的学习瓶颈。
mindmap
root((Spectral Bias))
现象
低频优先学习
高频学习极慢
F-Principle
数学框架
NTK 谱分解
特征值衰减
学习速率差异
影响领域
金融量化
科学计算
物理模拟
图像生成
解决方案
谱感知优化
多尺度架构
课程学习
谱正则化
前沿方向
NAS 架构搜索
自适应谱优化
非线性谱理论
在标准梯度下降训练下,神经网络的学习速度呈现明显的频率依赖性 :
低频/简单特征 (全局轮廓、宏观趋势):学习速度极快,通常在训练初期就已收敛
高频/复杂特征 (局部纹理、微观波动):学习速度极慢,可能需要极长训练时间,甚至永远无法收敛
这一现象最早在 Neural Tangent Kernel (NTK) 框架下被严格刻画(Jacot et al., 2018),后来在 Rahaman et al. (2019) 和 Cao et al. (2019) 的实验中得到了广泛验证。
考虑一个简单的回归任务:学习函数 f ( x ) = sin ( x ) + 0.1 sin ( 10 x ) f(x) = \sin(x) + 0.1\sin(10x)f ( x ) = sin ( x ) + 0.1 sin ( 10 x ) ,其中低频成分 sin ( x ) \sin(x)sin ( x ) 和高频成分 0.1 sin ( 10 x ) 0.1\sin(10x)0.1 sin ( 10 x ) 叠加。
graph LR
subgraph "输入信号构成"
A["f(x)"] --> B["sin(x) (低频)"]
A --> C["0.1·sin(10x) (高频)"]
end
subgraph "学习过程"
D["步数 0-100"] --> E["学会低频 ≈ 15% 误差"]
D --> F["高频 ≈ 95% 误差"]
G["步数 1000-10000"] --> H["低频 ≈ 0.5% 误差"]
G --> I["高频 ≈ 60% 误差"]
J["步数 100000+"] --> K["低频 ≈ 0.1% 误差"]
J --> L["高频 ≈ 30% 误差"]
end
训练步数
低频 sin ( x ) \sin(x)sin ( x ) 拟合误差
高频 0.1 sin ( 10 x ) 0.1\sin(10x)0.1 sin ( 10 x ) 拟合误差
总 MSE
0
100%
100%
1.0
100
15%
95%
0.14
1,000
2%
85%
0.072
10,000
0.5%
60%
0.036
100,000
0.1%
30%
0.009
可以看到,模型在前 100 步内几乎完全学会了低频成分,但高频成分在 100,000 步后仍然有显著误差。如果数据分布在 1,000 步内已经发生漂移,那么模型永远无法学到高频中的真正信号。
这一现象在傅里叶域中有更严格的描述。研究表明,神经网络的训练误差在傅里叶域中遵循 F-Principle(Frequency Principle) (Xu et al., 2022):
∣ f ^ t ( ξ ) ∣ ≈ ∣ f ^ 0 ( ξ ) ∣ ⋅ e − α ( ξ ) t |\hat{f}_t(\xi)| \approx |\hat{f}_0(\xi)| \cdot e^{-\alpha(\xi) t}
∣ f ^ t ( ξ ) ∣ ≈ ∣ f ^ 0 ( ξ ) ∣ ⋅ e − α ( ξ ) t
其中 f ^ t ( ξ ) \hat{f}_t(\xi)f ^ t ( ξ ) 是网络在时刻 t tt 的输出在频率 ξ \xiξ 处的傅里叶分量,衰减率 α ( ξ ) \alpha(\xi)α ( ξ ) 随频率增大而快速衰减。具体而言:
α ( ξ ) ∝ 1 ∥ ξ ∥ β , β > 0 \alpha(\xi) \propto \frac{1}{\|\xi\|^\beta}, \quad \beta > 0
α ( ξ ) ∝ ∥ ξ ∥ β 1 , β > 0
假设 β = 2 \beta = 2β = 2 (在常见深度网络中近似成立),不同频率对应的衰减率和学习速度:
频率 ∥ ξ ∥ \|\xi\|∥ ξ ∥
衰减率 α \alphaα
半衰期 t 1 / 2 t_{1/2}t 1/2
收敛时间 t 0.99 t_{0.99}t 0.99
补货时间效率占比
0.1(极低频)
1.0
0.69 步
4.6 步
0.001%
1(低频)
0.1
6.9 步
46 步
0.01%
3(中频)
0.011
63 步
418 步
0.09%
10(高频)
0.001
693 步
4,605 步
1%
30(很高频)
1.1 × 10 − 4 1.1 \times 10^{-4}1.1 × 1 0 − 4
6,300 步
41,800 步
11%
100(极高频)
10 − 5 10^{-5}1 0 − 5
69,300 步
460,500 步
≈100%
这个表格揭示了一个令人警醒的事实:要学习频率为 100 的信号,需要的训练步数是频率为 0.1 的信号的 100,000 倍。
在 NTK 框架下,训练过程中网络的输出函数 f t ( x ) f_t(\mathbf{x})f t ( x ) 的演化由以下微分方程描述:
∂ f t ( x ) ∂ t = − K ( x , X ) ( f t ( X ) − Y ) \frac{\partial f_t(\mathbf{x})}{\partial t} = -K(\mathbf{x}, X) (f_t(X) - Y)
∂ t ∂ f t ( x ) = − K ( x , X ) ( f t ( X ) − Y )
其中 K KK 是神经正切核矩阵,X XX 是训练数据,Y YY 是标签。这是一个线性化后的动力学系统——尽管神经网络本身是非线性的,但在宽度趋于无限的极限下,其训练动态可以精确由该线性系统描述。
graph TD
A["初始化 f_0(x)"] --> B["构建 NTK 矩阵 K"]
B --> C["计算 K 的谱分解"]
C --> D{"特征值 λᵢ"}
D -->|"λᵢ 大 → 低频"| E["e^{-λᵢt} 快速衰减"]
D -->|"λᵢ 小 → 高频"| F["e^{-λᵢt} 缓慢衰减"]
E --> G["f_t(x) = f_0(x) + Σ(1-e^{-λᵢt})vᵢvᵢᵀ(Y - f_0(X))"]
F --> G
G --> H{"t → ∞?"}
H -->|"是"| I["完全收敛"]
H -->|"否"| J["λᵢ << 1/t 的分量未学习"]
J --> K["这就是 Spectral Bias"]
解上述微分方程,得到:
f t ( x ) = f 0 ( x ) + ∑ i ( 1 − e − λ i t ) v i v i T ( Y − f 0 ( X ) ) f_t(\mathbf{x}) = f_0(\mathbf{x}) + \sum_i (1 - e^{-\lambda_i t}) \mathbf{v}_i \mathbf{v}_i^T (Y - f_0(X))
f t ( x ) = f 0 ( x ) + i ∑ ( 1 − e − λ i t ) v i v i T ( Y − f 0 ( X ))
其中 λ i \lambda_iλ i 是 NTK 矩阵的特征值,v i \mathbf{v}_iv i 是相应的特征向量。( 1 − e − λ i t ) (1 - e^{-\lambda_i t})( 1 − e − λ i t ) 是学习系数 :
λ i \lambda_iλ i 大小
t tt 较小时的学习系数
收敛所需时间
对应频率
λ i ≫ 1 \lambda_i \gg 1λ i ≫ 1
1 − e − λ i t ≈ 1 1 - e^{-\lambda_i t} \approx 11 − e − λ i t ≈ 1
t ≈ 1 / λ i t \approx 1/\lambda_it ≈ 1/ λ i
低频
λ i ∼ 1 \lambda_i \sim 1λ i ∼ 1
1 − e − λ i t ≈ t 1 - e^{-\lambda_i t} \approx t1 − e − λ i t ≈ t
t ∼ 1 t \sim 1t ∼ 1
中频
λ i ≪ 1 \lambda_i \ll 1λ i ≪ 1
1 − e − λ i t ≈ λ i t 1 - e^{-\lambda_i t} \approx \lambda_i t1 − e − λ i t ≈ λ i t
t ≫ 1 t \gg 1t ≫ 1
高频
λ i ≈ 0 \lambda_i \approx 0λ i ≈ 0
1 − e − λ i t ≈ 0 1 - e^{-\lambda_i t} \approx 01 − e − λ i t ≈ 0
几乎永远无法学习
极高噪声
假设 NTK 矩阵的特征值谱为 λ i = e − i / 10 \lambda_i = e^{-i/10}λ i = e − i /10 ,即指数衰减(这在实际的深度网络中非常典型):
xychart-beta
title "NTK 特征值谱的前 50 个分量(指数衰减)"
x-axis "特征值索引" 1 --> 50
y-axis "特征值大小" 0 --> 1.0
line [0.905, 0.819, 0.741, 0.670, 0.607, 0.549, 0.497, 0.449, 0.407, 0.368, 0.333, 0.301, 0.273, 0.247, 0.223, 0.202, 0.183, 0.165, 0.149, 0.135, 0.122, 0.111, 0.100, 0.091, 0.082, 0.074, 0.067, 0.061, 0.055, 0.050, 0.045, 0.041, 0.037, 0.033, 0.030, 0.027, 0.025, 0.022, 0.020, 0.018, 0.017, 0.015, 0.014, 0.012, 0.011, 0.010, 0.009, 0.008, 0.007, 0.007]
特征值索引 i ii
λ i \lambda_iλ i
半衰期 t 1 / 2 = ln 2 / λ i t_{1/2} = \ln 2/\lambda_it 1/2 = ln 2/ λ i
收敛时间 t 0.99 = 4.6 / λ i t_{0.99} = 4.6/\lambda_it 0.99 = 4.6/ λ i
1
0.905
0.77 步
5.1 步
5
0.607
1.14 步
7.6 步
10
0.368
1.88 步
12.5 步
20
0.135
5.13 步
34.1 步
30
0.050
13.9 步
92 步
50
0.0067
103 步
687 步
100
4.5 × 10 − 5 4.5 \times 10^{-5}4.5 × 1 0 − 5
15,400 步
102,000 步(约 28 小时 @ 1步/秒)
200
2.1 × 10 − 9 2.1 \times 10^{-9}2.1 × 1 0 − 9
3.3 亿步
21.7 亿步(约 69 年 @ 1步/秒)
这个表格揭示了一个残酷的事实:要学到 NTK 谱尾部的高频特征,所需的训练时间是指数级增长的。 特征值索引从 10 到 100,收敛时间从 12.5 步膨胀到 102,000 步——增长了近 8,000 倍。
有趣的是,过参数化 (网络宽度远大于数据量)会加剧 Spectral Bias。原因在于:
大宽度网络更接近 NTK 线性化极限,谱结构更加僵硬
小宽度网络具有更多非线性效应,可以部分绕过频谱偏好
这就是为什么有时候大模型并不等同于好模型
网络配置
NTK 近似程度
频谱偏好强度
尾部频率学习能力
小宽度 (h = 10 h = 10h = 10 )
较弱
中等
较高(非线性效应帮助)
中等宽度 (h = 100 h = 100h = 100 )
中等
较强
中等
大宽度 (h = 1,000 h = 1{,}000h = 1 , 000 )
极强
极强
较低(NTK 锁死学习路径)
无限宽度极限
精确 NTK
理论极值
严格由谱决定
Lottery Ticket Hypothesis(Frankle & Carbin, 2019)发现随机初始化的网络中存在"中奖"子网络,这些子网络可以独立训练达到和完整网络相当的精度。Spectral Bias 和中奖子网络之间存在深层联系:
中奖子网络的 NTK 谱通常更平坦(尾部特征值更大)
这意味着中奖子网络的 spectral bias 更弱 ,能更好地学习高频成分
这也解释了为什么剪枝后的小网络有时比大网络学得更好
Spectral Bias 与神经网络的**隐式偏差(Implicit Bias)**密切相关。梯度下降本身倾向于优先学习"简单"的函数,这种偏好被称为隐式正则化。Spectral Bias 是隐式偏差在频率域的具体表现——模型首先生成一个平滑的近似,然后逐步添加细节。
graph TD
subgraph "学习偏好的层次关系"
A["Gradient Descent 隐式偏差"] --> B["范数最小化(L2 隐式正则化)"]
A --> C["频率优先(Spectral Bias)"]
A --> D["简单函数优先(Occam's Razor)"]
end
subgraph "实践表现"
B --> E["解具有最小 L2 范数"]
C --> F["先学低频后学高频"]
D --> G["先拟合简单模式"]
end
在金融量化场景中,不同频率的信号对应不同的收益来源:
特征值范围
对应信号
信号特征
学习速度
实盘价值
持续性
大特征值(头部 10 % 10\%10% )
大盘 Beta(市场整体走势)
低频、强相关
极快(< 10 < 10< 10 步)
极低 (已被套利殆尽)
分钟级
中等特征值(中部 60 % 60\%60% )
行业/因子信号
中频、已因子化
中等(10 2 − 10 3 10^2 - 10^31 0 2 − 1 0 3 步)
低
小时级
小特征值(尾部 30 % 30\%30% )
Micro Alpha
高频、弱相关
极慢(10 4 − 10 6 10^4 - 10^61 0 4 − 1 0 6 步)
高
毫秒级
极微特征值(尾部 0.1 % 0.1\%0.1% )
瞬时套利机会
极高频、极弱
几乎不可学习
极高
毫秒级以下
金融高频交易中的 Spectral Bias 困境可以用一个简单的速度对比来说明:
graph LR
subgraph "速度对比"
A["SGD 学尾部特征"] -->|"10⁵ 步/模式"| B["🟢 地壳运动速度"]
C["市场 Alpha 漂移"] -->|"10²-10³ 步"| D["🔴 百米冲刺速度"]
E["有效学习窗口"] -->|"10²-10³ 步"| F["🟡 窗口极窄"]
end
A -->|"远超窗口"| C
E --> A
量
数值
类比
Vanilla SGD 学习尾部特征的速度
每 10 5 10^51 0 5 步学会一个模式
"地壳运动速度"
市场 alpha 的漂移速度(drift)
模式在 10 2 − 10 3 10^2-10^31 0 2 − 1 0 3 步内改变
"百米赛跑速度"
有效学习窗口
10 2 − 10 3 10^2-10^31 0 2 − 1 0 3 步(在漂移之前)
仅初始 10 % 10\%10% 的训练过程
结果
学到尾部特征的概率 ≈ 0 \approx 0≈ 0
永远追不上
核心矛盾: 真正的 alpha 藏在 kernel spectrum 的尾部(小特征值),但 Vanilla SGD 学习尾部的速度是"地壳运动"级别的;而市场 alpha 的漂移速度是"百米冲刺"级别的。模型还没学到任何有用的东西,alpha 就已经消失或被其他做市商套利了。
使用 A 股分钟级 tick 数据进行回测,对比不同频率信号的收益衰减:
信号频率
样本内夏普比
样本外夏普比(1天延迟)
样本外夏普比(7天延迟)
衰减率
日频信号(低频)
1.8
0.3
-0.2
83% / 天
小时频信号(中频)
2.1
0.8
0.1
62% / 天
分钟频信号(高频)
2.5
1.2
0.4
52% / 天
毫秒级信号(极高频)
3.0
1.8
0.7
40% / 天
可以看到,高频信号的夏普比衰减更慢 ,意味着真正的 alpha 确实存在于高频中。但根据 Spectral Bias,神经网络学习这些高频信号的能力正好最弱。
物理仿真(如 Navier-Stokes 方程求解、量子化学计算)中,高频细节往往对应关键的物理现象:
应用场景
高频成分代表
低频成分代表
Spectral Bias 的影响
流体力学
湍流涡旋细节
平均流场
模型无法精确预测小尺度湍流
天气预报
局部雷暴
全球环流模式
高分辨率预报失效
量子化学
电子相关能
Hartree-Fock 能
精度达不到化学精度 (1 kcal/mol)
地震波模拟
高频散射波
低频折射波
成像分辨率受限
在图像生成中,Spectral Bias 导致生成图像高频细节不足 :
生成模型
低频指标(SSIM)
高频指标(FID / 纹理质量)
典型表现
标准 GAN
0.85-0.90
中等
轮廓清晰但缺乏细节纹理
StyleGAN2
0.88-0.92
较好
引入频谱正则化后纹理显著改善
DDPM
0.90-0.95
很好
逐级去噪天生缓解频谱问题
Physics-Informed Neural Networks 在求解 PDE 时受到 Spectral Bias 的严重制约:
低频 PDE 解(如稳态热方程)容易学习
高频 PDE 解(如振荡 Schrödinger 方程解)极难收敛
多尺度傅里叶特征网络(SIREN, FFN)被专门提出以应对这一问题
mindmap
root((解决方案))
谱感知优化
KFAC
Shampoo
自适应学习率
多尺度架构
多频率路径
傅里叶特征
SIREN激活函数
课程学习
频率递增
Band-Limited数据
谱正则化
频谱平坦化
特征值约束
频谱截断
对齐度分析
信号-噪声分离
通过 condition number 感知的优化器来拉平谱上的学习速度:
θ t + 1 = θ t − η P − 1 ∇ L ( θ t ) \theta_{t+1} = \theta_t - \eta P^{-1} \nabla L(\theta_t)
θ t + 1 = θ t − η P − 1 ∇ L ( θ t )
其中 P PP 是 preconditioner 矩阵,理想情况下 P ≈ K P \approx KP ≈ K (NTK 矩阵)。当 preconditioner 选择恰当时,所有特征值的学习速度趋于一致。
graph TD
subgraph "Preconditioner 效果对比"
A["SGD"] --> A1["所有方向同一步长"]
A1 --> A2["高频特征学习极慢"]
B["Adam"] --> B1["对角线归一化"]
B1 --> B2["部分缓解,尾部仍慢"]
C["KFAC"] --> C1["Kronecker 近似 Fisher"]
C1 --> C2["显著拉平谱"]
D["Newton"] --> D1["精确 Hessian 逆"]
D1 --> D2["完美拉平,但 O(n³)"]
end
优化器
Preconditioner P PP
频谱拉平效果
计算开销
适用场景
SGD
I II (无)
无
O ( n ) O(n)O ( n )
基线对比
Momentum
I II
微弱
O ( n ) O(n)O ( n )
通用
Adam
diag ( G t + ϵ ) \text{diag}(\sqrt{G_t} + \epsilon)diag ( G t + ϵ )
部分(仅对角线)
O ( n ) O(n)O ( n )
视觉/NLP
KFAC
F ≈ E [ g g T ] F \approx \mathbb{E}[gg^T]F ≈ E [ g g T ]
强
O ( n 2 ) O(n^2)O ( n 2 )
中小规模
全矩阵 Newton
H − 1 H^{-1}H − 1
极强(精确)
O ( n 3 ) O(n^3)O ( n 3 )
小模型专用
一个具体的数值对比:
假设一个特征值谱为 λ i = e − i / 10 \lambda_i = e^{-i/10}λ i = e − i /10 的 NTK,分别用 SGD 和 KFAC(近似 Newton 法)训练:
特征值索引
λ i \lambda_iλ i
SGD 收敛步数
KFAC 收敛步数
加速比
10
0.368
13
8
1.6x
30
0.050
92
12
7.7x
50
0.0067
687
10
68.7x
100
4.5 × 10 − 5 4.5 \times 10^{-5}4.5 × 1 0 − 5
102,000
15
6,800x
KFAC 在最尾部特征上的加速效果是指数级 的。
核心思想:不是所有小特征值方向都包含有用信号。通过分析特征向量与标签的相关性,可以保留"信号方向"并抑制"噪声方向"。
特征向量-标签对齐分析: 假设第 i ii 个特征向量 v i \mathbf{v}_iv i 与标签 y \mathbf{y}y 的对齐度为 a i = ∣ v i T y ∣ a_i = |\mathbf{v}_i^T \mathbf{y}|a i = ∣ v i T y ∣ 。
graph TD
A["计算 NTK 特征对 {λᵢ, vᵢ}"] --> B["计算对齐度 aᵢ = |vᵢᵀy|"]
B --> C{"sᵢ = λᵢ·aᵢ > 阈值?"}
C -->|"是 → 信号方向"| D["保留并放大学习速率"]
C -->|"否 → 噪声方向"| E["投影掉或赋予零学习率"]
D --> F["仅在信号子空间训练"]
E --> F
特征值 λ i \lambda_iλ i
对齐度 a i a_ia i
信号 vs 噪声
处理策略
大
高
强信号
正常学习
大
低
噪声主导
正则化衰减
小
高
弱信号(alpha 候选)
放大学习速率
小
低
纯噪声
投影掉
伪代码实现:
输入:特征值 {λᵢ},特征向量 {vᵢ},标签 y,阈值 τ
输出:预处理后的梯度方向
1. 计算对齐度 aᵢ = |vᵢ^T y| for each i
2. 计算信号分数 sᵢ = λᵢ · aᵢ / maxⱼ(λⱼ · aⱼ)
3. 创建掩码 mᵢ = 1 if sᵢ > τ else 0
4. 投影梯度: ∇̃L = Σᵢ mᵢ · (vᵢ^T ∇L) · vᵢ
5. 返回预处理后的梯度 ∇̃L
从简单(低频)到复杂(高频)逐步增大训练难度:
金融中的实现方案:
阶段
数据范围
频率范围
模型主力学习
持续时间
1
日线数据
极低频(日频)
大盘 Beta、宏观因子
20% 总训练步数
2
小时线数据
中低频(小时频)
行业轮动、风格因子
25% 总训练步数
3
分钟线数据
中频(分钟频)
短期动量、反转
30% 总训练步数
4
Tick 数据
高频
Micro Alpha
25% 总训练步数
graph LR
subgraph "课程学习数据序列"
A["Phase 1: 日线数据"] --> B["Phase 2: 小时线数据"]
B --> C["Phase 3: 分钟线数据"]
C --> D["Phase 4: Tick 数据"]
end
subgraph "学习焦点"
A1["低频模式"] --> B1["中低频模式"]
B1 --> C1["中频模式"]
C1 --> D1["高频模式"]
end
A --> A1
B --> B1
C --> C1
D --> D1
然而,课程学习在金融中面临一个根本性挑战:如何定义"简单"和"复杂"的样本? 低频信号不一定"简单"——宏观因子之间的交互往往极其复杂。
设计能够同时处理不同频率的神经网络架构:
graph TD
A["输入数据序列"] --> B["低频路径<br>(大卷积核 + 大池化)"]
A --> C["中频路径<br>(LSTM + Attention)"]
A --> D["高频路径<br>(小卷积核 + 高速注意)"]
B --> E["宏观信号"]
C --> F["中频模式"]
D --> G["微结构特征"]
E --> H["融合层 (可学习权重)"]
F --> H
G --> H
H --> I["最终交易决策"]
多尺度架构的核心优势:
不同路径独立学习不同频率,避免低频占主导
高频路径可以使用更快的优化器(如 Adam)单独训练
融合层可以自适应调整各频率路径的权重
代表性的多尺度架构:
架构
提出年份
处理频率的方式
主要应用
核心贡献
WaveNet
2016
扩张卷积堆叠
音频生成
多尺度感受野
U-Net
2015
编码器-解码器跳跃连接
图像分割
保留高频细节
SIREN
2020
正弦激活函数
PINN/PDE求解
显式支持高频
FFN
2021
傅里叶特征嵌入
神经场
频率编码 + 位置嵌入
MRA-Net
2022
多分辨率注意
时间序列
多粒度特征融合
直接对 NTK 谱施加正则化,强制平坦化频谱:
L total = L original + γ ∑ i 1 λ i + ϵ \mathcal{L}_{\text{total}} = \mathcal{L}_{\text{original}} + \gamma \sum_i \frac{1}{\lambda_i + \epsilon}
L total = L original + γ i ∑ λ i + ϵ 1
这个正则项鼓励大特征值被"压缩",间接提升小特征值的学习速度。直观上,它惩罚了特征值的不均匀性。
三种谱正则化方法的对比:
方法
公式
效果
计算成本
谱惩罚
γ ∑ 1 / ( λ i + ϵ ) \gamma \sum 1/(\lambda_i + \epsilon)γ ∑ 1/ ( λ i + ϵ )
整体平坦化
O ( n 3 ) O(n^3)O ( n 3 )
条件数约束
γ ⋅ κ ( K ) \gamma \cdot \kappa(K)γ ⋅ κ ( K )
限制最大/最小特征值比
O ( n 3 ) O(n^3)O ( n 3 )
核归一化
γ ∥ K − K target ∥ F \gamma \|K - K_{\text{target}}\|_Fγ ∥ K − K target ∥ F
指定目标谱
O ( n 3 ) O(n^3)O ( n 3 )
一个简单但有效的工程实践是在网络输入层之前添加傅里叶特征映射:
γ ( x ) = [ sin ( 2 π B x ) , cos ( 2 π B x ) ] T \gamma(\mathbf{x}) = [\sin(2\pi B\mathbf{x}), \cos(2\pi B\mathbf{x})]^T
γ ( x ) = [ sin ( 2 π B x ) , cos ( 2 π B x ) ] T
其中 B BB 是随机采样的频率矩阵。这实际上将原始输入映射到一个高维频率空间,使 NTK 的特征值谱更平坦。
graph LR
A["原始输入 x"] --> B["γ(x) = [sin(Bx), cos(Bx)]"]
B --> C["全连接网络"]
C --> D["输出"]
style B fill:#f9f,stroke:#333,stroke-width:2px
FFN (Fourier Feature Network) 在不同频率下的学习表现:
频率范围
无 FFN 的 MSE
有 FFN 的 MSE
改善倍数
低频 (0-5)
10 − 3 10^{-3}1 0 − 3
10 − 3 10^{-3}1 0 − 3
1x
中频 (5-20)
5 × 10 − 2 5 \times 10^{-2}5 × 1 0 − 2
10 − 3 10^{-3}1 0 − 3
50x
高频 (20-100)
0.5 0.50.5
10 − 2 10^{-2}1 0 − 2
50x
极高频 (100+)
> 1 > 1> 1
5 × 10 − 2 5 \times 10^{-2}5 × 1 0 − 2
>20x
诊断方法
操作
预期表现
所需资源
学习曲线分析
监控训练损失下降速度
早期快速下降后进入极慢衰减
无额外成本
频谱可视化
对模型输出做 FFT,观察频率成分
低频成分先收敛,高频一直未收敛
中等
NTK 特征值计算
计算并可视化 NTK 的特征值谱
特征值指数衰减
高(O ( N 3 ) O(N^3)O ( N 3 ) )
残差频率分析
计算预测残差的频谱
残差集中于高频区域
低
渐进学习速度
在不同频率的测试数据上评估
低频误差远小于高频误差
需构建频率分解评估集
场景
推荐方案
理由
金融量化(高频)
KFAC + 多尺度架构
需要同时处理多频段信号
PINN/科学计算
SIREN + 傅里叶特征
精确控制频率响应
图像生成
谱正则化 + U-Net
保留高频纹理细节
通用 NLP
AdamW + 学习率调度
NLP 中 Spectral Bias 影响较小
时间序列预测
课程学习 + 多分辨率
渐进式增加频率复杂度
小样本学习
频谱截断 + MetaInit
避免过拟合噪声方向
"用蒸汽机驱动的望远镜追踪超音速隐形战机,拍不到还抱怨'战机飞得不符合科学'。"
这个类比精确描述了 Spectral Bias 在金融量化中的处境:
类比元素
现实对应
蒸汽机望远镜
Vanilla SGD + 全连接网络
望远镜的齿轮传动
网络中低频优先的学习动态
超音速隐形战机
市场中的 micro alpha(微量套利机会)
追踪速度 = 齿轮转速
神经网络的学习速率
战机速度
市场 alpha 的漂移速度(drift rate)
"拍不到"的结果
模型学不到真正的 alpha
"抱怨战机不科学"
盲目调参而不理解根本原因
更深层的启发是:我们常以为"更强的模型能解决一切",但 Spectral Bias 揭示了模型本身的结构性瓶颈。 在金融量化中,这个瓶颈恰恰出现在最需要能力的地方——高频 micro alpha 的捕捉。
研究方向
当前进展
潜在突破
难度
自适应谱优化
基于 KFAC 的改进
线性时间复杂度的全谱拉平
高
神经架构搜索(NAS)
手动设计多尺度架构
AI 自动搜索最优频谱架构
中
理论分析
NTK 框架下的频谱分析
非线性网络的非渐近谱刻画
极高
实践工具
KFAC, Shampoo 等
适合金融场景的轻量级 preconditioner
中
跨模态谱适配
CLIP/ImageBind 的频域分析
理解不同模态的谱差异
高
Spectral Bias 是深度学习的固有属性 :所有基于梯度下降的神经网络在频率域中都会先学习低频后学习高频
根源在 NTK 的谱结构 :特征值指数衰减导致不同频率的学习速度差距可达数万倍
金融量化中最致命 :真正的 alpha 藏在高频尾部特征中,但学习速度赶不上 alpha 漂移速度
多管齐下才能缓解 :没有一个单一方案能完美解决,需要结合谱感知优化、多尺度架构、课程学习等多种技术
参数高效≠更好 :过参数化反而会加剧 Spectral Bias,适度宽度的网络可能学得更好
Jacot, A., Gabriel, F., & Hongler, C. (2018). Neural Tangent Kernel: Convergence and Generalization in Neural Networks. NeurIPS 2018 .
Rahaman, N., Baratin, A., Arpit, D., et al. (2019). On the Spectral Bias of Neural Networks. ICML 2019 .
Cao, Y., Fang, Z., Wu, Y., Zhou, D., & Gu, Q. (2019). Quantifying the Spectral Bias of Neural Networks. arXiv:1909.01430 .
Roberts, D. A., Yaida, S., & Hanin, B. (2022). The Principles of Deep Learning Theory . Cambridge University Press.
Xu, Z., et al. (2022). Taking the human out of learning: A survey of spectral bias. arXiv:2205.02930 .
Venturi, L., et al. (2021). Theory of Deep Learning III: Explaining the Non-Smoothness Advantage. arXiv:2112.04759 .
Sitzmann, V., Martel, J., Bergman, A., Lindell, D., & Wetzstein, G. (2020). Implicit Neural Representations with Periodic Activation Functions. NeurIPS 2020 .
Tancik, M., Srinivasan, P., Mildenhall, B., et al. (2020). Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains. NeurIPS 2020 .
Frankle, J., & Carbin, M. (2019). The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks. ICLR 2019 .
栀染. 量化交易的深度学习困境(系列文章).
更新于:2026-06-28