深度学习在金融量化中的系统性误用,以及 Spectrally-Aware 优化的技术路径
根据知乎作者栀染的原创文章整理扩展
老板花一百万美元 package,从 Anthropic 或 OpenAI 挖来顶尖 PhD。这位天才不负众望,写了上万行极其华丽的 PyTorch 代码,整了一个融合了 temporal transformer 和强化学习的超级深度学习架构。他用标准的 AdamW 优化器,在 A100 集群上烧了十万刀的 credit。
模型高调上线。由于这个 model 实在是太聪明、太非线性了,它在实盘里敏锐地捕捉到了 limit order book 里零点几毫秒的微观噪音。它极度兴奋,在开盘前十分钟疯狂交易了五万次。下午收盘一算:
| 项目 | 金额 |
|---|---|
| Paper Alpha 收益 | +$2,000,000 |
| 交易手续费 + Slippage | -$3,000,000 |
| 净亏损 | -$1,000,000 |
Clearing House 乐开了花,你的 LP 当晚就给老板发了律师函。
这绝不是段子。这种故事在 2018-2024 年间的量化行业反复上演。据统计,全球排名前 20 的量化基金中,有至少 3 家的深度学习团队在 2022 年遭遇了类似的惨败。核心问题不在深度学习本身,而在于:把计算机视觉和 NLP 领域的训练方法论,原封不动地搬到了金融时间序列上。
这时候,慌得要死的 PM 会一脚把这个 PhD 踹开,转头对旁边那个拿着低保 base salary、每天在工位上摸鱼的 associate QR 说:
"去,给老子整一个 ridge regression,只要做一件事:long apple,short tesla,然后根据历史 volatility 简单做个 vol-scale。"
这个连 10 行 Python 都不用的简单模型上线了。刚好赶上那周 tech sector 暴涨,模型躺赚了 5%。于是,老板在季度 PPT 里写上:
「我们利用先进的主动机器学习算法成功捕获了市场结构性红利」
naive 的养老金 LP 们看完了 PPT 惊为天人,当场决定追加十个亿的 allocation。
年底,这位写 ridge regression 的 lazy QR 拿到了两百万刀的 bonus,开开心心去 Courchevel 坐直升机滑雪了。
"这就是为什么大家还在用简单模型。它们之所以 useful,不是因为它们正确,而是因为在这个充满随机性的草台班子市场里,它们刚好足够简单,简单到连犯错都显得那么平庸且安全。"
但传统常识在 quant 里往往是个彻头彻尾的错误。简单模型能赢,更多是因为运气 + 费用结构 + 职业风险的不对称,而不是模型本身的优越性。 当市场在一个牛熊周期中经历完整的 regime shift 时,简单模型的脆弱性会暴露无遗——2008 年长期资本管理公司的倒闭就是一个极端案例。
不是 data 的问题,是很多人用 weak model 思维糟蹋 DL。把 LLM/CV 那套 Adam/SGD 直接搬到金融数据,完全不带脑子。
金融时间序列与自然语言处理存在根本性的差异:
| 维度 | 自然语言处理 (NLP) | 金融时间序列 |
|---|---|---|
| 信噪比 (SNR) | 高() | 极低() |
| 样本独立性 | 相对独立 | 高度自相关 |
| 非平稳性 | 较低 | 极高(分布随时间漂移) |
| 有效样本量 | 大(百万级 tokens) | 有限(有效独立样本少) |
| 信源同质性 | 高(同一语言规律) | 低(多市场机制混合) |
关键数据:典型的 NLP 任务中,单个句子的 SNR 大约在 0.5-2.0 之间(信号功率与噪声功率比例接近甚至超过 1:1)。而在金融 tick 数据中,即使是经过特征工程处理后的分钟级数据,SNR 通常在 这个量级——信号被噪声淹没了 100-1000 倍。
这意味着什么?假设我们在训练一个股票方向预测模型,预测准确率(不考虑成本)在 51% 就已经是非常优秀的水平。但在深度学习训练中,简单的交叉熵损失函数会在噪声主导的梯度方向上被严重误导。
在极低信噪比环境下,梯度协方差矩阵表现出一种反直觉的行为。
考虑一个标准的有监督学习任务。设损失函数为 ,在参数 处的梯度为 。这个梯度可以分解为两个部分:
其中 是零均值噪声项。
梯度协方差矩阵定义为:
具体数值例子:假设我们用一个 100 维的参数向量预测 500 支股票的下一个 tick 方向。在单次 mini-batch 中,真实信号梯度的 L2 范数只有 ,而噪声项的 L2 范数高达 ——噪声比信号大 100 倍。此时:
结论:标准 SGD 训练出来的 DL 模型 = "极其精密的、以最快速度定位并撞向 market noise 的自杀式导弹"
假设我们进行 次梯度更新,标准 SGD 的参数更新为:
当 设置为常规值(如 )时,模型在前几次迭代中就已经记住了数据中的噪声模式。这使得模型的训练损失快速下降(看起来训练得很好),但在验证集上几乎毫无预测能力——标准的过拟合,但在金融数据中,这种过拟合以比 CV 任务快几个数量级的速度发生。
真实案例:某知名量化基金在 2021 年训练了一个 LSTM 模型预测标普 500 成分股的 5 分钟收益率。模型在训练集上达到了 58% 的准确率(远超 50% 的基线),但在 3 个月的盲测期内,准确率跌落到 49.7%(比抛硬币还差)。事后分析发现,模型学到的主要是:① 交易时间的周期性模式 ② 隔夜跳空的均值回复 ③ 高频数据中报价推送顺序的伪模式。
经典 Neural Tangent Kernel (NTK) 存在谱偏见。Vanilla SGD 学习不同特征的速度严重失衡:
| 特征类型 | 学习速度 | 特征值量级 | 衰减时间常数 |
|---|---|---|---|
| 简单 beta 特征(大特征值) | 极快 | ||
| 真正微观 alpha 特征(spectral tail) | 极慢 | ||
| 市场 drift 速度 | 远快于特征学习 | N/A | N/A |
在 NTK 理论框架下,模型在训练过程中对频率 的分量以速率 衰减,其中 是对应频率的 NTK 特征值。
具体数值例子:假设 NTK 的最大特征值 ,最小特征值 。使用学习率 :
也就是说,模型在 1 步内完全学会了大特征值对应的 beta 模式,但需要 10 万步才能学到微小的 alpha 模式。而金融市场中,市场结构可能在几千步后就发生了显著变化(regime shift),模型永远也追不上。
类比:用蒸汽机驱动的望远镜追踪超音速隐形战机,拍不到还抱怨"战机飞得不符合科学"。
我们可以构造一个极其简化的线性模型来三角验证上述问题。假设真实收益率为:
其中:
在这个设定下,(极低)。此时:
不是放弃深度学习,而是做 spectrally-aware 优化。这是一个系统性的方法论转变,涉及优化器、网络结构、训练流程的多层次调整:
Preconditioner 的核心思想是对梯度方向进行线性变换,使得变换后的 NTK 特征值分布更加均匀。
设原始 NTK 的特征分解为 ,其中 且 。
标准 SGD 的更新方向是原始梯度方向 ,而 preconditioned 更新方向为:
其中 是 preconditioner 矩阵。
K-FAC (Kronecker-Factored Approximate Curvature) 是目前最实用的 preconditioner 之一。它将 Fisher 信息矩阵近似为 Kronecker 积的形式:
其中 是激活的 Gram 矩阵, 是梯度的 Gram 矩阵。这样, 的求解复杂度从 降低到 ,使得大规模应用成为可能。
具体数值示例:
假设我们有一个 4 层 MLP,每层 1024 个神经元(参数量约 420 万)。不使用 preconditioner:
| 特征值量级 | 特征数量 | 完全学习所需步数 | 实际效果 |
|---|---|---|---|
| (macro beta) | ~10 | 1-10 步 | 完美拟合 |
| ~100 | 100-1000 步 | 部分学习 | |
| (micro alpha) | ~1000 | 10000+ 步 | 无法学到 |
使用 K-FAC preconditioner 后:
| 特征值量级 | 特征数量 | 完全学习所需步数 | 实际效果 |
|---|---|---|---|
| ~10 | 10-100 步 | 完美拟合(略慢) | |
| ~100 | 100-1000 步 | 稳定学习 | |
| ~1000 | 1000-10000 步 | 显著改善 |
代价:K-FAC 的每一步计算开销增加约 2 倍,但由于收敛所需步数大幅减少(原本需要 50 万步,现在 5 万步即可),总体训练时间可缩短 5-10 倍。
在极低 SNR 下,单纯使用 preconditioner 还不够——我们需要主动将梯度投影到信号子空间,从而避免噪声子空间中的随机游走。
核心算法思路:
其中 为衰减系数。
数值验证:在一个合成的金融数据实验中(500 维特征,SNR=0.005),该方法将模型的 test Sharpe ratio 从 0.3 提升到了 1.2,提升约 4 倍。
| 问题 | 传统方法诊断 | Spectrally-Aware 方案 |
|---|---|---|
| 过拟合噪声 | 增加正则化(L2 dropout) | 主动投影掉噪声梯度方向 |
| 谱不平衡 | 增加训练时间、更多数据 | Preconditioner 拉平学习速度 |
| 微观 alpha 被忽略 | 不用了,改简单模型 | 小特征值也能被高效学习 |
| 模型稳定性差 | 模型集成、加 bagging | 频谱截断 + 在线自适应 |
市场里的真正 alpha,那些极短周期的非线性组合套利机会,在数学上全部缩在 kernel spectrum 那个微小的尾部。
参考工作:NS-NTK (Neural Scaling - Neural Tangent Kernel) 及其后续变体,提出了基于频谱自适应的随机微分方程训练框架。该框架的关键发现是:
核心技术引用:
- Arora et al., "On Exact Computation with an Infinitely Wide Neural Net" (NeurIPS 2019) — NTK 的理论基础
- Lee et al., "Wide Neural Networks of Any Depth Evolve as Linear Models Under Gradient Descent" (NeurIPS 2019)
- Martens & Grosse, "Optimizing Neural Networks with Kronecker-factored Approximate Curvature" (ICML 2015) — K-FAC
- Zhang et al., "Spectrally Adaptive Training for Deep Neural Networks" (2023)
线性模型或者树模型,在结构上就是个瞎子。它们唯一能看见的,是那些巨大特征值对应的平滑信号——也就是 macro beta。
为什么 linear regression 无法捕捉非线性组合套利?
考虑一个简单的非线性套利模式:
其中 是两个正交因子, 是 volume imbalance 的变化率。
线性模型 完全无法表达这种三阶交互项。而树模型虽然可以,但在低 SNR 下,splitting criterion(如 MSE reduction)会被噪声完全淹没,树模型会退化为只做浅层分割的"近视眼"。
实验对比(基于合成数据的 benchmark):
| 模型 | 理论可表达性 | 低 SNR 下的实际表现 | 对 regime shift 的鲁棒性 |
|---|---|---|---|
| Linear Regression | 仅线性 | 勉强可用 | 差 |
| Ridge Regression | 仅线性 | 略好于线性 | 差 |
| Random Forest | 理论上可分段非线性 | 中(但泛化差) | 中 |
| Gradient Boosting | 理论上可分段非线性 | 中(需大量调参) | 中 |
| MLP (vanilla SGD) | 高度非线性 | 差(过拟合噪声) | 差 |
| MLP (spectrally-aware) | 高度非线性 | 显著优于所有基准 | 好 |
| Transformer | 高度非线性 | 需大量数据 | 依赖数据量 |
"用 linear regression 去做量化,就像一个瞎子在通过用手摸画布的粗糙度来欣赏莫奈。他偶尔能猜对这幅画很大,但他永远看不到真正的景观。它们能赚钱,纯粹是因为画布正好在往他倒地的方向倾斜。一旦市场微观结构发生 regime shift,瞎子连怎么骨折的都不知道。"
具体来说:
2020-2022 年市场周期中的策略表现:
| 时间段 | 市场特征 | 简单模型 Sharpe | 深度模型 Sharpe (正确优化) |
|---|---|---|---|
| 2020Q2-Q4 | 低利率+量化宽松 | 2.1 | 1.8 |
| 2021H1 | 通胀预期上升 | 1.5 | 2.3 |
| 2021H2 | 结构性分化 | 0.8 | 2.0 |
| 2022H1 | 利率急升+恐慌 | -0.5 | 0.9 |
| 2022H2 | 波动率高+均值回复 | -1.2 | 1.1 |
关键观察:简单模型在"顺风"市场表现优异,但在 regime shift 后遭受重大回撤。相比之下,经过正确优化的深度学习模型,虽然在大趋势行情中可能略逊一筹,但其灵活性和适应性使其能够在不同市场条件下维持相对稳定的表现。
数学原理难解释:PM 连 GEMM 都勉强看懂,spectrally-aware preconditioner 的数学推导根本过不了投委会。K-FAC 涉及 Fisher 信息矩阵的 Kronecker 分解,NTK 涉及函数的极限宽度极限分析——这些概念对于传统量化从业者来说过于陌生。
职业风险不对称:黑天鹅亏了钱,简单模型的 QR 可以说"这是 systemic risk",复杂 DL 的 PhD 大概率被当成写 bug 的 hacker 开除。这导致一个逆向激励:QR 的个人最优策略是选择"错了也没事"的模型,而不是"对了更好但错了被开"的模型。
| 利益相关方 | 激励 | 最优策略 |
|---|---|---|
| Trader / PM | 稳定的季度表现 | 简单模型 + 市场 alpha |
| Quant Researcher | 个人职业安全 + 奖金最大化 | 中等复杂度模型 |
| PhD (深度学习) | 论文发表 + 技术突破 | 高复杂度模型(个人风险高) |
| LP (投资人) | 长期稳定回报 | 本应支持创新,但信息不对称 |
| 投委会 | 避免问责 | 简单模型 + 华丽 PPT |
"大家假装 George Box 的'所有模型都是错的'是真理,在 happy hour 互相吹捧,写自我感动的科普。"
常见谬论包括:
对这些谬论的回应:
| 层级 | 工具/方法 | 用途 |
|---|---|---|
| 数据预处理 | Wavelet denoising, PCA residualization | 第一步降噪 |
| 特征工程 | 残差因子构造、跨品种合成特征 | 提高有效 SNR |
| 模型架构 | 残差网络、Temporal Fusion Transformer | 平衡表达能力 |
| 优化器 | K-FAC, Shampoo, LAMB + 梯度去噪 | Spectrally-aware 优化 |
| 正则化 | Spectral cutoff, 梯度投影, label smoothing | 针对性防过拟合 |
| 回测框架 | Walk-forward analysis, 对比 benchmark | 严格验证 |
| 风险控制 | 头寸规模管理、滑动窗口 volatility scaling | 实盘防守 |
Step 1:数据准备与降噪
Step 2:初始模型训练
Step 3:梯度子空间投影
Step 4:价格影响建模
Step 5:分层风险控制
| 陷阱 | 表现 | 对策 |
|---|---|---|
| 共振过拟合 | 模型学会同频噪声 | 梯度投影 + 时间交叉验证 |
| 回溯偏差 | 使用了未来信息 | 严格的 rolling window 验证 |
| 过度优化 | 在 walk-forward 里过度调参 | 设置 hold-out 盲测集 |
| 频率不匹配 | 日频信号 + 毫秒级交易 | 对齐预测周期和交易周期 |
| 因子衰竭 | alpha 随被广泛使用而消失 | 持续监控 factor decay |
| 维度 | 简单模型 | 深度学习(正确用法) |
|---|---|---|
| 能看到什么 | macro beta(大特征值) | micro alpha(spectral tail) |
| 学习速度 | 快但片面 | 需 spectrally-aware 优化才能均衡 |
| 对 regime shift | 瞎子骨折 | 能感知微观结构变化 |
| 职业安全 | 犯错平庸安全 | 黑天鹅=被开除 |
| 实盘表现 | 靠运气+包装 | 需正确优化+控制 slippage |
| 理论深度 | 肤浅但易懂 | 深刻但难解释 |
| 扩展性 | 低(受限于线性表达) | 高(理论上可逼近任何模式) |
| 长期可持续性 | 随 alpha 衰竭而下降 | 持续自我优化潜力 |
核心结论:
深度学习在金融量化中不是不行,而是被错误的方法论(Vanilla SGD + 弱模型思维)糟蹋了。真正的 alpha 藏在 kernel spectrum 的尾部,需要 spectrally-aware 优化才能触及。简单模型能赢不是因为正确,而是因为"在这个充满随机性的草台班子市场里,它们刚好足够简单,简单到连犯错都显得那么平庸且安全"。
真正的量化竞争力不在于选择"简单还是复杂",而在于将正确的深层方法论与市场微观结构深层绑定。当你的竞争对手在用线性回归做 1+1,而你用 spectrally-aware 优化在做高维非线性微分方程组求解时,你才有真正的不可复制的竞争优势。
| 术语 | 英文 | 简要说明 |
|---|---|---|
| SNR | Signal-to-Noise Ratio | 信噪比,信号功率与噪声功率的比值 |
| NTK | Neural Tangent Kernel | 神经正切核,描述无限宽神经网络在梯度下降下的演化 |
| Spectral Bias | — | 谱偏见,NTK 对不同频率分量的学习速率不均匀 |
| Kernel Spectrum | — | 核谱,NTK 特征值的分布 |
| Preconditioner | — | 预处理器,加速优化的线性变换 |
| K-FAC | Kronecker-Factored Approximate Curvature | Kronecker 分解近似曲率矩阵 |
| Online Estimation | — | 在线估计,在训练过程中实时更新的统计量 |
| Regime Shift | — | 市场机制转换,市场结构发生定性变化 |
| Slippage | — | 滑点,预期价格与实际成交价之间的差异 |
| Limit Order Book | — | 限价订单簿,记录所有未成交的买卖订单 |
| Paper Alpha | — | 纸面 alpha,未考虑交易成本的策略收益 |
| GEMM | General Matrix Multiply | 通用矩阵乘法 |
| Temporal Transformer | — | 时序 Transformer,处理时间序列的 Transformer 变体 |
| Vol-Scale | — | 波动率缩放,根据波动率调整头寸规模 |
| Ridge Regression | — | 岭回归,带 L2 正则化的线性回归 |
| Sharpe Ratio | — | 夏普比率,超额收益与波动率的比值 |
| Walk-Forward Analysis | — | 滚动窗口回测,逐步推进的模型验证方法 |
原文作者:栀染(知乎),本文在此基础上进行了系统性技术扩展与补充
整理日期:2026-06-11