在线估计（Online Estimation）是一种实时更新模型参数或统计量的方法，适用于数据流式到达、环境动态变化的场景。
传统批量学习（batch learning）：
θ∗=argθmini=1∑NL(yi,f(xi;θ))
在线学习（online learning）：
θt+1=θt−ηt∇L(yt,f(xt;θt))
每来一个样本更新一次参数。
市场 regime 变化快，preconditioner 必须实时更新：
Pt=αPt−1+(1−α)K^t
其中 K^t 是基于最近数据的 NTK 估计。
识别并投影掉噪声主导方向：
g~t=gt−i∈noise directions∑viTvigtTvivi
实时监测市场状态变化：
P(regimet∣data1:t)=P(datat∣data1:t−1)P(datat∣regimet)P(regimet∣data1:t−1)
金融市场统计特性随时间变化：
- 波动率聚类（volatility clustering）
- 相关性变化（correlation breakdown）
- Regime shift
梯度估计被噪声污染：
gt=∇L(θt)+ϵt
需要鲁棒的在线估计方法。
高频场景要求毫秒级更新：
- 不能每次重新计算全部统计量
- 需要增量更新算法
- 近似方法（如对角近似）
| 算法 |
更新方式 |
适用场景 |
| SGD |
θt+1=θt−ηgt |
简单，但慢 |
| Adam |
自适应学习率 |
通用，但非 spectrally-aware |
| RMSprop |
梯度平方移动平均 |
处理非平稳性 |
| 自然梯度 |
F(θ)−1gt |
考虑几何结构，计算贵 |
| Spectrally-Aware |
Pt−1gt |
金融量化专用 |
在线估计 + preconditioner：
θt+1=θt−ηPt−1g~t
其中：
- Pt：在线估计的 preconditioner
- g~t：投影掉噪声后的梯度
优势：
- 适应市场变化（online）
- 均衡学习速度（spectrally-aware）
- 抑制噪声干扰（projection）
创建于：2026-06-11
*来源：栀染《量化交易的深度学习困境》