时序 Transformer(Temporal Transformer)是 Transformer 架构在时间序列数据上的专项应用变体,专门用于建模序列数据中的时序依赖关系。与自然语言处理(NLP)中的标准 Transformer 不同,时序 Transformer 需要应对金融时间序列特有的连续值、噪声大、序列超长、分布非平稳等挑战,因此在位置编码、注意力机制、掩码策略和计算优化等方面做出了关键改进。
金融量化分析的核心任务是从历史市场数据中提取信号、预测未来走势。传统方法面临两大瓶颈:
| 方法 | 优势 | 局限性 |
|---|---|---|
| ARIMA/GARCH | 理论成熟、可解释性强 | 仅捕捉线性关系,无法处理高维数据 |
| LSTM/GRU | 能建模非线性序列依赖 | 长序列梯度消失,难以并行训练 |
| 标准 Transformer | 全局注意力、并行计算 | 位置编码不适用连续时间,复杂度 对长序列不友好 |
2017 年 Vaswani 等人提出 Transformer 后,NLP 领域迅速进入了 Transformer 时代。然而将 Transformer 直接应用于金融时间序列面临独特挑战:金融市场的数据流是持续的、超高频率的(微秒级 tick 数据),且统计特性随市场状态变化而剧烈波动——这些问题催生了时序 Transformer 这一专门研究方向。
标准 Transformer 的核心是缩放点积注意力(Scaled Dot-Product Attention):
其中 为查询矩阵, 为键矩阵, 为值矩阵。在金融场景中, 是时间序列长度, 是每个时间步的特征维度。
举个具体例子:假设我们有 1 分钟级别的沪深 300 指数数据,序列长度 (一天的交易分钟数),每个时间步包含 个特征(开盘价、收盘价、最高价、最低价、成交量、成交额、涨跌幅、波动率)。自注意力机制会计算每个时刻 与所有其他时刻 的关联权重:
如果第 80 分钟出现了一笔异常大额交易,自注意力会让后续时间步在第 80 分钟处分配更高的注意力权重,从而捕捉到这一异常事件对后续走势的影响。
时序 Transformer 在标准 Transformer 基础上做出了三项关键改进:

时序 Transformer 的核心架构:输入价格序列经过特征投影和时间编码后,通过因果多头自注意力机制捕捉跨时间步的依赖关系,最后经预测头生成未来收益率的估计
原始 Transformer 使用固定频率的正弦函数编码绝对位置:
其中 是序列位置, 是维度索引。这种编码的好处是不需要学习,且能外推到未见过的序列长度。
局限性:对于等间隔采样的 NLP 文本有效,但金融数据的时间间隔是不均匀的——交易所收盘后的跳空、节假日、非交易时段都破坏了规则的"位置"概念。
将位置编码改为可训练的 Embedding 矩阵:
每个位置 对应一个可学习的 维向量。BERT 和 GPT 系列均采用这种方式。
金融场景问题:如果训练时最大序列长度为 1024,线上推理时遇到了 2000 步的长序列,超出 Embedding 范围的位置无法编码。这在高频交易中尤为致命——一天的 tick 数据可能超过 10 万条。
相对位置编码解决了外推问题,模型学习的是"相距 步的两个 token 之间的关系"而非"第 个 token 和第 个 token 的绝对位置"。
**旋转位置编码(RoPE)**是目前最流行的方案:
几何意义是将向量 在复平面上旋转 弧度,其中 是位置索引, 是预设的旋转频率。两个 token 和 的注意力分数仅取决于它们之间的相对距离 :
优势:理论上可以外推到任意长度的序列,非常适合金融场景的长序列需求。Llama、Mistral、Qwen 等主流大语言模型均使用 RoPE。
量化场景中最有实际意义的改进——将真实的时间戳信息编码为向量:
每个时间分量使用独立的 Embedding 表,最后求和得到该时刻的时间嵌入。这种编码方式让模型能够理解:
| 时间信息 | 金融含义 | 示例 |
|---|---|---|
| 年初/年末 | 资金面宽松/紧张 | 12 月流动性偏紧,1 月信贷投放 |
| 月初/月末 | 宏观数据发布窗口 | PMI、非农数据通常在月初发布 |
| 开盘半小时 | 信息集中消化期 | 隔夜消息在 9:30-10:00 集中定价 |
| 收盘前半小时 | 尾盘操纵/机构调仓 | 14:30-15:00 常出现异常波动 |
具体例子:假设一个交易发生在 2026 年 6 月 11 日 14:35,其时间戳编码为:
如果同一个时刻的 Embedder 在训练中看到过多次"14:35 出现大单砸盘"的模式,模型就能学会在这个时间点提高警惕。
| 编码方式 | 外推能力 | 计算开销 | 等间隔依赖 | 实战推荐度 |
|---|---|---|---|---|
| 正弦编码 | 好 | 低 | 是 | ⭐⭐ |
| 可学习编码 | 差 | 低 | 是 | ⭐ |
| RoPE 相对编码 | 优秀 | 中 | 否 | ⭐⭐⭐⭐⭐ |
| 时间戳编码 | 优秀 | 中高 | 否 | ⭐⭐⭐⭐(金融专用) |

位置编码的作用:不同维度的正弦波以不同频率振荡,为每个时间步提供唯一的位置标记,使模型能够区分不同时刻的市场状态,理解时间顺序和距离
输入:历史价格序列
输出:未来价格或收益率预测
实际案例:使用 Temporal Transformer 预测 BTC/USDT 的 1 分钟收益率。在 2024 年 1 月到 6 月的回测中:
| 预测目标 | 模型 | MAE | RMSE | 方向准确率 |
|---|---|---|---|---|
| 1 步前向收益率 | LSTM (64 units) | 0.042 | 0.087 | 51.2% |
| 1 步前向收益率 | Transformer (4 layers) | 0.038 | 0.079 | 53.8% |
| 1 步前向收益率 | Temporal Transformer | 0.031 | 0.065 | 56.4% |
| 5 步前向收益率 | LSTM | 0.098 | 0.172 | 49.8% |
| 5 步前向收益率 | Temporal Transformer | 0.078 | 0.143 | 53.1% |
Temporal Transformer 在短期预测上显著优于 LSTM,方向准确率提升约 5 个百分点,这对高频策略的夏普比率提升意义重大。
现实中的金融预测需要同时考虑多个市场变量:
其中每列代表一个变量(价格、成交量、波动率、订单簿深度等),每行代表一个时间步。
典型的多变量输入组合(M=10):
| 变量编号 | 变量名 | 来源 | 归一化方式 |
|---|---|---|---|
| 1 | 最新成交价 | Tick 数据 | Z-score(滚动窗口 1h) |
| 2 | 成交量 | Tick 数据 | 对数变换 |
| 3 | 买卖价差 | Level 2 数据 | 原始值(bps) |
| 4 | 订单簿不平衡度 | Level 2 数据 | |
| 5 | 已实现波动率 | 5 分钟计算 | 年化处理 |
| 6 | VWAP 偏离度 | 计算量 | 基于当日 VWAP 的百分比 |
| 7 | 资金流向 | Level 2 | 主动买卖方向净额 |
| 8 | 隔夜跳空 | 前收盘价 | 百分比变化 |
| 9 | 行业 ETF 走势 | 外部数据 | 对数收益率 |
| 10 | 日历效应 | 时间戳 | 独热编码 |
Temporal Transformer 的自注意力机制可以自动学习这 10 个变量之间的时变相关性——比如"当订单簿不平衡度高且成交量放大时,VWAP 偏离度对价格预测的权重应该上调"。
金融市场中,重大事件(财报发布、央行决议、地缘冲突)的影响远超过普通交易日的噪声。事件驱动建模的核心是将这些离散事件的时间戳结合到注意力机制中:
其中 编码时间间隔信息。具体设计上, 可以用可学习的核函数:
其中 是一组基函数(如高斯核 RBF), 是可学习权重。
实际例子:2025 年 9 月美联储 FOMC 利率决议后的 30 分钟内,美元/日元汇率的变化模式:
事件驱动的 Temporal Transformer 可以学习到:在 FOMC 决议后的 5 分钟内,历史数据的权重应降低,事件信号的权重应大幅提高——这与日常训练时的注意力模式截然不同。
因果掩码确保第 个时间步只能关注到 的历史信息:
数值例子:假设我们有 5 个时间步的价格数据 [100, 101, 103, 102, 104],在计算 (价格为 103)的注意力时:
# 注意力分数矩阵(简化,未归一化)
attention_scores = [
[2.1, 0.8, -inf, -inf, -inf], # t=1 只能看自己
[1.5, 1.2, -inf, -inf, -inf], # t=2 只能看 t=1, t=2
[0.5, 2.3, 1.8, -inf, -inf], # t=3 只能看 t=1, t=2, t=3
[1.1, 0.6, 2.5, 0.9, -inf], # t=4 只能看 t=1~t=4
[0.3, 1.8, 2.1, 1.5, 0.7], # t=5 看全部历史
]
通过 softmax 后, 的注意力权重分布为:
模型关注到 的上涨模式与当前上涨模式匹配,从而推断上涨趋势可能延续。
自注意力的时间和空间复杂度均为 。对于高频数据:
| 数据频率 | 日数据量 | T(每日) | T² | 内存占用(FP32) |
|---|---|---|---|---|
| 1 分钟 K 线 | 390 条 | 390 | 152K | ~2 MB |
| Level 2 快照 | ~60 万条 | 600,000 | 3.6 × 10¹¹ | ~5.4 TB ❌ |
| Tick 级全量 | 数百万条 | 10⁶+ | 10¹²+ | 不可能 |
显然,对于高频数据不能直接使用全连接的自注意力。解决方案包括:
Informer 的 ProbSparse 注意力:对每个 query ,通过 KL 散度衡量其与均匀分布的差异,只保留差异最大的 个 query:
直观上看,重要的 query 会"突出"——与其兼容的 key 很少,导致 softmax 后的分布极度不均匀。这些 query 承载了最丰富的注意力信息。
效果:Informer 在实践中将复杂度从 降低到 ,在 时加速约 100 倍。
金融市场存在多种尺度的依赖关系:
| 依赖类型 | 时间尺度 | 示例 |
|---|---|---|
| 日内模式 | 数分钟到数小时 | 开盘放量、午盘缩量、尾盘冲量 |
| 日间模式 | 数天到数周 | 连续上涨后的获利回吐 |
| 月间模式 | 数周到数月 | 财报季效应、期权到期日效应 |
| 季节性 | 数月到一年 | 年初效应、春节效应、圣诞行情 |
| 周期 | 一年以上 | 基钦周期(3-4 年)、朱格拉周期(7-10 年) |
标准 Transformer 的固定注意力窗口难以同时覆盖这些跨尺度的依赖。解决办法:
金融时间序列最棘手的特性是其统计特性随时间变化:
例如,2020 年 3 月新冠疫情冲击期间的日收益波动率是 2019 年平均水平的 5-8 倍。一个在低波动环境中训练好的 Transformer,突然面对高波动环境时表现会急剧恶化。
非平稳性对不同模型的影响:
| 模型 | 低波动→高波动 | 平稳震荡→趋势突破 | 牛转熊 |
|---|---|---|---|
| LSTM | RMSE 升 42% | 方向准确率降 8% | 方向准确率降 15% |
| 标准 Transformer | RMSE 升 38% | 方向准确率降 6% | 方向准确率降 12% |
| Temporal Transformer(在线自适应) | RMSE 升 21% | 方向准确率降 3% | 方向准确率降 7% |
在线自适应策略:通过滑动窗口重训练或在线梯度更新(Online Gradient Descent)来适应分布变化。具体来说,每个新交易日结束后,使用当天的数据对模型进行微调,旧数据按指数衰减 。
| 维度 | 标准 Transformer(NLP) | 时序 Transformer(金融) |
|---|---|---|
| 序列长度 | 512-2048 tokens | 时间步 |
| 位置编码 | 正弦/可学习 | 时间戳/相对时间/RoPE |
| 掩码 | 因果掩码 | 因果 + 时间窗口 + 事件触发 |
| 数据特性 | 离散、符号化、等间距 | 连续、噪声大、不等间距 |
| 非平稳性 | 低(语言分布相对稳定) | 高(市场 Regime 频繁切换) |
| 计算优化 | 标准注意力 | 稀疏/ProbSparse/LSH 注意力 |
| 训练策略 | 预训练 + 微调 | 在线学习 + 滚动窗口 |
| 评估指标 | Perplexity, BLEU | Sharpe Ratio, IC, 方向准确率 |
import numpy as np
import pandas as pd
def prepare_sequence(df, lookback=240, horizon=5):
"""
准备训练序列
df: DataFrame with columns [open, high, low, close, volume]
lookback: 历史窗口(480分钟 = 2天)
horizon: 预测前向步数
"""
features = []
targets = []
timestamps = []
for i in range(lookback, len(df) - horizon):
# 时间序列切片
seq = df.iloc[i - lookback:i][['close','volume']].values
# 目标:未来 horizon 步的累计收益率
fut_ret = df.iloc[i + horizon]['close'] / df.iloc[i]['close'] - 1
features.append(seq)
targets.append(fut_ret)
timestamps.append(df.index[i])
return np.array(features), np.array(targets), timestamps
import torch
import torch.nn as nn
class TemporalTransformer(nn.Module):
def __init__(self, d_model=128, n_heads=8, n_layers=4, d_ff=512, max_len=1000):
super().__init__()
self.input_proj = nn.Linear(2, d_model) # close + volume
self.time_embed = nn.Linear(1, d_model) # 相对时间编码
encoder_layer = nn.TransformerEncoderLayer(
d_model=d_model,
nhead=n_heads,
dim_feedforward=d_ff,
dropout=0.1,
batch_first=True
)
self.encoder = nn.TransformerEncoder(encoder_layer, num_layers=n_layers)
self.pred_head = nn.Linear(d_model, 1)
self.causal_mask = torch.triu(torch.ones(max_len, max_len), diagonal=1).bool()
def forward(self, x, time_deltas):
# x: (batch, T, 2) — [close, volume]
# time_deltas: (batch, T, 1) — 时间间隔
x = self.input_proj(x)
t = self.time_embed(time_deltas)
x = x + t # 融合时间信息
mask = self.causal_mask[:x.size(1), :x.size(1)].to(x.device)
x = self.encoder(x, mask=mask, is_causal=False) # 使用自定义因果掩码
return self.pred_head(x[:, -1, :]) # 只取最后一个时间步
这个简单的实现约 150 万参数,在 1 分钟的加密货币数据上训练 1 小时即可达到实用效果。
max_grad_norm=1.0 防止梯度爆炸创建于:2026-06-11
更新于:2026-07-02
来源:栀染《量化交易的深度学习困境》