从 MLP 到 Transformer、State Space Models:主流神经网络架构的类型、结构原理、数学基础及工程选择指南。
神经网络是深度学习的基础,其核心思想是通过多层非线性变换来学习数据的表示和模式。自 1980 年代以来,研究者根据不同的任务需求和数据特性,发展出了多种神经网络架构,每一种都针对特定类型的数据结构或计算需求进行了专门设计。
本文从多层感知机(MLP)出发,系统梳理了卷积神经网络(CNN)、循环神经网络(RNN)、长短时记忆网络(LSTM)、Transformer、残差网络(ResNet)、图神经网络(GNN)以及最新的状态空间模型(SSM)等主流架构的设计思想、数学原理、典型结构及应用场景,并辅以具体的数据对比和数值实例。
mindmap
root(神经网络架构全景)
MLP
全连接
激活函数
Dropout
CNN
LeNet
AlexNet
VGG
ResNet
EfficientNet
ConvNeXt
RNN
Elman RNN
LSTM
GRU
Bidirectional RNN
Transformer
Encoder架构
Decoder架构
Encoder-Decoder
ViT
GNN
GCN
GAT
GraphSAGE
SSM
S4
Mamba
Mamba-2
发展时间线:MLP (1986) → LeNet (1998) → AlexNet (2012) → VGG (2014) → LSTM (1997 / 实际落地 2010s) → ResNet (2015) → Transformer (2017) → BERT (2018) → GPT-3 (2020) → ViT (2020) → ConvNeXt (2022) → Mamba (2023) → Mamba-2 (2024)
多层感知机是最早的神经网络架构,也是所有后续架构的基础构件。它由多个全连接层堆叠而成,每层通过非线性激活函数引入表达能力。
一个 L 层的 MLP 由输入层、L−2 个隐藏层和输出层组成。第 l 层的输出为:
h(l)=σ(l)(W(l)h(l−1)+b(l))
其中 W(l)∈Rdl×dl−1 为权重矩阵,b(l)∈Rdl 为偏置向量,σ(l) 为逐元素激活函数。
常见激活函数对比:
| 激活函数 |
公式 |
输出范围 |
优点 |
缺点 |
| Sigmoid |
σ(x)=1/(1+e−x) |
(0,1) |
平滑、可概率解释 |
梯度饱和、非零中心 |
| Tanh |
tanh(x)=(ex−e−x)/(ex+e−x) |
(−1,1) |
零中心、强非线性 |
梯度饱和 |
| ReLU |
ReLU(x)=max(0,x) |
[0,∞) |
缓解梯度消失、计算快 |
Dead ReLU |
| Leaky ReLU |
LReLU(x)=max(αx,x) |
(−∞,∞) |
缓解 Dead ReLU |
需调 α |
| GELU |
x⋅Φ(x) |
近似 (−0.17,∞) |
现代模型首选 |
计算略复杂 |
考虑一个三分类问题,输入维度为 4,隐藏层为 5 个神经元,输出为 3 类:
前向传播:
- 输入:x=[0.5,−0.2,0.8,0.1]
- 隐藏层线性变换:假设 W(1)x+b(1)=[0.3,−0.1,0.7,0.0,0.5]
- ReLU 激活:h=ReLU([0.3,−0.1,0.7,0.0,0.5])=[0.3,0.0,0.7,0.0,0.5]
- 输出层:o=W(2)h+b(2)=[1.2,−0.5,0.8]
- Softmax 归一化:
Softmax(oi)=∑jeojeoi=[0.55,0.10,0.35]
- 预测:第 0 类(概率 0.55)
反向传播示意:假设真实标签为第 0 类(one-hot [1,0,0]),交叉熵损失为:
L=−log(0.55)≈0.598
梯度 ∂L/∂o=[0.55−1,0.10−0,0.35−0]=[−0.45,0.10,0.35],通过链式法则逐层回传。
MLP 缺乏对空间或时序结构的归纳偏置。以 CIFAR-10 图像分类为例:
| 网络类型 |
参数量 |
CIFAR-10 准确率 |
训练时间(单 epoch) |
| MLP (1024-512-256-10) |
~1.4M |
55.2% |
2.1s |
| CNN (3 conv layers) |
~1.5M |
86.7% |
3.8s |
| ResNet-20 |
~0.27M |
91.3% |
5.2s |
原因:MLP 需要学习图像中每个像素位置的模式,而 CNN 通过卷积核的平移不变性,用远少于 MLP 的参数捕获了关键特征。MLP 的每个输出神经元连接到所有输入像素,等于是为每个位置的每种模式都学了一个独立的检测器,参数量爆炸且泛化能力差。
虽然 MLP 不适合原始数据处理,但它仍是所有现代模型的核心组件:
- Transformer 中的 FFN:每个 Transformer 层包含一个两层 MLP(通常 4×dmodel 隐藏维)
- MLP-Mixer:2021 年提出的纯 MLP 视觉架构,通过两种 MLP(token-mixing + channel-mixing)实现与 CNN/Transformer 相当的性能
- Neural Radiance Fields (NeRF):使用 MLP 表示 3D 场景的连续体积密度和颜色
CNN 通过卷积操作引入局部连接和权重共享,极大减少了参数数量,特别适合处理具有网格结构的数据(如图像、音频频谱图)。
二维离散卷积定义为:
(I∗K)(i,j)=m=1∑Mn=1∑NI(i+m,j+n)⋅K(m,n)
其中 I 为输入,K∈RM×N 为卷积核(滤波器)。
graph TD
subgraph "输入特征图 6x6"
I11[1]---I12[1]---I13[0]---I14[0]---I15[1]---I16[1]
I21[0]---I22[1]---I23[1]---I24[0]---I25[0]---I26[1]
I31[1]---I32[0]---I33[1]---I34[0]---I35[1]---I36[0]
I41[0]---I42[1]---I43[1]---I44[1]---I45[0]---I46[1]
I51[1]---I52[0]---I53[0]---I54[1]---I55[1]---I56[0]
I61[0]---I62[1]---I63[1]---I64[0]---I65[0]---I66[1]
end
subgraph "卷积核 3x3"
K11 k12 k13
k21 k22 k23
k31 k32 k33
end
subgraph "输出特征图 4x4"
O11 O12 O13 O14
O21 O22 O23 O24
O31 O32 O33 O34
O41 O42 O43 O44
end
I11, I12, I13, I21, I22, I23, I31, I32, I33 --> K11_k
K11_k --> O11
以输入 224×224×3 的 RGB 图像为例:
- 全连接层:若第一个隐藏层有 1024 个神经元,参数量为 224×224×3×1024≈154M,不可接受
- 卷积层:使用 3×3 卷积核、64 个输出通道,参数量仅为 3×3×3×64=1,728,约为全连接的万分之一
若考虑 224×224 输出特征图(stride=1, padding=same),卷积层的计算量为 2242×3×32×64≈86M FLOPs,而全连接层为 2242×3×1024≈154M 权重 × 224² 激活 ≈ 7.3×1012 FLOPs,相差近 5 个数量级。
池化层(Pooling)是 CNN 的重要组成,作用是下采样和增强平移不变性。以最大池化为例,在 2×2 窗口内取最大值:
MaxPool(I)i,j=m=0,1maxn=0,1maxI(2i+m,2j+n)
池化步长为 2,将空间尺寸减半。例如 64×64 的特征图池化后变为 32×32,参数和计算量减少 75%。
| 架构 |
提出年份 |
深度(层数) |
参数量 |
ImageNet Top-1 错误率 |
关键创新 |
| AlexNet |
2012 |
8 |
60M |
43.5% |
ReLU + Dropout + GPU训练 |
| VGG-16 |
2014 |
16 |
138M |
28.5% |
小卷积核堆叠(3×3) |
| GoogLeNet (Inception v1) |
2014 |
22 |
6.8M |
26.7% |
Inception模块 + 1×1瓶颈 |
| ResNet-50 |
2015 |
50 |
25.6M |
22.9% |
残差连接 |
| DenseNet-121 |
2017 |
121 |
7.9M |
25.0% |
密集连接 |
| MobileNetV2 |
2018 |
53 |
3.5M |
28.0% |
深度可分离卷积 |
| EfficientNet-B7 |
2019 |
813 |
66M |
19.0% |
复合缩放 |
| ConvNeXt |
2022 |
200+ |
89M |
21.1% |
现代化CNN设计 |
关键观察:
- 从 AlexNet 到 EfficientNet,ImageNet Top-1 错误率从 43.5% 降至 19.0%,绝对提升超过 24 个百分点
- 参数量并非越大越好——GoogLeNet 仅用 AlexNet 1/9 的参数就实现了大幅更好的精度
- 复合缩放(EfficientNet)同时调整深度、宽度和分辨率,比仅调整单一维度更有效
- ConvNeXt 证明合理设计的 CNN 仍可与 ViT 竞争
graph LR
subgraph "VGG风格(无残差)"
A1[Conv 3x3] --> A2[Conv 3x3] --> A3[Conv 3x3]
A3 -.-> A4[...层数加深...] -.-> A5[精度反而下降]
end
subgraph "ResNet风格(有残差)"
B1[Conv] --> B2[Conv] --> B3[+ 恒等连接]
B1 -.-> B3
B3 --> B4[更深] --> B5[精度持续提升]
end
RNN 通过隐藏状态传递来处理变长序列数据,适用于时间序列、自然语言等任务。
标准 RNN(Elman RNN)的隐藏状态更新公式为:
ht=tanh(Whhht−1+Wxhxt+bh)
yt=Whyht+by
其中 xt 为时刻输入,ht 为隐藏状态。
标准 RNN 的核心缺陷在于反向传播梯度随序列长度指数级衰减或增长:
∂Whh∂L=t=1∑Tk=t+1∏T∂hk−1∂hk⋅(其余项)
其中每个 ∂hk/∂hk−1=diag(tanh′(⋅))⋅Whh。当 Whh 的最大奇异值小于 1 时,梯度指数级衰减;大于 1 时,梯度指数级爆炸。
数值示例:若 ∥Whh∥2=0.8,经过 20 步传播后梯度衰减到 0.820≈0.0115,仅为初始值的 1.15%。经过 50 步衰减到 0.850≈1.4×10−5,模型几乎无法学习。
以语言建模中主谓一致任务为例:
| 序列位置 |
输入词 |
隐藏状态中"cat"信号的保留比例 |
预测结果 |
| 1 |
"The" |
— |
— |
| 2 |
"cat" |
100% |
— |
| 3 |
"that" |
25% |
— |
| 4 |
"chased" |
6.3% |
— |
| 5 |
"the" |
1.6% |
— |
| 6 |
"mouse" |
0.4% |
— |
| 7 |
"was/were" |
< 0.1% |
倾向 "were"(错误) |
经过 5 步传播,"cat" 的信号已衰减到 1.6% 以下,模型无法正确判断主语是单数还是复数。
LSTM 通过遗忘门(Forget Gate)和输入门(Input Gate)控制信息流,使梯度可以沿恒等路径无损回传:
ft=σ(Wf[ht−1,xt]+bf)
it=σ(Wi[ht−1,xt]+bi)
c~t=tanh(Wc[ht−1,xt]+bc)
ct=ft⊙ct−1+it⊙c~t
遗忘门 ft 的值在 0 到 1 之间,决定了上一个记忆单元 ct−1 的保留比例。当 ft≈1 时,信息可以通过加法路径无损传递数百步。
graph TD
subgraph "LSTM细胞结构"
direction LR
Xt[输入 x_t] --> sig1[Sigmoid]
Htm1[上一隐藏状态 h_t-1] --> sig1
Xt --> sig2[Sigmoid]
Htm1 --> sig2
Xt --> tanh1[Tanh]
Htm1 --> tanh1
Xt --> sig3[Sigmoid]
Htm1 --> sig3
sig1 --> mul1[×]
Ctm1[上一细胞状态 c_t-1] --> mul1
sig2 --> mul2[×]
tanh1 --> mul2
mul1 --> add[+]
mul2 --> add
add --> Ct[新细胞状态 c_t]
Ct --> tanh2[Tanh]
sig3 --> mul3[×]
tanh2 --> mul3
mul3 --> ht[新隐藏状态 h_t]
sig1 -.-> text1[遗忘门]
sig2 -.-> text2[输入门]
sig3 -.-> text3[输出门]
end
GRU(Gated Recurrent Unit)是 LSTM 的简化变体,将遗忘门和输入门合并为更新门,并去除了单独的细胞状态:
zt=σ(Wz[ht−1,xt]+bz)
rt=σ(Wr[ht−1,xt]+br)
h~t=tanh(Wh[rt⊙ht−1,xt]+bh)
ht=(1−zt)⊙ht−1+zt⊙h~t
LSTM vs GRU 对比:
| 特性 |
LSTM |
GRU |
| 门控数量 |
3(遗忘、输入、输出) |
2(更新、重置) |
| 参数量(隐藏维 256) |
~420K |
~315K(少 25%) |
| 细胞状态 |
有独立状态 |
无,融合到隐藏状态 |
| 长序列性能 |
略优 |
相当 |
| 训练速度 |
较慢 |
较快 |
BiRNN 同时使用正向和反向两个 RNN,在每个时间步拼接两个方向的隐藏状态:
ht=RNNfwd(x1,…,xt)
ht=RNNbwd(xT,…,xt)
ht=[ht;ht]
这在需要完整上下文的 NLP 任务中效果显著。例如命名实体识别(NER)中,判断 "Washington" 是地名还是人名需要两边上下文。BiLSTM-CRF 曾是 NER 领域的 SOTA 架构,在 CoNLL-2003 数据集上可达 97% 以上的 F1 分数。
Transformer 完全摒弃了循环结构,仅依赖自注意力机制(Self-Attention)实现序列建模,解决了 RNN 无法并行计算的问题。这是深度学习发展史上最重要的架构创新之一。
自注意力的核心计算为:
Attention(Q,K,V)=Softmax(dkQKT)V
其中 Q,K,V 分别由输入经线性变换得到,dk 为查询向量的维度。
缩放因子 dk 的作用:当 dk 较大时,点积的数值范围变大,Softmax 的梯度会进入极其饱和的区域。缩放后使得 Softmax 梯度的方差维持在 1 左右。
完整数值示例:假设序列长度 n=4,特征维度 d=3。
输入序列:["I", "love", "neural", "networks"]
Step 1:计算 QKT(假设已经过线性投影)得到 4×4 分数矩阵:
S=dkQKT=2.00.5−0.30.10.53.00.2−0.1−0.30.22.50.80.1−0.10.81.5÷1.73
Step 2:逐行应用 Softmax:
A=Softmax(S)=0.520.200.110.170.250.620.150.130.110.100.480.320.120.080.260.38
Step 3:加权求和得到输出:
- "I" 的输出 ≈ 0.52⋅v1+0.25⋅v2+0.11⋅v3+0.12⋅v4
- "love" 的注意力 62% 集中在自己
- "neural" 分别关注自己 (48%) 和 "networks" (38%)
多头注意力将 Q,K,V 投影到 h 个子空间,并行计算注意力后拼接:
MultiHead(Q,K,V)=Concat(head1,…,headh)WO
其中 headi=Attention(QWiQ,KWiK,VWiV)。
各头分工实例(BERT-base, 12 头):
| 注意力头 |
主要关注模式 |
例子 |
| 头 1-3 |
语法依赖 |
动词 → 主语、名词 → 修饰语 |
| 头 4-6 |
语义角色 |
实体 → 动作、代词 → 所指 |
| 头 7-9 |
位置模式 |
相邻词、句首/句末标记 |
| 头 10-11 |
特殊任务 |
[SEP] 对比、[MASK] 填充 |
| 头 12 |
全局 |
均匀分布 |
由于自注意力不具备顺序感知能力,Transformer 通过位置编码注入位置信息:
PE(pos,2i)=sin(100002i/dmodelpos)
PE(pos,2i+1)=cos(100002i/dmodelpos)
其中 pos 为位置索引,i 为维度索引。这种设计的妙处在于 PE(pos+k) 可以表示为 PE(pos) 的线性函数,模型可以学到相对位置关系。
graph TD
subgraph "Transformer Encoder 结构"
Input[输入序列] --> Emb[Token Embedding] --> Pos[+ Positional Encoding]
Pos --> Add1[+]
Add1 --> MHA[Multi-Head Attention]
MHA --> Drop1[Dropout]
Drop1 --> Norm1[LayerNorm]
Norm1 --> Add2[+]
Add2 --> FFN[Feed Forward]
FFN --> Drop2[Dropout]
Drop2 --> Norm2[LayerNorm]
Norm2 --> Add1
end
| 模型 |
参数规模 |
层数 |
隐藏维度 |
头数 |
创新 |
代表任务 |
| Transformer-base |
65M |
6 |
512 |
8 |
自注意力架构 |
WMT 翻译 |
| Transformer-big |
213M |
6 |
1024 |
16 |
更大维度 |
翻译 SOTA |
| BERT-base |
110M |
12 |
768 |
12 |
MLM + NSP |
NLU |
| BERT-large |
340M |
24 |
1024 |
16 |
更大更深的 BERT |
GLUE SOTA |
| GPT-2 |
1.5B |
48 |
1600 |
— |
单向语言模型 |
文本生成 |
| GPT-3 |
175B |
96 |
12288 |
96 |
大规模 + in-context learning |
few-shot |
| LLaMA-2 |
70B |
80 |
8192 |
64 |
RMSNorm + RoPE + SwiGLU |
开源 LLM |
| LLaMA-3 |
405B |
126 |
— |
— |
GQA + 更大 token |
对标 GPT-4 |
计算复杂度:Self-Attention 的时间复杂度为 O(n2d),其中 n 为序列长度,d 为隐藏维度。当 n=8192 时,自注意力占总计算量的 90% 以上,这推动了对线性注意力(Linear Attention)和稀疏注意力(Sparse Attention)的研究。
- 二次复杂度:长序列时注意力矩阵 n×n 导致内存爆炸。解决方案:Longformer(稀疏注意力)、Reformer(LSH 注意力)、Flash Attention(IO 感知计算)
- 位置编码:绝对位置编码无法外推(extrapolate)到更长序列。解决方案:RoPE(旋转位置编码)、ALiBi(线性偏置)
- 推理成本:自回归生成时每次需重新计算所有 KV。解决方案:KV-Cache + PagedAttention(vLLM 架构)
ResNet 通过引入跳跃连接(Skip Connection)解决了深层网络的退化问题(Degradation Problem),即网络加深但精度不升反降的反直觉现象。
残差块的核心公式为:
y=F(x,{Wi})+x
其中 F 为残差映射(通常包含 2-3 个卷积层),x 为输入恒等映射。当 F 为零时,残差块退化为恒等函数,网络自动忽略不必要的层。
Bottleneck 设计:为了计算效率,ResNet-50 及以上版本使用瓶颈结构:
256-d1×164-d3×364-d1×1256-d
与直接三层 3×3 卷积(32×2562×3≈1.77M)相比,瓶颈结构仅需 256×64+32×642+256×64≈70K 参数,减少约 96%。
在反向传播中,设损失为 L,第 l 个残差块的输出为 xl+1=xl+F(xl,Wl),则:
∂xl∂L=∂xL∂L(1+∂xl∂i=l∑L−1F(xi,Wi))
梯度可以被拆分为两项之和。第一项 ∂L/∂xL 通过恒等路径直接回传,不受任何层数影响。这意味着即使网络深达 1000 层,梯度也能完好地传播到最浅层。
| 网络 |
层数 |
ImageNet Top-1 |
CIFAR-100 测试准确率 |
GPU 训练时间 |
| VGG-16 |
16 |
28.5% |
68.5% |
~4 天 |
| VGG-19 |
19 |
28.7%↓ |
68.1%↓ |
~5 天 |
| Plain-34 |
34 |
29.6% |
65.8% |
~3 天 |
| ResNet-34 |
34 |
26.7% |
71.4% |
~3 天 |
| ResNet-50 |
50 |
22.9% |
75.1% |
~4 天 |
| ResNet-101 |
101 |
21.6% |
77.0% |
~5 天 |
| ResNet-152 |
152 |
21.4% |
77.5% |
~7 天 |
| ResNet-1001 |
1001 |
— |
78.7% |
~14 天 |
关键数据点:VGG 从 16 层加深到 19 层后精度反而下降(28.5% → 28.7%),而 ResNet 从 34 层加深到 152 层后精度持续提升(26.7% → 21.4%),这正是残差连接的直接效果。
图神经网络处理非欧几里得结构的数据(图数据、分子结构、社交网络、知识图谱)。
GNN 的核心范式是消息传递(Message Passing),每一层包含三个步骤:
- 消息聚合:节点 v 收集邻居 N(v) 的信息
- 更新:结合自身状态和聚合消息更新节点表示
- 读出(可选):将全图信息汇总为图级表示
数学形式上,第 k 层:
hv(k)=UPDATE(k)(hv(k−1),AGG(k)({hu(k−1):u∈N(v)}))
| 架构 |
提出年份 |
聚合方式 |
复杂度 |
特点 |
| GCN |
2017 |
度归一化均值聚合 |
O(∥E∥d) |
简单高效、一阶近似 |
| GAT |
2018 |
注意力加权聚合 |
O(∥E∥dh) |
可学习的邻居权重 |
| GraphSAGE |
2017 |
均值/最大/LSTM |
O(∥V∥d2) |
归纳学习、采样邻居 |
| GIN |
2018 |
MLP + 求和聚合 |
O(∥E∥d2) |
理论上最强表达能力 |
| GatedGCN |
2018 |
门控聚合 |
O(∥E∥d2) |
边特征门控 |
应用场景:
- 分子性质预测:在 ZINC 数据集上,GIN 可达 RMSE ≈ 0.163,远优于非图方法
- 推荐系统:PinSage 在 Pinterest 上提升 150% 的推荐命中率
- 知识图谱补全:R-GCN 在 FB15k-237 上 Hits@10 达 41.8%
ViT 将标准 Transformer 直接应用于图像块序列:
- 将 224×224 图像划分成 16×16 大小的图像块,得到 (224/16)2=196 个块
- 每个块展平成 768 维向量,加上位置编码后送入标准 Transformer Encoder
- 在 ImageNet 上,ViT-L/16 达到 87.8% Top-1 准确率(需 JFT-300M 预训练)
ViT vs CNN 对比:
| 方面 |
ViT |
CNN(EfficientNet) |
| 归纳偏置 |
少,需更多数据 |
局部性+平移不变性 |
| 数据效率 |
需要 JFT-300M 级别 |
可在 ImageNet-1K 上直接训练 |
| 参数效率 |
略低 |
较高 |
| 计算量(GFLOPs) |
55(ViT-B) |
8.4(ResNet-50) |
| 可扩展性 |
好,数据+参数线性涨 |
有天花板 |
ConvNeXt 通过借鉴 Transformer 的设计理念,将标准 CNN 的性能提升到了与 ViT 相当的水平:
| 改进项 |
ConvNeXt |
标准 ResNet |
性能提升 |
| 训练配方 |
AdamW + 更长训练 |
SGD + 90 epochs |
+2-3% |
| 激活函数 |
GELU |
ReLU |
+0.5% |
| 归一化 |
LayerNorm |
BatchNorm |
+0.3% |
| 下采样 |
独立 stem |
卷积直接下采样 |
+0.2% |
| 大卷积核 |
7×7 |
3×3 |
+1.5% |
ConvNeXt-L 在 ImageNet-1K 上达到 87.5% Top-1,与 Swin-T 同等水平。
SSM 近年来成为 Transformer 的有力竞争对手,特别是处理超长序列时。
S4:使用结构化状态空间模型的连续时间表示:
h′(t)=Ah(t)+Bx(t)
y(t)=Ch(t)+Dx(t)
S4 在 Long Range Arena(LRA)基准测试上平均准确率 86%,远超 Transformer(57%)和 LSTM(62%)。
Mamba:2023 年提出的 SSM 变体,引入输入依赖的选择性机制(Selective State Space),让 SSM 的参数随输入变化,弥补了一致性参数 SSM 无法根据内容"记住"或"遗忘"的缺陷。
graph TD
subgraph "SSM模型演进"
S4[S4 2021] --结构化矩阵--> S5[S5 2022]
S5 --多输入多输出--> DSS[DSS 2022]
DSS --对角化--> S4D[S4D 2022]
S4D --选择性机制--> Mamba[Mamba 2023]
Mamba --改进--> Mamba2[Mamba-2 2024]
end
SSM vs Transformer 对比:
| 方面 |
Mamba |
Transformer |
| 时间复杂度 |
O(nd) 线性 |
O(n2d) 二次 |
| 16K token 推理速度 |
快约 5× |
— |
| 内容感知 |
有选择性 |
强(Attention) |
| 扩展性 |
至 3B 参数已验证 |
至 405B+ |
| LRA 平均 |
高 |
中等 |
MoE 通过在 FFN 层使用多个"专家"(独立的 FFN 子网络),结合路由机制动态选择子集:
y=i=1∑EG(x)i⋅Experti(x),G(x)=Softmax(TopK(x⋅Wg))
典型配置(Mixtral 8×7B):
- 8 个专家,每次激活 Top-2
- 总参数量 47B,每次推理仅激活 13B
- 在大多数基准上优于 LLaMA-2 70B,而计算量仅为 LLaMA-2 70B 的 1/5
| 数据类型 |
推荐架构 |
核心理由 |
典型任务 |
框架建议 |
| 图像/视频 |
ConvNeXt / ViT / Swin |
空间局部性 + 平移不变性 |
分类、检测、分割 |
timm / Detectron2 |
| 文本 |
Transformer (LLaMA / GPT) |
并行计算 + 长距离依赖 |
翻译、摘要、问答 |
transformers |
| 时间序列 |
TimesNet / PatchTST / Mamba |
多尺度时序 |
预测、异常检测 |
gluon-ts |
| 图数据 |
GCN / GAT / GIN |
非欧结构 |
分子预测、推荐 |
PyG / DGL |
| 多模态 |
CLIP / LLaVA / GPT-4V |
统一表征 |
VQA、图文生成 |
transformers |
| 点云 |
PointNet++ / 3D稀疏CNN |
3D空间结构 |
3D分割、检测 |
Open3D-ML |
| 部署场景 |
参数量约束 |
推荐架构 |
推理延迟 |
| 云端 (A100) |
无限制 |
LLaMA-3 405B / ViT-H |
200-500ms |
| GPU 服务器 (V100) |
≤ 7B |
LLaMA-2 7B / ViT-L |
50-100ms |
| 边缘 GPU (Jetson) |
≤ 1B |
MobileNetV3 / TinyLLaMA |
10-50ms |
| 手机端 |
≤ 100M |
MobileNetV3 / MobileBERT |
1-10ms |
| 单片机 (TinyML) |
≤ 1M |
量化 MobileNet / MCUNet |
< 100ms |
graph TD
Start{数据类型?} --> Img[图像/视频] --> Img_select{资源限制?}
Start --> Text[文本/序列] --> Text_select{计算预算充足?}
Start --> Graph[图数据] --> Graph_select{节点数?}
Img_select -->|GPU充足| ViT[ViT或Swin]
Img_select -->|移动端| Mobile[MobileNetV3]
Img_select -->|通用| ConvNext[ConvNeXt]
Text_select -->|是| LLaMA[LLaMA族]
Text_select -->|否| Distil[DistilBERT/TinyLLaMA]
Graph_select -->|大规模| GCN[GCN/GraphSAGE]
Graph_select -->|小规模| GAT[GAT/GIN]
- 优先使用预训练权重:从头训练的概率很低。使用 ResNet、BERT、ViT 等预训练模型进行微调,通常降低 50-80% 的训练成本
- 消融实验验证:在添加新模块前,先用消融实验验证每个组件的贡献,而不是盲目堆叠
- 小规模原型先行:先在 CIFAR-10 / Tiny-ImageNet 等小数据集上调试架构和超参数,确认有效后再迁移到完整数据集
- 参数量不是一切:EfficientNet 的参数量(66M)约为 VGG-16(138M)的一半,但精度更高。关注"效率"即精度/参数比
- 与现代工具链对齐:优先选择主流框架(PyTorch / HuggingFace)直接支持的架构,减少定制复杂度
graph LR
subgraph "架构演进趋势 (2012-2024)"
MLP --> CNN
CNN --> RNN
RNN --> LSTM
LSTM --> Transformer
CNN --> ResNet
ResNet --> EfficientNet
EfficientNet --> ConvNeXt
Transformer --> ViT
Transformer --> BERT
Transformer --> GPT
Transformer --> Mamba
end
核心趋势:
- 从 RNN 到 Transformer:解决并行化问题,计算效率大幅提升
- CNN → ViT → ConvNeXt:架构设计趋同,归纳偏置的作用在数据量增大时弱化
- SSM 作为新范式:以 Mamba 为代表的 SSM 以线性复杂度实现了 Transformer 级性能,可能改变 NLP 领域的 GPU 需求分布
- 规模扩展继续:从 BERT (110M) 到 GPT-4(~1.8T 的 MoE 模型),规模带来了质的飞跃
- LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436-444.
- He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. CVPR.
- Vaswani, A., et al. (2017). Attention is all you need. NeurIPS.
- Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735-1780.
- Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). ImageNet classification with deep convolutional neural networks. NeurIPS.
- Devlin, J., et al. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. NAACL.
- Tan, M., & Le, Q. V. (2019). EfficientNet: Rethinking model scaling for convolutional neural networks. ICML.
- Brown, T., et al. (2020). Language models are few-shot learners. NeurIPS.
- Dosovitskiy, A., et al. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. ICLR.
- Liu, Z., et al. (2022). A convnet for the 2020s. CVPR.
- Gu, A., & Dao, T. (2023). Mamba: Linear-time sequence modeling with selective state spaces. arXiv preprint.
- Dao, T., et al. (2024). Transformers are SSMs: Generalized models and efficient algorithms. arXiv preprint.
- Touvron, H., et al. (2023). LLaMA: Open and efficient foundation language models. arXiv preprint.
- Vaswani, A., et al. (2017). Attention is all you need. NeurIPS.
- Kipf, T. N., & Welling, M. (2017). Semi-supervised classification with graph convolutional networks. ICLR.
- Veličković, P., et al. (2018). Graph attention networks. ICLR.