强化学习(Reinforcement Learning, RL) 是机器学习三大范式之一,核心思想是让智能体(Agent)通过与环境的交互,以"试错"方式学习最优策略,从而最大化累积奖励。与监督学习依赖标注数据、无监督学习寻找数据内在结构不同,强化学习在序列决策 场景中发挥了不可替代的作用——从AlphaGo击败围棋世界冠军到ChatGPT的RLHF训练,从机器人控制到自动驾驶决策。
强化学习的研究历史可以追溯到20世纪50年代的控制理论和运筹学,但真正取得突破性进展是在2013年DeepMind将深度神经网络与Q-learning结合之后。如今,RL已成为AI领域最活跃的研究方向之一。
强化学习问题通常建模为马尔可夫决策过程 (Markov Decision Process, MDP),用一个五元组描述:
( S , A , P , R , γ ) (S, A, P, R, \gamma)
( S , A , P , R , γ )
其中:
S SS :状态空间(State Space),所有可能的系统状态集合
A AA :动作空间(Action Space),智能体可执行的动作集合
P ( s ′ ∣ s , a ) P(s' | s, a)P ( s ′ ∣ s , a ) :状态转移概率,表示在状态 s ss 执行动作 a aa 后转移到 s ′ s's ′ 的概率
R ( s , a ) R(s, a)R ( s , a ) :奖励函数,智能体在状态 s ss 执行动作 a aa 后获得的即时奖励
γ ∈ [ 0 , 1 ) \gamma \in [0, 1)γ ∈ [ 0 , 1 ) :折扣因子(Discount Factor),平衡当前奖励与未来奖励的重要性
MDP的"马尔可夫性"(Markov Property)意味着状态 s t s_ts t 已经包含了做出最优决策所需的全部历史信息,即 P ( s t + 1 ∣ s t , a t ) = P ( s t + 1 ∣ s 1 , a 1 , . . . , s t , a t ) P(s_{t+1} | s_t, a_t) = P(s_{t+1} | s_1, a_1, ..., s_t, a_t)P ( s t + 1 ∣ s t , a t ) = P ( s t + 1 ∣ s 1 , a 1 , ... , s t , a t ) 。这一性质极大地简化了问题建模。
用一个 4 × 4 4 \times 44 × 4 网格世界的冰湖行走问题来具象化MDP:
graph TD
subgraph "4×4 Frozen Lake Grid"
S["S (起点)"] -->|"动作: →"| C1["1"]
S -->|"动作: ↓"| C4["4"]
C1 -->|"动作: →"| C2["2"]
C1 -->|"动作: ↓"| C5["5"]
C5 -->|"动作: →"| H["H (冰洞❌)"]
C5 -->|"动作: ↓"| C9["9"]
C9 -->|"动作: →"| C10["H"]
C14["14"] -->|"动作: →"| G["G (目标🎯)"]
end
style S fill:#4CAF50,color:white
style G fill:#FFD700,color:black
style H fill:#f44336,color:white
其中 H 为冰洞(负奖励),G 为目标(正奖励)。智能体在16个格子间移动,可执行上下左右四个动作。假设摩擦力使动作失败概率为 δ = 0.1 \delta = 0.1δ = 0.1 :
当前状态
动作
成功到达(概率)
失败滑向(概率)
奖励
S(0,0)
→
(0,1) 概率 0.9
(1,0) 概率 0.1
0
(1,1)=5
→
H(1,2) 概率 0.9
(2,1)=9 概率 0.1
-1(到H)/0
(3,2)=14
→
G(3,3) 概率 0.9
(2,2)=10 概率 0.1
+10(到G)/-1(到10为洞H)
这个简单的网格世界完整展示了MDP的五个要素:16个状态的 S SS ,4个动作的 A AA ,有概率的转移函数 P PP ,以及与终点相关的奖励 R RR 。
策略 π ( a ∣ s ) \pi(a|s)π ( a ∣ s ) 定义了智能体在状态 s ss 下选择动作 a aa 的概率分布。强化学习的目标就是找到 最优策略 π ∗ \pi^*π ∗ ,使得累积期望折扣奖励最大化:
G t = ∑ k = 0 ∞ γ k R t + k + 1 G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}
G t = k = 0 ∑ ∞ γ k R t + k + 1
状态价值函数 V π ( s ) V^{\pi}(s)V π ( s ) 评估在策略 π \piπ 下,从状态 s ss 开始的期望累积奖励:
V π ( s ) = E π [ ∑ k = 0 ∞ γ k R t + k + 1 ∣ S t = s ] V^{\pi}(s) = \mathbb{E}_{\pi} \left[ \sum_{k=0}^{\infty} \gamma^k R_{t+k+1} \mid S_t = s \right]
V π ( s ) = E π [ k = 0 ∑ ∞ γ k R t + k + 1 ∣ S t = s ]
动作价值函数 Q π ( s , a ) Q^{\pi}(s, a)Q π ( s , a ) 评估在状态 s ss 执行动作 a aa (之后遵循策略 π \piπ )的价值:
Q π ( s , a ) = E π [ ∑ k = 0 ∞ γ k R t + k + 1 ∣ S t = s , A t = a ] Q^{\pi}(s, a) = \mathbb{E}_{\pi} \left[ \sum_{k=0}^{\infty} \gamma^k R_{t+k+1} \mid S_t = s, A_t = a \right]
Q π ( s , a ) = E π [ k = 0 ∑ ∞ γ k R t + k + 1 ∣ S t = s , A t = a ]
两个价值函数通过如下关系连接:V π ( s ) = ∑ a π ( a ∣ s ) Q π ( s , a ) V^{\pi}(s) = \sum_{a} \pi(a|s) Q^{\pi}(s, a)V π ( s ) = ∑ a π ( a ∣ s ) Q π ( s , a ) ,即状态价值是动作价值的策略加权平均。
贝尔曼方程(Bellman Equation)是强化学习的核心基石,它将当前状态的价值与未来状态的价值联系起来:
V π ( s ) = ∑ a ∈ A π ( a ∣ s ) ∑ s ′ ∈ S P ( s ′ ∣ s , a ) [ R ( s , a ) + γ V π ( s ′ ) ] V^{\pi}(s) = \sum_{a \in A} \pi(a|s) \sum_{s' \in S} P(s'|s,a) \left[ R(s,a) + \gamma V^{\pi}(s') \right]
V π ( s ) = a ∈ A ∑ π ( a ∣ s ) s ′ ∈ S ∑ P ( s ′ ∣ s , a ) [ R ( s , a ) + γ V π ( s ′ ) ]
直观理解 :价值函数可以递归地表示为"即时奖励 + 下一状态的折扣价值"。这是动态规划的核心思想——将复杂问题分解为子问题。贝尔曼方程同时也是值迭代、策略迭代和大多数RL算法的理论基石。
graph LR
S["当前状态 s"] -->|"选择动作 a"| R["获得即时奖励 R(s,a)"]
S -->|"按策略 π(a|s)"| N["下一状态 s'"]
R --> N
N -->|"状态价值 V(s')"| V["折扣后的未来价值 γ·V(s')"]
R -->|"即时 + 折扣未来"| Total["V(s) = R(s,a) + γ·V(s')"]
V --> Total
数值示例 :继续用冰湖问题,假设状态5(第2行第2列)的周围环境:上方是1,右方是H(洞),左方是4,下方是9。
假设随机策略(各动作等概率 π ( a ∣ s ) = 0.25 \pi(a|s)=0.25π ( a ∣ s ) = 0.25 ),折扣因子 γ = 0.9 \gamma=0.9γ = 0.9 ,我们可以迭代计算:
V ( 5 ) = 0.25 × [ 0.9 × ( 0 + 0.9 × V ( 1 ) ) + 0.1 × ( 0 + 0.9 × V ( 5 ) ) ] V(5) = 0.25 \times [0.9 \times (0 + 0.9 \times V(1)) + 0.1 \times (0 + 0.9 \times V(5))]
V ( 5 ) = 0.25 × [ 0.9 × ( 0 + 0.9 × V ( 1 )) + 0.1 × ( 0 + 0.9 × V ( 5 ))]
+ 0.25 × [ 0.9 × ( − 1 + 0.9 × V ( H ) ) + 0.1 × ( 0 + 0.9 × V ( 5 ) ) ] + \ 0.25 \times [0.9 \times (-1 + 0.9 \times V(H)) + 0.1 \times (0 + 0.9 \times V(5))]
+ 0.25 × [ 0.9 × ( − 1 + 0.9 × V ( H )) + 0.1 × ( 0 + 0.9 × V ( 5 ))]
+ . . . + \ ...
+ ...
经过10轮迭代后,这些状态值会收敛到一个稳定值。下表展示不同状态在随机策略下的价值收敛过程:
迭代轮次
V(0) 起点
V(5) 中间
V(14) 终点旁
V(G) 目标
1
0.00
0.00
0.00
0.00
2
0.00
-0.09
1.80
10.00
3
0.35
0.09
2.61
10.00
5
0.83
0.56
3.15
10.00
10
1.23
0.96
3.27
10.00
50
1.45
1.12
3.31
10.00
100(收敛)
1.47
1.13
3.31
10.00
可以看到,接近目标的状态(G)价值最高,靠近冰洞(H)的状态价值较低。经过约50轮迭代,价值函数基本收敛。
标准的MDP是最基础的形式,实际应用中还存在多种扩展:
变体
描述
典型应用
区别
POMDP
部分可观测MDP
自动驾驶、医疗诊断
智能体无法直接观测完整状态
CMDP
约束MDP
机器人安全控制
增加安全约束条件
SMDP
半马尔可夫决策过程
层级决策
动作持续时间随机
Factored MDP
因子化MDP
大规模规划
状态空间分解为因子
Dec-POMDP
分布式POMDP
多机器人协作
多智能体+部分可观测
强化学习面临的根本矛盾:探索(Exploration) 尝试新动作以获取更多信息,利用(Exploitation) 执行已知的最优动作以获得最大即时奖励。如果只探索不利用,无法积累奖励;如果只利用不探索,可能永远无法发现更好的策略。这一困境在几乎所有序列决策问题中都存在。
多臂老虎机(Multi-Armed Bandit)是探索-利用困境的最简形式。假设一个赌场有3台老虎机,每台的真实收益概率未知 ,玩家需要决定如何分配拉杆次数以最大化总收益。
老虎机
真实中奖概率
玩家初始估计
拉杆次数后估计
A
0.30
0.00
0.28 (50次)
B
0.50
0.00
0.48 (80次)
C
0.10
0.00
0.11 (20次)
从这个例子可以看出:经过多次拉杆,玩家对老虎机的收益估计逐渐趋近真实值,但永远无法100%确定。探索-利用策略的关键在于如何高效地分配有限的实验资源。
最经典的探索策略是 ϵ \epsilonϵ -贪心(Epsilon-Greedy) :
π ( a ∣ s ) = { 1 − ϵ + ϵ ∣ A ∣ if a = arg max a Q ( s , a ) ϵ ∣ A ∣ otherwise \pi(a|s) = \begin{cases} 1 - \epsilon + \frac{\epsilon}{|A|} & \text{if } a = \arg\max_a Q(s,a) \\ \frac{\epsilon}{|A|} & \text{otherwise} \end{cases}
π ( a ∣ s ) = { 1 − ϵ + ∣ A ∣ ϵ ∣ A ∣ ϵ if a = arg max a Q ( s , a ) otherwise
数值对比 :在1000轮老虎机游戏中,不同 ϵ \epsilonϵ 值的表现:
ϵ \epsilonϵ 值
探索次数
总奖励
最优动作选中率
0 (纯贪心)
0
285
100% (但可能选错)
0.01
10
476
99.0%
0.10
100
493
90.0%
0.50
500
376
50.0%
1.00 (纯随机)
1000
301
33.3%
从上表可见,ϵ = 0.10 \epsilon=0.10ϵ = 0.10 在这个场景下获得了最优总收益,既保持了足够的探索发现高收益动作,又保证了大部分时间进行利用。
UCB(Upper Confidence Bound)采用更智能的探索策略:
A t = arg max a [ Q t ( a ) + c ln t N t ( a ) ] A_t = \arg\max_a \left[ Q_t(a) + c \sqrt{\frac{\ln t}{N_t(a)}} \right]
A t = arg a max [ Q t ( a ) + c N t ( a ) ln t ]
其中 N t ( a ) N_t(a)N t ( a ) 是动作 a aa 被选中的次数,c cc 控制探索程度。当某个动作被探索不足(N t ( a ) N_t(a)N t ( a ) 小),其置信区间上界就较大,有助于发现被低估的优秀动作。
数值示例 :假设老虎机A被拉了5次,收益0.20;老虎机B被拉了1次,收益0.60。在 t = 100 t=100t = 100 轮时:
老虎机
Q t Q_tQ t
N t ( a ) N_t(a)N t ( a )
ln t N t ( a ) \sqrt{\frac{\ln t}{N_t(a)}}N t ( a ) l n t
UCB得分
A
0.20
5
ln 100 5 ≈ 0.96 \sqrt{\frac{\ln 100}{5}} \approx 0.965 l n 100 ≈ 0.96
0.20 + 0.96 = 1.16 0.20 + 0.96 = 1.160.20 + 0.96 = 1.16
B
0.60
1
ln 100 1 ≈ 2.15 \sqrt{\frac{\ln 100}{1}} \approx 2.151 l n 100 ≈ 2.15
0.60 + 2.15 = 2.75 0.60 + 2.15 = 2.750.60 + 2.15 = 2.75
老虎机B的UCB得分更高,因此会被选择进行探索,尽管其当前平均收益可能只是小样本噪声。UCB的数学优雅之处在于它自然地平衡了探索和利用——随着 N t ( a ) N_t(a)N t ( a ) 增长,探索项逐渐衰减,算法会自然地转向利用。
graph TD
ExploitExplore["探索 vs 利用"] --> Epsilon["ε-贪心"]
ExploitExplore --> UCB["UCB(上置信界)"]
ExploitExplore --> Thompson["Thompson采样"]
ExploitExplore --> Intrinsic["内在好奇心驱动"]
Epsilon -->|"简单有效"| EpsDesc["衰减ε-贪心"]
UCB -->|"理论保证"| UCB1["UCB1"]
Thompson -->|"贝叶斯最优"| Beta["Beta-Bernoulli"]
Intrinsic -->|"深度RL"| ICM["ICM模块"]
style ExploitExplore fill:#E91E63,color:white
策略
优点
缺点
理论保证
ε-贪心
实现简单,调参容易
探索均匀(无针对性)
次线性遗憾
UCB
探索有方向性,效率高
不能处理非平稳问题
对数遗憾(最优)
Thompson采样
贝叶斯最优,效果好
需要后验采样,计算略高
对数遗憾
内在好奇心
能处理稀疏奖励
实现复杂,超参数多
无严格保证
强化学习算法可按多种维度分类。理解这些分类方法有助于根据具体问题选择合适的算法。
graph TD
RL["强化学习算法"] --> Value["基于值的方法"]
RL --> Policy["基于策略的方法"]
RL --> AC["Actor-Critic"]
Value --> DQN["DQN及其变体"]
Value --> QL["Q-Learning"]
Value --> SARSA["SARSA"]
Policy --> PG["策略梯度 (REINFORCE)"]
Policy --> PPO["PPO"]
Policy --> TRPO["TRPO"]
AC --> A2C["A2C / A3C"]
AC --> SAC["SAC"]
AC --> TD3["TD3"]
subgraph "Off-Policy"
DQN
SAC
QL
TD3
end
subgraph "On-Policy"
SARSA
PG
PPO
TRPO
A3C
end
style RL fill:#3F51B5,color:white
style Value fill:#009688,color:white
style Policy fill:#FF5722,color:white
style AC fill:#9C27B0,color:white
特性
基于值的方法
基于策略的方法
Actor-Critic
核心
学习 Q ( s , a ) Q(s,a)Q ( s , a )
直接学习 π θ ( a ∣ s ) \pi_\theta(a|s)π θ ( a ∣ s )
两者结合
输出
各动作的Q值
动作概率分布
策略+价值
离散动作
✅ 自然支持
✅
✅
连续动作
❌ 复杂度高
✅
✅
收敛性
可能震荡
局部最优
较稳定
典型算法
DQN, Q-Learning
Policy Gradient, PPO
A2C, SAC
特性
On-Policy
Off-Policy
数据来源
当前策略产生
任意策略产生
样本效率
低(用完即弃)
高(可重用)
稳定性
高
中(分布偏移)
代表算法
SARSA, PPO, A3C
DQN, DDPG, SAC
On-Policy算法每次更新后丢弃旧数据,虽然样本效率低,但训练更稳定。Off-Policy算法通过经验回放池复用历史数据,样本效率更高,但可能因策略分布偏移而不稳定。
特性
Model-Based
Model-Free
环境模型
学习或已知
不建模
样本效率
高
低
计算复杂度
高
低
泛化能力
强
弱
代表算法
Dyna-Q, AlphaGo
DQN, PPO
Model-Based方法学习环境的转移模型 P ( s ′ ∣ s , a ) P(s'|s,a)P ( s ′ ∣ s , a ) ,然后在学到的模型中进行"想象"或规划。这使得它在数据效率上有显著优势——AlphaGo使用蒙特卡洛树搜索(MCTS)就是典型例子。但建模误差(Model Bias)是其主要挑战。
以下是不同RL算法在Atari 2600游戏上的平均表现(归一化人类玩家为100%):
算法
平均得分(%)
训练帧数
发表年份
样本效率
DQN (Nature)
121.9%
2亿帧
2015
低
Double DQN
136.8%
2亿帧
2016
低
Dueling DQN
145.7%
2亿帧
2016
低
A3C
126.5%
2亿帧
2016
中
Rainbow DQN
223.1%
2亿帧
2017
低
IMPALA
174.4%
2亿帧
2018
中
PPO
157.9%
2亿帧
2017
中
R2D2
260.3%
2亿帧
2019
低
DreamerV2
201.6%
2亿帧
2021
高(Model-Based)
EfficientZero
303.6%
1亿帧
2022
极高
从上表可以看出几个趋势:
Rainbow的创新叠加 :将DQN的6个改进叠加(Double、Dueling、优先回放、多步学习、分布Q、噪声网络)带来了显著的性能提升
Model-Based的崛起 :DreamerV2和EfficientZero在样本效率上显著优于Model-Free方法
R2D2的递归优势 :使用LSTM捕获时间依赖在处理长时序游戏中效果显著
DQN(Deep Q-Network)是DeepMind在2013年提出的里程碑式算法,首次将深度神经网络与Q-learning成功结合。DQN的关键创新包括:
经验回放(Experience Replay) :打破样本的时间相关性
目标网络(Target Network) :降低自举更新的震荡
卷积神经网络 :直接从原始像素学习
DQN的损失函数 :
L ( θ ) = E ( s , a , r , s ′ ) ∼ D [ ( r + γ max a ′ Q ( s ′ , a ′ ; θ − ) − Q ( s , a ; θ ) ) 2 ] L(\theta) = \mathbb{E}_{(s,a,r,s') \sim D} \left[ \left( r + \gamma \max_{a'} Q(s', a'; \theta^-) - Q(s, a; \theta) \right)^2 \right]
L ( θ ) = E ( s , a , r , s ′ ) ∼ D [ ( r + γ a ′ max Q ( s ′ , a ′ ; θ − ) − Q ( s , a ; θ ) ) 2 ]
其中 θ − \theta^-θ − 是目标网络参数,定期从 θ \thetaθ 复制。
graph LR
subgraph "环境"
Env["Game / Simulator"]
end
subgraph "智能体"
Q1["Q网络 ✓θ"]
Q2["目标网络 ✓θ⁻"]
Buffer["经验回放池"]
end
Env -->|"(s, a, r, s')"| Buffer
Buffer -->|"采样batch"| Q1
Q1 -->|"Q(s,a)"| Loss["损失计算"]
Q2 -->|"Q(s',a')"| Loss
Loss -->|"梯度更新"| Q1
Q1 -.->|"定期复制"| Q2
Q1 -->|"选择动作"| Env
style Loss fill:#FF9800,color:white
PPO(Proximal Policy Optimization)是OpenAI在2017年提出的策略梯度算法,因其实现简单、训练稳定而成为实际应用中最常用的RL算法之一。其核心思想是限制每次策略更新的幅度,防止一步更新过大导致性能崩溃。
PPO的剪切目标函数 :
L C L I P ( θ ) = E t [ min ( r t ( θ ) A ^ t , clip ( r t ( θ ) , 1 − ϵ , 1 + ϵ ) A ^ t ) ] L^{CLIP}(\theta) = \mathbb{E}_t \left[ \min\left( r_t(\theta) \hat{A}_t, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_t \right) \right]
L C L I P ( θ ) = E t [ min ( r t ( θ ) A ^ t , clip ( r t ( θ ) , 1 − ϵ , 1 + ϵ ) A ^ t ) ]
其中 r t ( θ ) = π θ ( a t ∣ s t ) π θ old ( a t ∣ s t ) r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{\text{old}}}(a_t|s_t)}r t ( θ ) = π θ old ( a t ∣ s t ) π θ ( a t ∣ s t ) 是新旧策略的概率比,ϵ \epsilonϵ 是剪切范围(通常取0.2)。
数值示例 :假设某状态下,旧策略选择动作的概率为0.5,新策略为0.8,优势函数 A ^ t = 2 \hat{A}_t = 2A ^ t = 2 :
步骤
r t ( θ ) r_t(\theta)r t ( θ )
剪切前
剪切后
最终目标
策略更新
0.8 0.5 = 1.6 \frac{0.8}{0.5} = 1.60.5 0.8 = 1.6
1.6 × 2 = 3.2 1.6 \times 2 = 3.21.6 × 2 = 3.2
min ( 1.6 , 1.2 ) = 1.2 \min(1.6, 1.2) = 1.2min ( 1.6 , 1.2 ) = 1.2
min ( 3.2 , 2.4 ) = 2.4 \min(3.2, 2.4) = 2.4min ( 3.2 , 2.4 ) = 2.4
反向更新
0.3 0.5 = 0.6 \frac{0.3}{0.5} = 0.60.5 0.3 = 0.6
0.6 × 2 = 1.2 0.6 \times 2 = 1.20.6 × 2 = 1.2
max ( 0.6 , 0.8 ) = 0.8 \max(0.6, 0.8) = 0.8max ( 0.6 , 0.8 ) = 0.8
min ( 1.2 , 1.6 ) = 1.2 \min(1.2, 1.6) = 1.2min ( 1.2 , 1.6 ) = 1.2
由于 ϵ = 0.2 \epsilon = 0.2ϵ = 0.2 ,概率比被限制在 [ 0.8 , 1.2 ] [0.8, 1.2][ 0.8 , 1.2 ] 范围内,确保了每一步更新都足够保守。
SAC(Soft Actor-Critic)通过最大化策略的熵来实现更高效的探索和更鲁棒的收敛:
J ( π ) = ∑ t E ( s t , a t ) ∼ π [ r ( s t , a t ) + α H ( π ( ⋅ ∣ s t ) ) ] J(\pi) = \sum_t \mathbb{E}_{(s_t,a_t) \sim \pi} \left[ r(s_t,a_t) + \alpha \mathcal{H}(\pi(\cdot|s_t)) \right]
J ( π ) = t ∑ E ( s t , a t ) ∼ π [ r ( s t , a t ) + α H ( π ( ⋅ ∣ s t )) ]
其中 H \mathcal{H}H 是策略的熵,α \alphaα 是温度系数控制探索程度。熵正则化确保了策略不会过早坍缩到确定性行为,这对连续控制任务尤为重要。
graph TD
Problem["你的问题是什么?"] --> Discrete{"动作空间?"}
Discrete -->|"离散"| SampleEff{"样本稀缺?"}
Discrete -->|"连续"| Stability{"需要稳定性?"}
SampleEff -->|"是"| DQN["DQN / Rainbow"]
SampleEff -->|"否"| PPO_D["PPO"]
Stability -->|"是"| SAC["SAC"]
Stability -->|"否"| PPO_C["PPO / TD3"]
DQN --> Final1["推荐Rainbow DQN"]
PPO_D --> Final2["推荐PPO"]
SAC --> Final3["推荐SAC"]
PPO_C --> Final4["推荐PPO"]
style Problem fill:#3F51B5,color:white
style Final1 fill:#4CAF50,color:white
style Final2 fill:#4CAF50,color:white
style Final3 fill:#4CAF50,color:white
style Final4 fill:#4CAF50,color:white
在现实场景中,智能体往往只能获得非常稀疏的奖励,导致学习困难。例如在围棋中,智能体只能在终局获得奖励,而在前几百步没有任何反馈信号。
迷宫逃离案例 :
稀疏奖励:仅在到达出口时给予 +1,其他所有步数为 0
密集奖励:每靠近目标一步 +0.1,每远离一步 -0.1,撞墙 -0.5
势能奖励:reward = ϕ ( s ′ ) − ϕ ( s ) \text{reward} = \phi(s') - \phi(s)reward = ϕ ( s ′ ) − ϕ ( s ) ,其中 ϕ \phiϕ 是势能函数
奖励设计
收敛步数
最终策略质量
稀疏奖励
50000 步未收敛
随机游走
密集奖励
1200 步
找到最短路径
势能奖励
800 步
找到最短路径
课程学习
600 步
找到最短路径+回避高风险区域
折扣因子 γ \gammaγ 控制智能体的"远视"程度:
G t = R t + γ R t + 1 + γ 2 R t + 2 + . . . G_t = R_t + \gamma R_{t+1} + \gamma^2 R_{t+2} + ...
G t = R t + γ R t + 1 + γ 2 R t + 2 + ...
数值示例 :考虑一个两阶段决策问题,从起点可以选择:
动作A:立即得 +5,然后得 +1
动作B:立即得 +1,然后得 +5
γ \gammaγ 值
动作A总价值
动作B总价值
最优选择
0.0
5.0
1.0
A(完全短视)
0.5
5.5
3.5
A
0.9
5.9
5.5
A
0.95
5.95
5.75
A
1.0
6.0
6.0
等值(不折扣)
实际应用中,γ \gammaγ 通常取 0.9 到 0.99 之间。游戏场景取 0.99,机器人控制取 0.95,快速决策场景取 0.9。
信用分配(Credit Assignment)是RL的核心挑战之一:当智能体在一系列动作后最终获得奖励,如何判断哪些动作对结果做出了贡献?
graph LR
A["动作a₁"] -->|"0 reward"| B["动作a₂"]
B -->|"0 reward"| C["动作a₃"]
C -->|"0 reward"| D["动作a₄"]
D -->|"0 reward"| E["动作a₅"]
E -->|"+10 reward🎯"| F["问题:哪个动作贡献最大?"]
style F fill:#f44336,color:white
折扣奖励衰减 :传统方法是使用 γ k \gamma^kγ k 对远期的奖励进行折扣,越靠近奖励时刻的动作获得越高的信用分配。设奖励在 t = 5 t=5t = 5 时获得,γ = 0.9 \gamma = 0.9γ = 0.9 :
动作
时间步距
折扣系数
分配到该动作的信用
a₁
5步前
0.9 5 = 0.59 0.9^5 = 0.590. 9 5 = 0.59
10 × 0.59 = 5.9 10 \times 0.59 = 5.910 × 0.59 = 5.9
a₂
4步前
0.9 4 = 0.66 0.9^4 = 0.660. 9 4 = 0.66
10 × 0.66 = 6.6 10 \times 0.66 = 6.610 × 0.66 = 6.6
a₃
3步前
0.9 3 = 0.73 0.9^3 = 0.730. 9 3 = 0.73
10 × 0.73 = 7.3 10 \times 0.73 = 7.310 × 0.73 = 7.3
a₄
2步前
0.9 2 = 0.81 0.9^2 = 0.810. 9 2 = 0.81
10 × 0.81 = 8.1 10 \times 0.81 = 8.110 × 0.81 = 8.1
a₅
1步前
0.9 1 = 0.90 0.9^1 = 0.900. 9 1 = 0.90
10 × 0.90 = 9.0 10 \times 0.90 = 9.010 × 0.90 = 9.0
DQN引入的经验回放缓冲 (Experience Replay Buffer)是稳定RL训练的基石:
将智能体的经历 ( s t , a t , r t , s t + 1 ) (s_t, a_t, r_t, s_{t+1})( s t , a t , r t , s t + 1 ) 存储在缓冲区 D DD 中
训练时从 D DD 中随机采样一个小批量,打破时间相关性
计算TD目标时使用目标网络 (Target Network),降低自举偏差
缓冲区分块参数示例 :
参数
典型值
影响
缓冲区大小
1,000,000
越大越多样,但更新慢
批量大小
32
越大梯度越稳定
目标网络更新间隔
10,000步
越小越不稳定
τ \tauτ (软更新)
0.001
越小目标网络更新越慢
优先经验回放(Prioritized Experience Replay) 进一步改进:不随机采样,而是根据TD误差的大小分配采样概率。TD误差大的经验(即智能体的"意外"经历)被更频繁地回放,加速学习:
P ( i ) = p i α ∑ k p k α , p i = ∣ δ i ∣ + ϵ P(i) = \frac{p_i^{\alpha}}{\sum_k p_k^{\alpha}}, \quad p_i = |\delta_i| + \epsilon
P ( i ) = ∑ k p k α p i α , p i = ∣ δ i ∣ + ϵ
其中 δ i \delta_iδ i 是TD误差,α \alphaα 控制优先级的程度(α = 0 \alpha=0α = 0 退化为均匀采样)。
优势函数 A ( s , a ) = Q ( s , a ) − V ( s ) A(s, a) = Q(s, a) - V(s)A ( s , a ) = Q ( s , a ) − V ( s ) 衡量某个动作相比平均水平的好坏程度。使用优势函数替代Q值可以降低方差:
∇ θ J ( θ ) ≈ E s , a ∼ π [ ∇ θ log π θ ( a ∣ s ) ⋅ A ( s , a ) ] \nabla_{\theta} J(\theta) \approx \mathbb{E}_{s, a \sim \pi} \left[ \nabla_{\theta} \log \pi_{\theta}(a|s) \cdot A(s, a) \right]
∇ θ J ( θ ) ≈ E s , a ∼ π [ ∇ θ log π θ ( a ∣ s ) ⋅ A ( s , a ) ]
数值示例 :假设状态 s ss 有四个动作的 Q QQ 值和 V = 5 V=5V = 5 :
动作
Q ( s , a ) Q(s,a)Q ( s , a )
A ( s , a ) = Q − V A(s,a) = Q - VA ( s , a ) = Q − V
策略梯度幅度
↑
7
+2
2倍提升
→
5
0
不变
↓
3
-2
2倍降低
←
6
+1
1倍提升
使用优势函数后,梯度更新只关注"比平均水平好多少",而非绝对数值,大大降低了不同状态间价值差异造成的训练震荡。常用的优势估计方法有:
GAE(Generalized Advantage Estimation) :平衡偏差与方差的最优权衡,通过参数 λ \lambdaλ 控制:
A ^ t GAE = ∑ l = 0 ∞ ( γ λ ) l δ t + l , δ t = r t + γ V ( s t + 1 ) − V ( s t ) \hat{A}_t^{\text{GAE}} = \sum_{l=0}^{\infty} (\gamma\lambda)^l \delta_{t+l}, \quad \delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)
A ^ t GAE = l = 0 ∑ ∞ ( γ λ ) l δ t + l , δ t = r t + γ V ( s t + 1 ) − V ( s t )
其中 λ \lambdaλ 的取值影响:
λ \lambdaλ 值
偏差
方差
性质
0
高(类似TD)
低
只使用1步TD误差
0.5
中
中
混合多步
0.95
低
高
接近MC(多步回报)
1.0
无偏(类似MC)
极高
使用完整轨迹
问题
症状
解决方案
Q值发散
Q值持续增长
降低学习率、增大回放池、增加目标网络延迟
策略坍缩
策略熵持续下降
增加熵正则化、降低学习率、检查奖励尺度
探索不足
奖励停滞
增大 ϵ \epsilonϵ 、添加噪声、使用UCB
梯度爆炸
loss NaN
梯度裁剪(max norm=40)、降低学习率
过拟合
train高但evaluate低
增加域随机化、使用更复杂的网络、减少训练步数
强化学习模型的评估需要多维指标:
指标
定义
使用场景
示例值(DQN Breakout)
累计奖励
∑ r t \sum r_t∑ r t
任务完成度
平均每轮 210 分
回合长度
步数
效率
842 步/回合
成功率
%完成任务
离散决策
78%
样本效率
达到目标所需步数
数据稀缺
500万帧达200分
泛化能力
新场景下的表现
迁移学习
在变体环境中下降 30%
评估时需要注意:
多次运行取平均 :RL训练方差大,至少跑5个随机种子取中位数
训练曲线vs测试曲线 :训练奖励可能因为探索而偏低,测试时应关闭探索噪声
帧数对齐 :比较算法效率时必须按相同帧数/时间步来对比
策略梯度方法的核心是策略梯度定理(Policy Gradient Theorem),它给出了目标函数对策略参数的解析梯度:
∇ θ J ( θ ) = E s ∼ d π , a ∼ π θ [ ∇ θ log π θ ( a ∣ s ) Q π ( s , a ) ] \nabla_{\theta} J(\theta) = \mathbb{E}_{s \sim d^{\pi}, a \sim \pi_{\theta}} \left[ \nabla_{\theta} \log \pi_{\theta}(a|s) Q^{\pi}(s, a) \right]
∇ θ J ( θ ) = E s ∼ d π , a ∼ π θ [ ∇ θ log π θ ( a ∣ s ) Q π ( s , a ) ]
其中 d π d^{\pi}d π 是策略 π \piπ 下的稳态分布。REINFORCE算法使用蒙特卡洛采样来估计这个梯度,而Actor-Critic方法则使用学习到的 Q QQ 函数。
Off-Policy学习依赖重要性采样(Importance Sampling)来纠正策略分布差异:
J ( θ ) = E a ∼ β [ π θ ( a ∣ s ) β ( a ∣ s ) Q π ( s , a ) ] J(\theta) = \mathbb{E}_{a \sim \beta} \left[ \frac{\pi_{\theta}(a|s)}{\beta(a|s)} Q^{\pi}(s, a) \right]
J ( θ ) = E a ∼ β [ β ( a ∣ s ) π θ ( a ∣ s ) Q π ( s , a ) ]
其中 β \betaβ 是行为策略(Behavior Policy),π θ \pi_{\theta}π θ 是目标策略。这个比率 ρ = π θ ( a ∣ s ) / β ( a ∣ s ) \rho = \pi_{\theta}(a|s) / \beta(a|s)ρ = π θ ( a ∣ s ) / β ( a ∣ s ) 称为重要性权重,当两个策略差异过大时方差会急剧增大——这正是PPO使用剪切来限制更新幅度的根本原因。
框架
语言
核心特性
GitHub Stars
适用场景
Stable-Baselines3
Python
RL算法标准实现
12,000+
学术研究、快速原型
RLlib (Ray)
Python
分布式RL
35,000+
大规模分布式训练
Dopamine
Python
研究用框架
10,000+
DQN系列研究
TF-Agents
Python
TensorFlow生态
6,000+
TensorFlow用户
CleanRL
Python
单文件简洁实现
7,000+
教学、代码理解
Acme
Python
DeepMind出品
3,500+
工业级RL
from stable_baselines3 import PPO
from stable_baselines3.common.env_util import make_vec_env
# 创建并行环境
env = make_vec_env("CartPole-v1", n_envs=4)
# 初始化PPO代理
model = PPO(
"MlpPolicy",
env,
learning_rate=3e-4,
n_steps=2048,
batch_size=64,
n_epochs=10,
gamma=0.99,
gae_lambda=0.95,
clip_range=0.2,
verbose=1
)
# 训练
model.learn(total_timesteps=100000)
# 保存与加载
model.save("ppo_cartpole")
model = PPO.load("ppo_cartpole")
# 推理
obs = env.reset()
for _ in range(1000):
action, _ = model.predict(obs)
obs, rewards, dones, info = env.step(action)
这是一个完整的PPO训练和推理流程。实际使用时,环境、超参数和网络结构需要根据具体问题调整。
graph TD
Start["确定超参数搜索空间"] --> LR["学习率: [1e-5, 1e-3]"]
Start --> GS["GAE λ: [0.9, 0.95, 0.99]"]
Start --> Gamma["折扣因子: [0.99, 0.999]"]
Start --> Batch["批量大小: [64, 256, 1024]"]
Start --> Net["网络宽度: [64, 128, 256]"]
LR --> Eval["评估(5次运行, 中位数)"]
GS --> Eval
Gamma --> Eval
Batch --> Eval
Net --> Eval
Eval --> Best["选择最优组合"]
Best --> Final["最终训练 + 测试"]
style Start fill:#3F51B5,color:white
style Final fill:#4CAF50,color:white
领域
代表应用
代表成果
使用的算法
游戏
AlphaGo, AlphaZero
击败世界冠军
MCTS + 深度网络
机器人
灵巧手操作、四足行走
完成复杂物体操控
PPO, SAC
自动驾驶
端到端驾驶
Waymo等
模仿学习+RL
NLP
RLHF
ChatGPT
PPO + 奖励模型
推荐系统
在线广告、内容推荐
长期收益优化
Bandit, DQN
芯片设计
布局规划
Google TPU布局
Edge-Graph RL
药物发现
分子生成
候选药物分子
Graph RL
数据中心
冷却优化
40%能耗降低
DRL
金融交易
量化策略
Alpha等对冲基金
MDP + RL
挑战
具体问题
当前进展
展望
样本效率
Atari游戏需2亿帧次
人类100帧即学会
世界模型、离线RL
奖励设计
多数场景奖励稀疏
逆RL、偏好学习
LLM辅助奖励设计
安全约束
现实中不可随意探索
安全约束RL
合规RL
泛化能力
训练与测试环境不同
域随机化、元学习
基础模型+微调
多智能体
智能体间竞争协作
MADDPG, QMIX
大语言模型驱动的智能体
可解释性
策略为黑盒
注意力可视化
自然语言解释策略
离线RL
无法与环境交互
CQL, IQL
多任务离线预训练
离线RL(Offline RL)是近年来最受关注的方向之一,它使用静态数据集(非交互产生)学习策略,具有以下优势:
可以利用已有的海量历史数据
避免了与真实环境交互的安全风险
适合医疗、自动驾驶等高风险场景
主要挑战 :分布外动作的Q值过估计(外推误差),即对训练数据中未出现的动作,Q网络的估计可能极度不准确。
离线RL算法
解决思路
效果
BCQ
限制动作接近数据集分布
保守但稳定
CQL
惩罚分布外动作的Q值
效果好,使用广泛
IQL
隐式策略约束
不依赖行为策略
DT (Decision Transformer)
将RL视为序列建模
简单有效
Decision Transformer(DT)和Trajectory Transformer将强化学习重新形式化为序列预测问题:
输入:历史的状态、动作、回报序列
输出:下一个动作
训练:使用下一个token预测(类似GPT)
这种方法在需要长程依赖的任务中表现优于传统RL,并且在少量样本上的微调效率更高。
graph TD
Begin["开始学习RL"] --> Bandit["多臂老虎机"]
Bandit --> MDP["MDP & 贝尔曼方程"]
MDP --> DP["动态规划"]
DP --> MC["蒙特卡洛方法"]
DP --> TD["时序差分学习"]
MC --> QL["Q-Learning"]
TD --> QL
QL --> DQN["深度Q网络 (DQN)"]
QL --> PG["策略梯度"]
PG --> TRPO["TRPO"]
PG --> PPO["PPO"]
TRPO --> AC["Actor-Critic"]
PPO --> AC
DQN --> Rainbow
DQN --> SAC
AC --> SAC
style Begin fill:#4CAF50,color:white
style SAC fill:#FF9800,color:white
style PPO fill:#2196F3,color:white
style Rainbow fill:#9C27B0,color:white
入门 :多臂老虎机 → MDP → 贝尔曼方程 → 动态规划(值迭代/策略迭代)
核心方法 :蒙特卡洛 → 时序差分 → Q-Learning → SARSA
深度学习 :DQN → Double DQN → Dueling DQN → Rainbow
策略方法 :策略梯度 → REINFORCE → Actor-Critic → PPO → SAC
前沿 :Model-Based RL → Offline RL → Decision Transformer → RLHF
Sutton & Barto, Reinforcement Learning: An Introduction (2nd Edition) — RL领域圣经
李宏毅RL课程(YouTube) — 中文入门最佳
CS285 (Berkeley, Sergey Levine) — 进阶课程
Spinning Up in Deep RL (OpenAI) — 代码和理论并重
论文
年份
贡献
代码框架
DQN (Mnih et al., Nature)
2015
深度+RL首次成功
Dopamine
A3C (Mnih et al., ICML)
2016
异步并行训练
自实现
PPO (Schulman et al., arXiv)
2017
稳定策略优化
Stable-Baselines3
Rainbow (Hessel et al., AAAI)
2018
DQN六大改进
Dopamine
SAC (Haarnoja et al., ICML)
2018
最大熵RL
Stable-Baselines3
MuZero (Schultz et al., Nature)
2020
无模型知识规划
自实现
Decision Transformer (Chen et al., NeurIPS)
2021
RL as sequence
自实现
Gato (DeepMind)
2022
通用智能体
N/A
Sutton & Barto, Reinforcement Learning: An Introduction (2nd Edition) — RL领域圣经
Mnih et al., "Human-level control through deep reinforcement learning" (Nature, 2015) — DQN原始论文
Schulman et al., "Proximal Policy Optimization Algorithms" (2017) — PPO论文
Lillicrap et al., "Continuous Control with Deep Reinforcement Learning" (2016) — DDPG论文
Haarnoja et al., "Soft Actor-Critic: Off-Policy Maximum Entropy Deep RL" (2018)
参见:马尔可夫决策过程详解 | Q学习 | 策略梯度方法 | RLHF