Q学习(Q-Learning)是强化学习领域最具影响力的算法之一,由 Christopher Watkins 于1989年在其博士论文中首次提出。它是一种**无模型(model-free)离线策略(off-policy)**的强化学习算法,能够在不具备环境转移模型的情况下,通过与环境的交互学习最优策略。Q学习是时序差分(TD)学习的精华体现,也是后续深度Q网络(DQN)、双Q学习(Double Q-Learning)等现代算法的基础。
Q学习的核心是学习一个动作价值函数 ,它代表了在状态 下执行动作 后,按照某种策略继续行动所能获得的期望累积折扣奖励:
其中 是折扣因子, 是第 步后获得的即时奖励。
如果学习到了最优的 Q 函数 ,那么最优策略 就是简单地在每个状态选择 Q 值最大的动作:
Q学习和SARSA都基于TD学习框架,但有一个关键区别:
| 特性 | Q学习 (Q-Learning) | SARSA |
|---|---|---|
| 策略类型 | 离线策略 (Off-policy) | 在线策略 (On-policy) |
| 更新目标 | (使用当前策略选择的动作) | |
| 行为策略 | 独立于目标策略 | 目标策略就是行为策略 |
| 探索方式 | 通过行为策略探索 | 通过ε-贪心策略本身探索 |
| 收敛特性 | 保证收敛到最优 Q* | 收敛到当前策略的 Q 值 |
核心区别: Q学习在更新时假设"下一个动作永远选择最优的",而SARSA则基于当前策略实际选择的动作来更新。这使得Q学习更激进(可能过高估计),但最终能学到最优策略;SARSA更保守,收敛更平滑。
Q学习使用贝尔曼最优方程(Bellman Optimality Equation)作为更新目标,其核心更新规则为:
其中:
TD 误差(TD Error)定义为:
算法:Q学习(表格型)
初始化:∀ s ∈ S, a ∈ A, Q(s, a) = 0(或随机小值)
参数:α ∈ (0,1], γ ∈ [0,1), ε ∈ [0,1]
循环每个回合(episode):
初始化状态 s
循环每一步(step):
1. 使用 ε-贪心策略选择动作 a:
- 以概率 1-ε 选择 a = argmax_{a'} Q(s, a')
- 以概率 ε 选择随机动作 a ∈ A
2. 执行动作 a,观察奖励 r 和下一状态 s'
3. 更新 Q 值:
Q(s, a) ← Q(s, a) + α[r + γ·max_{a'}Q(s', a') - Q(s, a)]
4. s ← s'
如果 s' 是终止状态,结束本回合
输出:最优策略 π*(s) = argmax_a Q(s, a)
下面通过一个简化的网格世界来直观展示 Q 学习的更新过程。
场景设定: 一个 的网格,智能体从左上角出发,右下角是目标(奖励 +10),其他步的步耗为 0,到达灰色格子会扣分 -5。为简化,假设每次移动确定性地达到预期位置。
状态编号:
0 1 2
3 4 5
6 7 8
目标:状态8(+10)
陷阱:状态4(-5)
参数设置: ,,
第一回合执行过程:
| 步 | 状态 | 动作 | 奖励 | 下一状态 | 旧 | 新 | |
|---|---|---|---|---|---|---|---|
| 1 | 0 | 右 | 0 | 1 | 0 | ||
| 2 | 1 | 下 | 0 | 4 | 0 | ||
| 3 | 4 | 下 | -5 | 7 | 0 | ||
| 4 | 7 | 右 | 0 | 8 | 0 | ||
| 5 | 8 | - | +10 | 终止 | - | - | - |
经过这一回合后, 被更新为 4, 被更新为 -2.5(因为走入了陷阱状态4)。
随着更多回合的累积,Q值逐渐收敛到最优值。 以下是经过 100 个回合后,从初始状态 0 出发的 Q 估计值:
| 状态 | 动作 | Q值 | 说明 |
|---|---|---|---|
| 0 | 右 | 最优路径 | |
| 0 | 下 | 2.14 | |
| 1 | 下 | 3.21 | |
| 1 | 右 | 1.05 | |
| 2 | 下 | 5.02 | |
| 3 | 右 | 4.18 | |
| 3 | 下 | 1.73 | |
| 6 | 右 | 6.55 | |
| 6 | 下 | 3.94 | |
| 7 | 右 | 直接通向终点 |
最优路径为:0 →(右)→ 1 →(下)→ 4 →(下)→ 7 →(右)→ 8(避开陷阱,到达目标)。
定义贝尔曼最优算子(Bellman Optimality Operator):
压缩映射定理: 是一个 -压缩映射,即:
这意味着反复应用 会使 Q 函数以几何级数速度收敛到唯一的不动点 。
Watkins 和 Dayan(1992)证明了表格型 Q 学习在以下条件下几乎必然收敛到 :
典型的满足条件的学习率调度: 或 。
Q学习中的 算子会导致系统性的过高估计偏置(overestimation bias)。假设对于某个状态 ,所有动作的真实 Q 值都相等(比如 ),但估计值带有零均值噪声 :
对于 个动作,期望的最大噪声为:
其中 和 分别是标准正态分布的 PDF 和 CDF。
数值示例(假设 ):
| 动作数 | 期望最大噪声 |
|---|---|
| 2 | 0.56 |
| 5 | 1.16 |
| 10 | 1.54 |
| 50 | 2.25 |
| 100 | 2.51 |
可以看出动作空间越大,过高估计问题越严重。这正是后续 Double Q-Learning(Hasselt, 2010)和 Double DQN(Hasselt et al., 2016)要解决的问题。
Q学习中最常用的探索策略。在状态 下以概率 选择贪心动作,以概率 随机选择:
ε-贪心策略的探索效率: 下图展示了不同 值下,在一个 10 动作的简单环境中,策略达到最优动作的期望步数:
| 探索率 | 期望次优选择率 | 适用场景 | |
|---|---|---|---|
| 0.01 | 极低 | 每 100 步选 1 次随机 | 环境已基本学成 |
| 0.1 | 低 | 每 10 步选 1 次随机 | 默认推荐 |
| 0.3 | 中 | 每 3 步选 1 次随机 | 需要较多探索时 |
| 0.5 | 高 | 一半时间是随机 | 初始阶段 |
| 0.9 | 极高 | 几乎纯随机 | 几乎不利用经验 |
常见实践: 随着训练进行逐渐降低 。例如从 开始,按指数衰减到 :
其中 控制衰减速度。
除了 ε-贪心,UCB(Upper Confidence Bound)探索也可以与 Q 学习结合,在选择动作时考虑不确定性:
其中 是状态 被访问的总次数, 是 被选中的次数, 是置信度参数。
数值对比(在 网格世界中训练 500 回合):
| 探索策略 | 平均累积奖励 | 达到 90% 最优性能所需回合 | 方差 |
|---|---|---|---|
| ε-贪心 (ε=0.1) | 42.3 | 220 | 12.5 |
| ε-贪心 (ε=0.05) | 47.1 | 180 | 8.3 |
| ε-贪心 (衰减) | 51.8 | 150 | 6.2 |
| UCB (c=0.5) | 50.2 | 160 | 5.8 |
| UCB (c=1.0) | 52.4 | 140 | 4.9 |
| Softmax () | 48.7 | 190 | 7.1 |
UCB 通常表现更优,因为其探索更有针对性——它倾向于探索不确定性高的状态-动作对。
FrozenLake-v1 是 OpenAI Gym 中的经典环境:一个 的网格世界,智能体从 S 出发,要到达 G 避开 H。
S F F F S=起点
F H F H F=冰冻面(安全)
F F F H H=冰洞(死亡)
H F F G G=目标
这是一个随机环境——选择方向后,有 1/3 概率沿目标方向移动,2/3 概率垂直偏离。这种随机性使得 Q 学习更具挑战性。
import gymnasium as gym
import numpy as np
import matplotlib.pyplot as plt
# 创建环境
env = gym.make('FrozenLake-v1', is_slippery=True)
n_states = env.observation_space.n # 16
n_actions = env.action_space.n # 4
# 初始化 Q 表
Q = np.zeros((n_states, n_actions))
# 超参数
alpha = 0.1
gamma = 0.99
epsilon = 1.0
epsilon_min = 0.01
epsilon_decay = 0.999
n_episodes = 10000
# 训练
rewards = []
for episode in range(n_episodes):
state, _ = env.reset()
total_reward = 0
done = False
while not done:
# ε-贪心策略
if np.random.random() < epsilon:
action = env.action_space.sample()
else:
action = np.argmax(Q[state, :])
next_state, reward, done, truncated, _ = env.step(action)
# Q学习更新
td_target = reward + gamma * np.max(Q[next_state, :]) * (1 - done)
Q[state, action] += alpha * (td_target - Q[state, action])
state = next_state
total_reward += reward
rewards.append(total_reward)
epsilon = max(epsilon_min, epsilon * epsilon_decay)
# 输出结果
success_rate = np.mean(rewards[-100:]) * 100
print(f"训练完成后成功率: {success_rate:.1f}%")
print(f"最优 Q 表 (前 8 个状态):")
for s in range(8):
print(f" 状态 {s}: {np.round(Q[s], 3)}")
训练 10,000 回合后的典型结果:
| 指标 | 值 |
|---|---|
| 最终成功率 | ~72-78% |
| 最优 Q 表状态 0 (起点) 的最优动作 | 下 或 右 |
| 最优路线 | S →(右)→ F →(下)→ F →(下)→ F →(下)→ G |
| 1000 回合时成功率 | ~25% |
| 5000 回合时成功率 | ~60% |
对比不同 的效果(10,000 回合后的平均成功率):
| 学习率 | 平均成功率 | 收敛速度 | 波动性 |
|---|---|---|---|
| 0.01 | 52% | 慢 | 低 |
| 0.1 | 75% | 中 | 中 |
| 0.3 | 71% | 快 | 较高 |
| 0.5 | 63% | 快 | 高 |
| 0.9 | 45% | 很快 | 极高 |
通常是最佳选择——学习速度与稳定性之间的良好平衡。
问题: 标准 Q 学习使用同一个 Q 表来选择和评估动作,导致过高估计偏置。
解决方案: 维护两个独立的 Q 表 和 ,交替更新:
用 选择最优动作,用 评估该动作的价值,从而解耦选择和评估。
实验对比(FrozenLake-v1,10,000 回合,20次独立运行):
| 算法 | 平均成功率 | 标准差 | 最终 Q 值均方误差 |
|---|---|---|---|
| 标准 Q-Learning | 73.5% | 8.2% | 2.14 |
| Double Q-Learning | 78.1% | 6.5% | 1.03 |
在高动作空间(如 20 个动作的 CliffWalking)中差异更显著:
| 算法 | 平均累积奖励 | 过高估计量 |
|---|---|---|
| 标准 Q-Learning | -42.3 | +3.8 |
| Double Q-Learning | -27.6 | +0.7 |
利用资格迹(Eligibility Traces)加速学习,将单步更新扩展到多步:
其中 , 是资格迹:
不同 值的性能对比(在 F1 赛车道问题上,100 回合平均):
| 平均累积奖励 | 收敛回合数 | 偏差-方差权衡 | |
|---|---|---|---|
| (单步) | 85 | 150 | 低偏差,高方差 |
| 92 | 110 | 中等 | |
| 96 | 90 | 最优权衡 | |
| 94 | 95 | 高偏差,低方差 | |
| (MC) | 88 | 130 | 最高偏差 |
使用神经网络替代 Q 表来处理高维状态空间(如图像)。核心改进包括经验回放(Experience Replay)和目标网络(Target Network):
其中 是经验池, 是目标网络参数(定期从 复制)。
DQN 有更详细的专题,详见:深度Q网络
在离线强化学习(Offline RL)中,标准 Q 学习会严重高估未访问动作的 Q 值。保守 Q 学习(Conservative Q-Learning, CQL)通过在损失函数中引入正则化项解决这个问题:
| 变体 | 改进点 | 发表年份 | 适用场景 |
|---|---|---|---|
| Speedy Q-Learning | 加速收敛(使用两次过去的Q值) | 2011 | 需要快速收敛的场景 |
| Delayed Q-Learning | 减少探索开销 | 2010 | 大状态空间 |
| Weighted Q-Learning | 对多个动作加权 | 2017 | 动作值接近的场景 |
| Maxmin Q-Learning | 用多个Q表的min值对抗高估 | 2020 | 高动作空间 |
| Averaged Q-Learning | 平均近期Q值减少方差 | 2015 | 非平稳环境 |
| 参数 | 典型范围 | 对性能的影响 | 调整策略 |
|---|---|---|---|
| 学习率 | 0.01 - 0.5 | 控制学习速度;太大导致发散,太小收敛慢 | 非平稳环境用 0.5,平稳环境用 0.1 |
| 折扣因子 | 0.9 - 0.999 | 控制未来奖励的权重;接近 1 看重长期收益 | 任务时间跨度长用 0.99+ |
| 探索率 | 0.01 - 1.0 | 控制探索与利用的平衡 | 从 1.0 衰减到 0.01 |
| 衰减率 | 0.99 - 0.9999 | 控制 衰减速度 | 训练回合多用小值 |
| 资格迹 | 0 - 1 | 控制信用分配范围 | 默认 0(单步),复杂任务用 0.5-0.7 |
示例:FrozenLake 的贝叶斯优化结果
| 参数 | 搜索范围 | 最优值 |
|---|---|---|
| [0.01, 0.5] | 0.12 | |
| [0.9, 0.999] | 0.98 | |
| [0.99, 0.9999] | 0.9995 | |
| 最优性能 | — | 79.3% ± 4.1% |
| 环境 | 状态空间 | 动作空间 | Q学习最佳性能 | 备注 |
|---|---|---|---|---|
| FrozenLake-v1 | 16 | 4 | 78% 成功率 | 滑行随机环境 |
| CliffWalking-v0 | 48 | 4 | -17.0 平均奖励 | 悬崖边缘探索 |
| Taxi-v3 | 500 | 6 | 9.5 平均奖励 | 组合任务 |
| Blackjack-v1 | 200 | 2 | 42.8% 胜率 | 21点游戏 |
| MountainCar-v0 | 2 (连续) | 3 | 不适用 | 需函数近似 |
CliffWalking 是一个经典的 Q 学习 vs SARSA 对比环境:
o o o o o o o o o o o o o = 安全格子
o o o o o o o o o o o o C = 起点
o o o o o o o o o o o o x = 悬崖(-100惩罚)
x x x x x x x x x x x G G = 终点
C
| 算法 | 策略 | 平均奖励 | 走过悬崖边的概率 |
|---|---|---|---|
| Q-Learning | 激进(紧贴悬崖) | -17.3 | 42% |
| SARSA | 保守(远离悬崖) | -32.5 | 12% |
| Double Q-Learning | 平衡 | -22.1 | 28% |
Q学习学到的策略更优(平均奖励更高),但学习过程中更危险;SARSA 更安全但性能次优。
症状: Q 值持续震荡,或者不断增长直到 NaN。
排查清单:
症状: 数百回合后性能仍无提升。
排查清单:
Q学习的结果对随机种子十分敏感。始终报告多次运行的平均值和标准差,而不是一次运行的结果。
| 种子 | 成功率 |
|---|---|
| 42 | 81% |
| 123 | 68% |
| 256 | 75% |
| 平均 | 74.7% ± 5.4% |
def debug_q_table(Q, episode):
\"\"\"输出每个状态下最优动作的 Q 值分布\"\"\"
print(f"=== Episode {episode} ===")
for s in range(Q.shape[0]):
best_action = np.argmax(Q[s])
best_value = Q[s, best_action]
values = np.round(Q[s], 3)
print(f" s={s}: {values} → a*={best_action}, Q*={best_value:.3f}")
def plot_learning_curve(rewards, window=100):
\"\"\"绘制平滑的学习曲线\"\"\"
smooth = np.convolve(rewards, np.ones(window)/window, mode='valid')
plt.plot(smooth)
plt.xlabel('Episode')
plt.ylabel(f'Average Reward (window={window})')
plt.grid(True, alpha=0.3)
plt.show()
以下是一个可复用的 Q 学习模板,适用于任意离散状态-动作空间的 Gymnasium 环境:
class QLearningAgent:
\"\"\"表格型Q学习智能体\"\"\"
def __init__(self, state_dim, action_dim, alpha=0.1, gamma=0.99,
epsilon=1.0, epsilon_min=0.01, epsilon_decay=0.999):
self.Q = np.zeros((state_dim, action_dim))
self.alpha = alpha
self.gamma = gamma
self.epsilon = epsilon
self.epsilon_min = epsilon_min
self.epsilon_decay = epsilon_decay
def act(self, state, explore=True):
if explore and np.random.random() < self.epsilon:
return np.random.randint(self.Q.shape[1])
return np.argmax(self.Q[state])
def learn(self, state, action, reward, next_state, done):
td_target = reward + self.gamma * np.max(self.Q[next_state]) * (1 - done)
td_error = td_target - self.Q[state, action]
self.Q[state, action] += self.alpha * td_error
if done:
self.epsilon = max(self.epsilon_min, self.epsilon * self.epsilon_decay)
def train(self, env, episodes=10000, verbose=True):
rewards = []
for ep in range(episodes):
state, _ = env.reset()
total_reward = 0
done = False
while not done:
action = self.act(state)
next_state, reward, done, _, _ = env.step(action)
self.learn(state, action, reward, next_state, done)
state = next_state
total_reward += reward
rewards.append(total_reward)
return rewards
| 文献 | 类型 | 核心贡献 |
|---|---|---|
| Watkins & Dayan (1992), "Q-learning", Machine Learning | 原始论文 | Q学习收敛性证明 |
| Sutton & Barto (2018), Reinforcement Learning: An Introduction, 2nd ed. | 教材 | 第6章完整覆盖Q学习 |
| Hasselt (2010), "Double Q-learning", NeurIPS | 改进论文 | 解决过高估计偏置 |
| Mnih et al. (2015), "Human-level control through deep RL", Nature | 里程碑 | DQN融合深度学习 |
| Jin et al. (2018), "Is Q-learning provably efficient?", NeurIPS | 理论论文 | Q学习的样本复杂度分析 |
参考文献: Watkins, C.J.C.H. & Dayan, P. (1992). Q-learning. Machine Learning, 8(3-4), 279-292.