第 06 课 · 表格型强化学习

改进 agent 的行为

SARSA、Q-learning 与 Double Q-learning。

要在不知道 MDP 的情况下改进策略，就要学习 Q(s,a) 而不是 V，并且边学边探索。所有方法都遵循 GPI 模式：评估 Q → 选择更好的动作 → 重复。

代码中的 Q-learning 完全通过试玩来学习，却得到与第 3 课价值迭代（需要完整 MDP）相同的策略。

SARSA (on-policy): Q(s,a) ← Q(s,a) + α [ r + γ·Q(s',a') − Q(s,a) ] Q-learning (off-policy): Q(s,a) ← Q(s,a) + α [ r + γ·maxₐ' Q(s',a') − Q(s,a) ]

同策略（SARSA）：学习正在使用的策略的价值，包括随机探索
异策略（Q-learning）：用一种策略去玩，却学习最优策略的价值
Double Q-learning：用两套 Q 来修正 max 造成的高估
GLIE：无限次探索所有选项，但最终趋于贪心

要点

预测 = 评估策略；控制 = 寻找最优策略
双重学习会在 Double DQN 和 TD3 中再次出现

deep-rl-ep06-q-learning.py

import numpy as np
import gymnasium as gym

env = gym.make("FrozenLake-v1", is_slippery=True)
n_s, n_a = env.observation_space.n, env.action_space.n
Q = np.zeros((n_s, n_a))
rng = np.random.default_rng(0)
gamma, alpha = 0.99, 0.1
n_episodes = 20000

for ep in range(n_episodes):
    eps = max(0.01, 1.0 - ep / (0.8 * n_episodes))     # epsilon ຫຼຸດລົງເລື້ອຍໆ
    s, _ = env.reset(seed=ep)
    done = False
    while not done:
        a = rng.integers(n_a) if rng.random() < eps else int(np.argmax(Q[s]))
        s2, r, term, trunc, _ = env.step(a)
        target = r + gamma * Q[s2].max() * (not term)    # off-policy: ໃຊ້ max
        Q[s, a] += alpha * (target - Q[s, a])
        s, done = s2, term or trunc

pi = Q.argmax(axis=1)
wins = 0
for ep in range(1000):
    s, _ = env.reset(seed=100000 + ep)
    done = False
    while not done:
        s, r, term, trunc, _ = env.step(pi[s])
        done = term or trunc
    wins += r
print("π =", "".join("←↓→↑"[a] for a in pi))
print(f"ອັດຕາສຳເລັດ: {wins / 10:.1f}%")

输出结果

π = ←↑↑↑←←←←↑↓←←←→↓←
ອັດຕາສຳເລັດ: 73.4%

#DeepRL
#ReinforcementLearning
#PythonສຳລັບຄົນLaos
#AI
#ບອກຕໍ່ຄວາມຮູ້

主菜单

切换语言

货币

改进 agent 的行为

要点