Dueling DDQN 与优先经验回放
为强化学习设计的网络结构，以及回放真正重要的经验。
Dueling 架构把 Q 拆成所有动作共享的 V(s) 和 A(s,a)。因此每条经验都能改进 V(s)，学习更快。
优先经验回放（PER）更常抽取 |TD 误差| 大的经验，并用重要性采样权重修正偏差。
Q(s,a) = V(s) + A(s,a) − meanₐ' A(s,a')
PER: P(i) ∝ |δᵢ|^α wᵢ = (N · P(i))^(−β)
基于价值方法的弱点
- 对超参数非常敏感
- 假设环境满足马尔可夫性
- 致命三角：自举 + 异策略 + 函数近似可能导致发散
要点
- NFQ → DQN → DDQN（更稳定）→ Dueling + PER（更省样本）
import torch, torch.nn as nn
class DuelingQNet(nn.Module):
"""Q(s,a) = V(s) + A(s,a) - mean_a A(s,a)"""
def __init__(self, n_obs, n_act, hidden=128):
super().__init__()
self.body = nn.Sequential(nn.Linear(n_obs, hidden), nn.ReLU())
self.value = nn.Linear(hidden, 1) # ຫົວ V(s): ໃຊ້ຮ່ວມທຸກ action
self.advantage = nn.Linear(hidden, n_act) # ຫົວ A(s,a)
def forward(self, s):
h = self.body(s)
v, adv = self.value(h), self.advantage(h)
return v + adv - adv.mean(dim=-1, keepdim=True)
net = DuelingQNet(n_obs=4, n_act=2)
print(net(torch.zeros(3, 4)).shape) # torch.Size([3, 2])
# PER: ຄວາມສຳຄັນ ∝ |TD error|^α, ແກ້ bias ດ້ວຍ importance-sampling weight
td_errors = torch.tensor([0.1, 2.0, 0.5, 0.05])
alpha, beta = 0.6, 0.4
p = (td_errors.abs() + 1e-6) ** alpha
probs = p / p.sum()
w = (len(probs) * probs) ** (-beta)
w = w / w.max()
print("ໂອກາດຖືກສຸ່ມ:", probs.numpy().round(3))
print("IS weight :", w.numpy().round(3))输出结果
torch.Size([3, 2]) ໂອກາດຖືກສຸ່ມ: [0.097 0.585 0.254 0.064] IS weight : [0.847 0.413 0.575 1. ]
- #DeepRL
- #ReinforcementLearning
- #PythonສຳລັບຄົນLaos
- #AI
- #ບອກຕໍ່ຄວາມຮູ້