深度强化学习

第 01 课 · 基础

什么是深度强化学习？

从尝试中学习的程序，而不是靠别人告诉答案。

阅读本课 第 02 课 · 基础

MDP：驱动环境的引擎

描述所有强化学习问题的数学语言。

阅读本课

第 03 课 · 表格型强化学习

权衡短期与长期目标

策略、价值函数，以及已知 MDP 时的规划。

阅读本课 第 04 课 · 表格型强化学习

权衡探索与利用

有很多台老虎机，该选哪一台？

阅读本课 第 05 课 · 表格型强化学习

评估 agent 的行为

TD 与蒙特卡洛：从经验中估计策略的价值。

阅读本课 第 06 课 · 表格型强化学习

改进 agent 的行为

SARSA、Q-learning 与 Double Q-learning。

阅读本课 第 07 课 · 表格型强化学习

更有效、更高效地实现目标

SARSA(λ)、Q(λ)、Dyna-Q：让每个样本发挥更大价值。

阅读本课

第 08 课 · 基于价值的深度强化学习

基于价值的深度强化学习入门

当 Q 表太大时，就改用神经网络。

阅读本课 第 09 课 · 基于价值的深度强化学习

DQN 与 Double DQN

让强化学习更像监督学习。

阅读本课 第 10 课 · 基于价值的深度强化学习

Dueling DDQN 与优先经验回放

为强化学习设计的网络结构，以及回放真正重要的经验。

阅读本课

第 11 课 · 策略与 Actor-Critic

策略梯度与 Actor-Critic 方法

REINFORCE → VPG → A3C → GAE → A2C。

阅读本课 第 12 课 · 策略与 Actor-Critic

进阶 Actor-Critic：DDPG、TD3、SAC、PPO

实际项目中最常用的 4 个算法。

阅读本课

第 13 课 · 全局回顾

迈向通用人工智能

全面回顾，以及接下来学什么。

阅读本课