迈向通用人工智能
全面回顾，以及接下来学什么。
回头再读一遍第 1 课的定义：通过试错、从序列性、评价性和采样性的反馈中学习，并使用非线性函数近似的程序。这个定义里的每一个词，你现在都学过了。
方法全景图
| 类别 | 学习对象 | 例子 |
|---|---|---|
| Value-based | Q(s,a) | Q-learning, DQN, DDQN, Dueling, PER |
| Policy-based | 直接学习 π(a|s) | REINFORCE, VPG |
| Actor-critic | 同时学习 π 与 V/Q | A2C, A3C, DDPG, TD3, SAC, PPO |
| Model-based | 环境的 T 和 R | Dyna-Q, trajectory sampling |
| Derivative-free | 不用梯度调整参数 | Evolution strategies, genetic algorithms |
值得继续学习的进阶主题
Model-based Deep RL用神经网络学习模型再做规划
Inverse RL通过观察专家来学习奖励
Transfer · Sim-to-real在仿真中训练，再用于真实机器人
Multi-task · Meta learning一个 agent 完成多项任务，“学会如何学习”
Multi-agent RL多个 agent 合作或竞争
解决你自己的问题用 Gymnasium 构建新环境，并尝试所有算法
下一步
- 运行每课的代码，并试着调整 γ、α、ε、λ
- 构建自己的网格世界，用价值迭代和 Q-learning 求解
- 试试 Stable-Baselines3，在真实项目中使用 PPO / SAC
- #DeepRL
- #ReinforcementLearning
- #PythonສຳລັບຄົນLaos
- #AI
- #ບອກຕໍ່ຄວາມຮູ້