什么是深度强化学习?
从尝试中学习的程序,而不是靠别人告诉答案。
在强化学习(RL)中,agent(决策者)在环境中尝试各种动作(action),并得到奖励(reward)作为反馈。目标是找到能在长期内获得最多累计奖励的行为方式。
当用多层神经网络(深度学习)来近似估计数值时,就称为深度强化学习。
强化学习为何困难:三种反馈同时存在
序列性(Sequential)动作的后果可能很久之后才出现,必须权衡短期与长期目标。
评价性(Evaluative)只得到一个分数,没有人告诉你正确的动作是什么。必须在收集信息与利用信息之间权衡。
采样性(Sampled)状态太多,不可能全部见过,必须泛化到新状态,这正是神经网络的用武之地。
强化学习在 AI 中的位置
| 分支 | 学习依据 | 例子 |
|---|---|---|
| Supervised | 正确答案(标签) | 区分猫和狗的图片 |
| Unsupervised | 没有标签,自行发现结构 | 客户分群 |
| Reinforcement | 尝试后得到的奖励 | 机器人行走、游戏、能源控制 |
要点
- DRL = 试错 + 序列性、评价性、采样性的反馈 + 神经网络
- 主要挑战:样本效率、有效探索和安全性
- 把重要决策交给机器时务必谨慎
- #DeepRL
- #ReinforcementLearning
- #PythonສຳລັບຄົນLaos
- #AI
- #ບອກຕໍ່ຄວາມຮູ້