ເລີ່ມໃຊ້ Neural Network ກັບ RL
ເມື່ອຕາຕະລາງ Q ໃຫຍ່ເກີນ ໃຊ້ neural network ແທນ.
ຕາຕະລາງ Q ໃຊ້ບໍ່ໄດ້ເມື່ອ state ມີຫຼາຍໂພດ. ເຊັ່ນ CartPole ມີ 4 ຕົວແປທີ່ເປັນຈຳນວນຈິງ (ຕຳແໜ່ງ, ຄວາມໄວ, ມຸມ, ຄວາມໄວມຸມ) ຈຶ່ງມີ state ບໍ່ສິ້ນສຸດ.
ທາງແກ້ຄືໃຊ້ neural network ປະມານ Q(s,a) ເຊິ່ງຍັງ generalize ໄປຫາ state ທີ່ບໍ່ເຄີຍເຫັນໄດ້ອີກ. NFQ (Neural Fitted Q-iteration) ແມ່ນຄວາມພະຍາຍາມທຳອິດ: ເກັບຂໍ້ມູນຊຸດໜຶ່ງ, ຄິດໄລ່ target, fit network ຫຼາຍຮອບ ແລ້ວວົນຊ້ຳ.
High-dimensionalstate ໜຶ່ງປະກອບດ້ວຍຕົວແປຫຼາຍ ເຊັ່ນ ຮູບ 84×84 pixel
Continuousມີຢ່າງໜ້ອຍໜຶ່ງຕົວແປທີ່ເປັນຄ່າໃດກໍໄດ້ ເຊັ່ນ ມຸມ 0.0137 rad
ອົງປະກອບທີ່ຕ້ອງເລືອກ
| ສ່ວນ | ທາງເລືອກທີ່ນິຍົມ |
|---|---|
| ຈະປະມານຄ່າຫຍັງ | Q(s,a) ສຳລັບ action ແບບແຍກ |
| ໂຄງສ້າງ network | ປ້ອນ state ເຂົ້າ → ອອກ Q ຂອງທຸກ action ພ້ອມກັນ |
| Target | TD target ແບບ Q-learning: r + γ·max Q(s') |
| ການສຳຫຼວດ | ε-greedy |
| Loss / Optimizer | MSE, Huber · RMSprop, Adam |
2 ບັນຫາໃຫຍ່
- ຂໍ້ມູນບໍ່ເປັນ IID: ປະສົບການທີ່ຕິດກັນມີຄວາມສຳພັນກັນ ແຕ່ optimizer ຄາດຫວັງຂໍ້ມູນ IID
- Target ເຄື່ອນທີ່: target ຄິດໄລ່ຈາກ network ໂຕດຽວກັນທີ່ກຳລັງຖືກອັບເດດ ຄືກັບແລ່ນໄລ່ເງົາຕົວເອງ
ສິ່ງທີ່ຄວນຈື່
- Deep RL = ທຸກຢ່າງທີ່ຮຽນມາ + supervised learning ສຳລັບປະມານຄ່າ
- ບົດ 9 ແກ້ 2 ບັນຫານີ້ດ້ວຍ replay buffer ແລະ target network
- #DeepRL
- #ReinforcementLearning
- #PythonສຳລັບຄົນLaos
- #AI
- #ບອກຕໍ່ຄວາມຮູ້