Deep RL ແມ່ນຫຍັງ?
ໂປຣແກຣມທີ່ຮຽນຮູ້ຈາກການລອງ ບໍ່ແມ່ນຈາກຄຳຕອບທີ່ມີຄົນບອກ.
Reinforcement Learning (RL) ແມ່ນການຮຽນຮູ້ທີ່ agent (ຜູ້ຕັດສິນໃຈ) ລອງເຮັດ action ໃນ environment (ສະພາບແວດລ້ອມ) ແລ້ວໄດ້ຮັບ reward (ລາງວັນ) ກັບຄືນມາ. ເປົ້າໝາຍແມ່ນຊອກວິທີເຮັດໃຫ້ໄດ້ລາງວັນລວມຫຼາຍທີ່ສຸດໃນໄລຍະຍາວ.
ເມື່ອເອົາ neural network ຫຼາຍຊັ້ນ (deep learning) ມາຊ່ວຍປະມານຄ່າ ຈຶ່ງເອີ້ນວ່າ Deep RL.
ເປັນຫຍັງ RL ຈຶ່ງຍາກ: feedback 3 ແບບພ້ອມກັນ
ຕໍ່ເນື່ອງ (Sequential)ຜົນຂອງ action ອາດມາຊ້າ. ຕ້ອງຊັ່ງໄລຍະສັ້ນ ແລະ ໄລຍະຍາວ
ປະເມີນ (Evaluative)ໄດ້ພຽງຄະແນນວ່າດີປານໃດ ບໍ່ມີໃຜບອກວ່າ action ທີ່ຖືກແມ່ນອັນໃດ. ຕ້ອງຊັ່ງການຫາຂໍ້ມູນ ແລະ ການໃຊ້ຂໍ້ມູນ
ສຸ່ມຕົວຢ່າງ (Sampled)state ມີຫຼາຍເກີນກວ່າຈະເຫັນຄົບ. ຕ້ອງ generalize ໄປຫາສິ່ງໃໝ່ ເຊິ່ງ neural network ຊ່ວຍໄດ້
RL ຢູ່ຕຳແໜ່ງໃດໃນ AI?
| ສາຂາ | ຂໍ້ມູນທີ່ໃຊ້ຮຽນ | ຕົວຢ່າງ |
|---|---|---|
| Supervised | ມີຄຳຕອບທີ່ຖືກ (label) | ຈຳແນກຮູບແມວ / ໝາ |
| Unsupervised | ບໍ່ມີ label, ຊອກໂຄງສ້າງເອງ | ຈັດກຸ່ມລູກຄ້າ |
| Reinforcement | reward ຈາກການລອງເຮັດ | ຫຸ່ນຍົນຍ່າງ, ເກມ, ຄວບຄຸມພະລັງງານ |
Deep learning ບໍ່ໄດ້ເປັນສາຂາແຍກ. ມັນເປັນເຄື່ອງມືທີ່ໃຊ້ໄດ້ໃນທຸກສາຂາ ລວມທັງ RL.
ສິ່ງທີ່ຄວນຈື່
- DRL = ລອງຜິດລອງຖືກ + feedback ທີ່ ຕໍ່ເນື່ອງ, ປະເມີນ ແລະ ສຸ່ມ + neural network
- ຄວາມທ້າທາຍຫຼັກ: ຕ້ອງໃຊ້ຂໍ້ມູນຫຼາຍ (sample efficiency), ການສຳຫຼວດທີ່ດີ ແລະ ຄວາມປອດໄພ
- ການມອບການຕັດສິນໃຈສຳຄັນໃຫ້ເຄື່ອງຈັກ ຕ້ອງລະມັດລະວັງສະເໝີ
- #DeepRL
- #ReinforcementLearning
- #PythonສຳລັບຄົນLaos
- #AI
- #ບອກຕໍ່ຄວາມຮູ້