強化學習方法及其應用研究.pdf

1、強化學習是一種重要的機器學習方法。強化學習通過感知環(huán)境狀態(tài)信息來學習動態(tài)系統(tǒng)的最優(yōu)策略，通過試錯法不斷與環(huán)境交互來改善自己的行為，并具有對環(huán)境的先驗知識要求低的優(yōu)點，是一種可以應用到實時環(huán)境中的在線學習方式，因此在智能控制，機器學習等領域得到了廣泛研究。 強化學習的任務就是學習從狀態(tài)空間到動作空間的映射，其本質就是用參數(shù)化的函數(shù)來逼近“狀態(tài)-動作”的映射關系。強化學習中常用算法如Q-學習、TD學習、Sarsa學習的一個共同特點是

2、僅對值函數(shù)進行估計，動作選擇策略則由值函數(shù)的估計完全確定。同時進行值函數(shù)和策略空間逼近的泛化方法基本上都是采用Barto提出的自適應啟發(fā)評價方法(AHC)。該方法在處理具有連續(xù)狀態(tài)空間的問題時，將連續(xù)狀態(tài)空間劃分為確定數(shù)量的子空間，子空間之間不進行泛化，因而會產生狀態(tài)組合爆炸，即“維數(shù)災難”問題。因此需要采取量化的方法，將連續(xù)輸入空間變?yōu)殡x散輸入空間，以降低輸入空間的復雜度。本文采用歸一化徑向基函數(shù)(NRBF)作為局部函數(shù)逼近器用來表示

3、連續(xù)輸入狀態(tài)空間并提出了一種基于NRBF的自適應狀態(tài)空間構建策略。 模糊控制系統(tǒng)具有可讀性強和簡單易行的優(yōu)點，近年來在各個領域獲得了廣泛的應用。在模糊控制器的設計過程中，如何獲得好的模糊規(guī)則和隸屬度函數(shù)一直是個瓶頸問題。模糊規(guī)則和隸屬度函數(shù)一般根據(jù)經(jīng)驗獲得，這使得模糊控制效果往往無法達到最優(yōu)或次優(yōu)。遺傳算法作為一種全局優(yōu)化算法，在優(yōu)化模糊控制器上已得到許多學者的關注，并且在優(yōu)化模糊規(guī)則和隸屬函數(shù)方面取得了成功。本文提出了一種基于

4、遞階遺傳算法的模糊強化學習系統(tǒng)，自適應的調整模糊規(guī)則和隸屬度函數(shù)，提高了強化學習系統(tǒng)的效率。 Agent是對人類個體的仿生，而多Agent系統(tǒng)是對人類社會的仿生。由于學習、交流和協(xié)作是人類的本質特征，所以對多Agent系統(tǒng)中的分布式強化學習問題的研究具有重要意義?，F(xiàn)有的分布式強化學習方法還存在著結構信度分配困難、學習速度慢等缺陷，這些缺陷大大限制了分布式強化學習方法的應用范圍。本文也對分布式強化學習理論進行了系統(tǒng)地研究，并對其存

5、在的部分問題提出了初步的解決辦法。 本論文的主要創(chuàng)新點： (1)針對連續(xù)高維輸入狀態(tài)空間組合爆炸問題，提出一種基于歸一化徑向基函數(shù)(NRBF)的自適應狀空間構建策略。采用歸一化徑向基函數(shù)(NRBF)作為局部函數(shù)逼近器用來表示狀態(tài)空間，結合AHC強化學習方法，根據(jù)delta規(guī)則自動的調整徑向基函數(shù)的大小和數(shù)目，直到可以滿足任務的要求。與傳統(tǒng)的狀態(tài)空間構建策略相比，采用較少的基函數(shù)可以達到很高的性能，該方法具有速度快，穩(wěn)定性

6、高，魯棒性強等優(yōu)點。 (2)提出了一種基于遞階遺傳算法的模糊強化學習系統(tǒng)(HGAFRL)，它是一個基于評價預測的強化學習系統(tǒng)。該強化學習系統(tǒng)由自適應評價網(wǎng)絡AEN，動作選擇網(wǎng)絡ASN和隨機動作修改器(SAM)組成，動作選擇網(wǎng)絡ASN采用基于遞階遺傳算法(HGA)的模糊自適應控制器，它可以利用控制基因刪除多余的模糊集合和控制規(guī)則，并可以增加隸屬函數(shù)的彈性，優(yōu)化了模糊自適應控制網(wǎng)絡的結構和參數(shù)。 (3)提出了一種應用于多Ag

7、ent系統(tǒng)的改進的分布式Q-學習算法。Agent在學習過程中對其它Agent的行為進行觀察與統(tǒng)計，可學習其它Agent的策略并獲知該策略對環(huán)境的影響，確定其報酬函數(shù)和狀態(tài)后繼函數(shù)。改進后的分布式Q-學習算法通過對聯(lián)合動作的統(tǒng)計來學習其它Agent的策略，并利用對其它Agent行動概率估計的方法保證了對聯(lián)合最優(yōu)動作的選擇，在理論上保證了算法的收斂性。 (4)提出了一種多Agent環(huán)境下，通過共享經(jīng)驗策略構建環(huán)境模型(狀態(tài)轉移函數(shù)和