基于進化計算的前向神經網絡學習算法研究.pdf

1、對復雜系統(tǒng)進行仿真及建模研究，一直是系統(tǒng)仿真領域的研究難點和研究熱點。由于系統(tǒng)規(guī)模、環(huán)境、信息以及任務日趨復雜，系統(tǒng)包含嚴重的非線性、不確定性，不確知性和不能預測的突變性等，應用傳統(tǒng)機理的一些建模方法，已幾乎無法建立其精確的數學模型。
　　人工神經網絡通過大量互連神經元之間連接權值的分布存儲來表示網絡的解題知識，具有并行處理、自學習和能以任意精度逼近任意非線性函數等特性。神經網絡具有的這些優(yōu)點使其適宜于復雜系統(tǒng)建模中；但神經網絡在

2、應用中還存在的一些問題，譬如網絡學習局部極小，收斂速度緩慢，網絡結構設計復雜及泛化性能弱等等，神經網絡的這些缺陷阻礙了它在其它領域中應用。神經網絡學習從本質上說是網絡結構與權值的優(yōu)化過程，神經網絡這些局限性都不可避免地會牽涉到網絡學習中的優(yōu)化問題，采用傳統(tǒng)確定性搜索方法已很難有效解決。進化計算是一類模擬生物進化過程與機制求解問題的人工智能技術。與傳統(tǒng)優(yōu)化方法不同，進化計算方法具有智能性和本質并行性兩大特點，它不受對象目標函數連續(xù)可微條件

3、約束，在一些離散、多態(tài)、含噪聲的優(yōu)化問題中更顯示出該方法獨特的優(yōu)勢，進化算法具有的這些優(yōu)點為解決神經網絡自身缺陷提供了一條全新可行途徑。
　　本論文在前人工作基礎上，針對前向網絡在復雜系統(tǒng)建模中亟需解決的若干問題，深入研究了采用進化計算方法改善神經網絡在系統(tǒng)建模中的學習性能，并相應提出了新的方法和實現策略。
　　首先，在網絡結構固定情況下，針對傳統(tǒng)BP學習方法對網絡學習易陷于局部極值、學習精度不高等缺陷，提出一種基于梯度粒子

4、群優(yōu)化神經網絡權值的學習方法。該方法將BP操作作為一算子嵌入到PSO算法中，采用混合交叉訓練方式，在每一代進化過程中都在精英粒子附近再進行BP搜索，獲得精度更高優(yōu)化解，并引導群體快速進化；該方法還引入”變異“思想，對群體粒子位置不給以界限約束，而用新產生隨機粒子取代飛離搜索區(qū)域粒子，減輕算法在進化后期早熟、收斂停滯的缺陷。實驗結果表明該學習方法學習精度高，收斂速度快，在性能上優(yōu)于常規(guī)神經網絡的學習方法。
　　其次，研究了一種前向網

5、絡結構與權值并行調整優(yōu)選方法。針對單一進化算法對復雜優(yōu)化問題存在早熟收斂、優(yōu)化效率低的問題，提出一種粒子群優(yōu)化方法與實數編碼遺傳算法相結合的混合改進遺傳算法(HIGAPSO)。該方法采用混沌序列產生初始種群、非線性排序選擇、多個交叉后代競爭擇優(yōu)和變異尺度自適應變異等改進遺傳操作；并通過精英個體保留、粒子群優(yōu)化及改進遺傳算法(IGA)三種策略共同作用產生種群新個體。理論證明HIGAPSO具有概率為1的全局收斂性，實驗結果也表明該方法顯著提

6、高了算法優(yōu)化性能及其優(yōu)化解的可靠性。在此基礎上，利用HIGAPSO方法并行優(yōu)化前向網絡結構與權值，提出一種基于混合進化策略的網絡結構與權值并行調整優(yōu)選方法，該方法在神經網絡每互聯(lián)節(jié)點連接之間還引入開關系數，由開關系數控制網絡結構，并由網絡連接權值參數決定網絡輸入輸出關系，通過HIGAPSO混合算法搜索空間內優(yōu)選一組最佳開關系數與權值參數組合。仿真結果表明該方法設計的網絡學習精度高，結構更為節(jié)儉。
　　然后，研究了利用粒子群算法對徑

7、向基網絡(RBF)的設計問題，建立徑向基網絡模型關鍵在于確定網絡隱中心向量、基寬度參數和隱節(jié)點數。為設計結構簡單，且具有良好泛化性能徑向基網絡結構，提出了一種RBF網絡的兩級學習新設計方法。該方法在下級由正則化正交最小二乘法與D-最優(yōu)試驗設計結合算法自動構建結構節(jié)儉的RBF網絡模型；在上級通過粒子群優(yōu)化算法優(yōu)選結合算法中影響網絡泛化性能的三個學習參數，即基寬度參數、正則化系數和D-最優(yōu)代價系數的最佳參數組合。仿真實例表明了該方法是一種較