改進(jìn)的Elman神經(jīng)網(wǎng)絡(luò)和網(wǎng)絡(luò)參數(shù)優(yōu)化算法研究.pdf

1、Elman神經(jīng)網(wǎng)絡(luò)（Elman Neural Network，ENN）是一種被廣泛使用的反饋型神經(jīng)網(wǎng)絡(luò)。因其具有較強(qiáng)的適應(yīng)時(shí)變特性的能力，非常適合用于時(shí)間序列數(shù)據(jù)的預(yù)測(cè)研究。根據(jù)前人經(jīng)驗(yàn)得出，網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的好壞對(duì)網(wǎng)絡(luò)的性能起著重要的影響。網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)包括網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)設(shè)計(jì)和隱含層節(jié)點(diǎn)數(shù)設(shè)計(jì)等。針對(duì)不同的問(wèn)題需要設(shè)計(jì)不同的網(wǎng)絡(luò)結(jié)構(gòu)，尤其是隱含層節(jié)點(diǎn)數(shù)的確定，尚缺乏嚴(yán)格統(tǒng)一的理論指導(dǎo)。傳統(tǒng)的Elman神經(jīng)網(wǎng)絡(luò)通常采用梯度下降法作為它的學(xué)習(xí)規(guī)則

2、，造成學(xué)習(xí)過(guò)程收斂速度慢，收斂過(guò)程不穩(wěn)定，且容易陷入局部最優(yōu)解。
　　鑒于傳統(tǒng)Elman神經(jīng)網(wǎng)絡(luò)存在的上述問(wèn)題，本文首先對(duì)Elman神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)進(jìn)行了改進(jìn)，提出了一種新型的帶有輸出-隱含反饋機(jī)制的雙隱含層Elman神經(jīng)網(wǎng)絡(luò)（Elman neural network with Double Hidden layers and Output-Hidden Feedback，DHOHF-Elman）結(jié)構(gòu)。然后，本文對(duì)自適應(yīng)遺傳算法

3、（Adaptive Genetic Algorithm，AGA）進(jìn)行了適當(dāng)改進(jìn)，并基于改進(jìn)的AGA提出了一種網(wǎng)絡(luò)參數(shù)優(yōu)化算法，分別優(yōu)化神經(jīng)網(wǎng)絡(luò)的隱含層節(jié)點(diǎn)數(shù)目和初始權(quán)值、閾值。最后，使用提出的這個(gè)網(wǎng)絡(luò)參數(shù)優(yōu)化算法優(yōu)化DHOHF-Elman神經(jīng)網(wǎng)絡(luò)參數(shù)，并將優(yōu)化后的DHOHF-Elman神經(jīng)網(wǎng)絡(luò)應(yīng)用于空氣質(zhì)量時(shí)間序列預(yù)測(cè)。本文的主要工作和創(chuàng)新點(diǎn)可以概括為以下三個(gè)方面：
　　（1）改進(jìn)了Elman神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。基于傳統(tǒng)Elman神

4、經(jīng)網(wǎng)絡(luò)，總結(jié)時(shí)小虎等人提出的OIF-Elman和OHF-Elman的優(yōu)缺點(diǎn)，本文設(shè)計(jì)了一種特殊的輸出層反饋，提出了一種同時(shí)包含內(nèi)部反饋和外部反饋的雙隱含層Elman神經(jīng)網(wǎng)絡(luò)——DHOHF-Elman神經(jīng)網(wǎng)絡(luò)。為了驗(yàn)證提出的DHOHF-Elman網(wǎng)絡(luò)結(jié)構(gòu)的有效性，本文將DHOHF-Elman神經(jīng)網(wǎng)絡(luò)同傳統(tǒng)的Elman神經(jīng)網(wǎng)絡(luò)和時(shí)小虎等人提出的OIF-Elman神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明：本文提出的DHOHF-Elman神經(jīng)網(wǎng)絡(luò)相比

5、其他兩種Elman神經(jīng)網(wǎng)絡(luò)具有更高的預(yù)測(cè)精度和更快的收斂速度。
　?。?）提出了一種基于遺傳算法的網(wǎng)絡(luò)參數(shù)優(yōu)化算法。該網(wǎng)絡(luò)參數(shù)優(yōu)化算法的中心思想是使用改進(jìn)的自適應(yīng)遺傳算法AGA確定DHOHF-Elman網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)和初始權(quán)值、閾值。將隱含層節(jié)點(diǎn)數(shù)和初始權(quán)值、閾值采用不同的編碼方式進(jìn)行編碼，并采用對(duì)應(yīng)的選擇、交叉、變異操作進(jìn)行遺傳進(jìn)化，解碼最優(yōu)適應(yīng)度值對(duì)應(yīng)的染色體個(gè)體即可得到相應(yīng)的隱含層節(jié)點(diǎn)數(shù)和初始權(quán)值、閾值。為了驗(yàn)證本文提出的

6、網(wǎng)絡(luò)參數(shù)優(yōu)化算法的有效性，本文分別對(duì)網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)優(yōu)化算法和網(wǎng)絡(luò)初始權(quán)值、閾值優(yōu)化算法設(shè)計(jì)了兩組對(duì)比實(shí)驗(yàn)進(jìn)行驗(yàn)證。實(shí)驗(yàn)結(jié)果表明：○1使用本文提出的網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)優(yōu)化算法比使用枚舉法找到最優(yōu)或次優(yōu)隱含層節(jié)點(diǎn)數(shù)耗時(shí)更少；○2在訓(xùn)練網(wǎng)絡(luò)之前使用本文提出的網(wǎng)絡(luò)初始權(quán)值、閾值優(yōu)化算法，這個(gè)過(guò)程雖然會(huì)耗費(fèi)大量時(shí)間，但是使用優(yōu)化后的初始權(quán)值、閾值比隨機(jī)獲得的初始權(quán)值、閾值具有更好的效果，能夠使網(wǎng)絡(luò)訓(xùn)練過(guò)程更加平穩(wěn)，避免了陷入局部最優(yōu)解，具有更快的

7、收斂速度和更高的預(yù)測(cè)準(zhǔn)確性。
　?。?）空氣質(zhì)量時(shí)間序列預(yù)測(cè)?；诒疚奶岢龅腄HOHF-Elman網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)參數(shù)優(yōu)化算法，使用空氣質(zhì)量時(shí)間序列數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，預(yù)測(cè)下一時(shí)段臭氧濃度。為了驗(yàn)證方法的有效性，在縱向上，將DHOHF-Elman神經(jīng)網(wǎng)絡(luò)同其他Elman神經(jīng)網(wǎng)絡(luò)（如：傳統(tǒng)的Elman神經(jīng)網(wǎng)絡(luò)和OIF-Elman神經(jīng)網(wǎng)絡(luò)）進(jìn)行對(duì)比實(shí)驗(yàn)。在橫向上，同其他時(shí)間序列預(yù)測(cè)方法（如：灰色預(yù)測(cè)法和NARX神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法）進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)