神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法研究.pdf

1、隨著神經(jīng)網(wǎng)絡(luò)學(xué)科又一次研究高潮的到來，神經(jīng)網(wǎng)絡(luò)已廣泛應(yīng)用與科學(xué)計算，模式分類，模式提取，金融行業(yè)，國防工業(yè)，航空行業(yè)，智能控制等等。神經(jīng)網(wǎng)絡(luò)不但具備逼近任何非線性函數(shù)能力，而且網(wǎng)絡(luò)的泛化能力很強，從而達到一種函數(shù)映射關(guān)系。正因為神經(jīng)網(wǎng)絡(luò)的以上優(yōu)點，才應(yīng)用十分廣泛。 神經(jīng)網(wǎng)絡(luò)為建立模型提供一種很好的方法。尤其為對于復(fù)雜的，不確定性，信息量很少系統(tǒng)，利用神經(jīng)網(wǎng)絡(luò)能建立輸入與輸出的對應(yīng)關(guān)系，滿足相應(yīng)功能，使系統(tǒng)設(shè)計復(fù)雜度大大減小。

2、 學(xué)習(xí)算法是神經(jīng)網(wǎng)絡(luò)中十分重要的內(nèi)容，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程本質(zhì)上是一個優(yōu)化問題，目前利用的技術(shù)是最優(yōu)化理論中技術(shù)。梯度下降法和改進的梯度下降法，是主要的訓(xùn)練算法。這種算法存在訓(xùn)練時間長，權(quán)值初始化問題，不具備全局尋優(yōu)能力，樣本的遺忘等等。這些問題主要是學(xué)習(xí)算法所導(dǎo)致的。如果能找到一個合適訓(xùn)練算法，以上問題都能迎刃而解。根據(jù)“沒有免費午餐定理”，則需要通過增加訓(xùn)練時間復(fù)雜度和空間復(fù)雜度來，達到要求。 對于復(fù)雜樣本和復(fù)雜系統(tǒng)進行訓(xùn)

3、練，通常需要大量的時間，隨著網(wǎng)絡(luò)復(fù)雜，所需要的訓(xùn)練時間急劇上升，而且訓(xùn)練效果遠遠達到要求。因為隨著網(wǎng)絡(luò)增加所需要計算的向量梯度和Hessian矩陣需要大量時間，于是本文提出將神經(jīng)網(wǎng)絡(luò)模塊化思想。通過數(shù)學(xué)公式達到函數(shù)的映射，本文對傅立葉神經(jīng)網(wǎng)絡(luò)進行建模，并提出了一種更好的學(xué)習(xí)算法。 本文通過對粒子群算法進行研究，提出了將粒子群算法和梯度下降法結(jié)合起來，即利用粒子群算法全局尋優(yōu)思想，NW法初始化網(wǎng)絡(luò)的權(quán)值和速度，利用正則化改變目標函