BP神經(jīng)網(wǎng)絡(luò)整體變步長(zhǎng)與個(gè)體變步長(zhǎng)算法的比較研究.pdf

1、神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)稱，ANN）是受到生物神經(jīng)系統(tǒng)傳遞處理信息方式的啟示提出的一種網(wǎng)絡(luò)模型[1]。它是對(duì)生物神經(jīng)系統(tǒng)的一種簡(jiǎn)化和模擬，由許許多多的人工神經(jīng)元通過(guò)有序復(fù)雜的相互連接組成。雖然單個(gè)神經(jīng)元的結(jié)構(gòu)簡(jiǎn)單，功能有限，但是大量的神經(jīng)元高度互連形成的龐大神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的信息傳遞和處理能力。
　　BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)是一種典型的前饋型神經(jīng)網(wǎng)絡(luò)。由于其結(jié)構(gòu)簡(jiǎn)單、BP算法易于實(shí)現(xiàn)，是目前研究最多，應(yīng)用

2、最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一[2]。因其擁有強(qiáng)大的非線性函數(shù)映射能力、并行分布式處理能力、自學(xué)習(xí)和自適應(yīng)能力、泛化能力、容錯(cuò)能力，使其在模式識(shí)別、函數(shù)逼近、圖像識(shí)別、航空航天、智能控制、市場(chǎng)預(yù)測(cè)、企業(yè)管理等領(lǐng)域得到了廣泛的應(yīng)用[3]。但是由于標(biāo)準(zhǔn)的BP算法在網(wǎng)絡(luò)訓(xùn)練階段收斂速度慢、易產(chǎn)生波動(dòng)和震蕩，使其在實(shí)際應(yīng)用中受到很大的制約。另外，訓(xùn)練初始點(diǎn)和初始步長(zhǎng)也會(huì)嚴(yán)重影響B(tài)P神經(jīng)網(wǎng)絡(luò)的性能。因此，本文的目的就是要通過(guò)分析和研究解決標(biāo)準(zhǔn)BP算法收

3、斂速度慢的問(wèn)題，并研究不同算法受訓(xùn)練初始點(diǎn)和初始步長(zhǎng)影響的大小，從而為BP神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用掃清障礙以及為實(shí)際應(yīng)用的算法選擇提供依據(jù)。
　　針對(duì)標(biāo)準(zhǔn)BP算法的缺點(diǎn)和不足，本文查閱了大量的相關(guān)文獻(xiàn)資料，分析和總結(jié)了存在這些缺點(diǎn)和不足的原因，并在此基礎(chǔ)上重點(diǎn)比較研究了整體變步長(zhǎng)和個(gè)體變步長(zhǎng)算法的原理及其實(shí)現(xiàn)，通過(guò)4個(gè)實(shí)例在Matlab平臺(tái)上進(jìn)行一系列的仿真實(shí)驗(yàn)，并對(duì)得出的大量數(shù)據(jù)進(jìn)行科學(xué)的數(shù)理統(tǒng)計(jì)分析，最終得出實(shí)驗(yàn)結(jié)論。由于BP神經(jīng)網(wǎng)

4、絡(luò)的性能受到BP算法、激活函數(shù)、歸一化區(qū)間、初始點(diǎn)、初始步長(zhǎng)等諸多因素的影響。因此，進(jìn)行仿真實(shí)驗(yàn)時(shí)采用單一變量，多次重復(fù)實(shí)驗(yàn)求取均值和相對(duì)方差的方法來(lái)進(jìn)行數(shù)據(jù)分析。
　　本文得出的主要結(jié)論:
　　(1)整體變步長(zhǎng)和個(gè)體變步長(zhǎng)算法可以大大加快網(wǎng)絡(luò)訓(xùn)練的收斂速度，并且克服了標(biāo)準(zhǔn)BP算法易出現(xiàn)的波動(dòng)和震蕩現(xiàn)象。
　　(2)整體變步長(zhǎng)算法是一種嚴(yán)格意義上的梯度下降法，而個(gè)體變步長(zhǎng)算法不是嚴(yán)格意義上的梯度下降法。它是把n維的梯度

5、向量沿著n個(gè)相互垂直的坐標(biāo)軸方向進(jìn)行分解，并在這n個(gè)方向上的梯度分量進(jìn)行搜索來(lái)尋找最優(yōu)點(diǎn)。
　　(3)在算法的收斂速度方面，彈性搜索的個(gè)體變步長(zhǎng)算法最快，其次是步長(zhǎng)繼承的整體變步長(zhǎng)算法、坐標(biāo)輪換搜索的個(gè)體變步長(zhǎng)算法、步長(zhǎng)不繼承的整體變步長(zhǎng)算法。
　　(4)在算法受訓(xùn)練初始點(diǎn)影響方面，步長(zhǎng)不繼承的整體變步長(zhǎng)算法受訓(xùn)練初始點(diǎn)影響最小，其次是坐標(biāo)輪換的個(gè)體變步長(zhǎng)算法、步長(zhǎng)繼承的整體變步長(zhǎng)算法、彈性搜索的個(gè)體變步長(zhǎng)算法。