幾種高階神經(jīng)網(wǎng)絡的梯度算法收斂性分析.pdf

1、在對神經(jīng)網(wǎng)絡進行訓練的過程中，梯度算法被應用得最廣泛。本文主要針對Pi-Sigma、遞歸Pi-Sigma和砒Ridge Polynomial神經(jīng)網(wǎng)絡這幾種不同的高階神經(jīng)網(wǎng)絡，分析各自算法的收斂性、單調性等理論性問題。
　　 第一，對于Pi-Sigma神經(jīng)網(wǎng)絡模型，針對罰函數(shù)的缺點，提出了一種基于乘子法的隨機單點的在線梯度算法。在此過程中，利用最優(yōu)化方法，把約束問題轉化成為無約束問題，使用乘子罰函數(shù)法克服了可能因初始權值選取不當而

2、導致的收斂速度過慢問題。并且從理論上分析證明了本算法的收斂速度--線性收斂，最后的實驗結果說明的此算法是有效性的。
　　 第二，由于傳統(tǒng)的梯度算法收斂速度很慢，所以，文中提出一種將懲罰項加到傳統(tǒng)誤差函數(shù)的梯度算法，以訓練遞歸pi-sigma神經(jīng)網(wǎng)絡，此算法不僅提高了神經(jīng)網(wǎng)絡的泛化能力，且克服了因網(wǎng)絡初始權值選取過小而導致的收斂速度過慢的問題，其收斂速度也得到了很大提高。還從理論上證明了本算法的收斂性，最后，實驗結果也說明了算法是