基于粒計算的神經網(wǎng)絡及集成方法研究.pdf

1、基于數(shù)據(jù)的機器學習是數(shù)據(jù)挖掘技術中的重要內容，它主要研究從觀測數(shù)據(jù)出發(fā)尋找規(guī)律，并利用這些規(guī)律對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進行預測。粒計算理論是解決復雜問題的有效方法，它通過對復雜數(shù)據(jù)進行?；?，可將它轉化為若干較為簡單的問題，從而有助于我們對復雜問題的分析與求解。其思想實質是用簡單易求、低成本的足夠滿意近似解替代精確解，已成為人工智能、軟計算和控制科學等領域的研究熱點之一。具體地講，凡是在分析問題和求解問題中，應用了分組、分類和聚類手段

2、的一切理論與方法均屬于粒計算的范疇。
　　人工神經網(wǎng)絡是數(shù)據(jù)挖掘的另一種經典方法，是模擬生物神經網(wǎng)絡的計算機智能系統(tǒng)，也是軟計算技術之一。由于人工神經網(wǎng)絡具有信息的分布存儲、并行處理以及自學習能力等優(yōu)點，所以它在信息處理、模式識別、智能控制等領域有著難以估量的應用價值。而神經網(wǎng)絡集成通過訓練多個神經網(wǎng)絡并將其結論進行結合，從而達到大幅提升網(wǎng)絡泛化能力的效果。粒計算在某種程度上對神經網(wǎng)絡都具有一定的補充，融合這兩種理論，研究粒計算下

3、的神經網(wǎng)絡及集成能夠較好地解決復雜數(shù)據(jù)問題，具有重要的現(xiàn)實意義。
　　本文主要研究了基于粒計算的神經網(wǎng)絡模型及其算法和基于粒計算的神經網(wǎng)絡集成（Neural Network Ensemble，NNE）模型及其算法。本文的主要研究內容包括以下幾個方面：
　　1．研究基于領域覆蓋和AP算法的神經網(wǎng)絡分類學習模型及其算法。AP（Affinity Propagation，AP）聚類算法無需事先定義類數(shù)，在迭代過程中不斷搜索合適的聚類

4、中心，自動從數(shù)據(jù)點間識別類中心的位置及個數(shù)。AP算法是一種確定性的聚類算法，多次獨立運行的聚類結果一般都十分穩(wěn)定。覆蓋算法具有可理解性強、計算速度快、識別率高等優(yōu)點，但它用隨機的方法從數(shù)據(jù)集中選取一部分數(shù)據(jù)作為訓練樣本集，學習的順序在覆蓋算法中直接影響覆蓋領域的大小和個數(shù)，對學習的效果影響很大。用AP聚類方法作為覆蓋算法的前端處理器對復雜數(shù)據(jù)樣本進行聚類，無需預先定義覆蓋的數(shù)量，自動地確定領域覆蓋的中心和半徑，完成由輸入到輸出的映射。引

5、入AP聚類算法解決了覆蓋算法初始領域中心隨機選取的問題。
　　2.研究基于商空間粒度聚類的個體神經網(wǎng)絡生成和集成方法。AP聚類算法對于偏向參數(shù)P值的選取比較關鍵，這個值的大小，直接影響著最后的聚類數(shù)量。引入商空間理論，運用粒度的分解與合成原理，調整聚類后的粒度，力求尋求適合領域問題的最優(yōu)粒度。在此基礎上，用不同類別的樣本訓練不同的個體神經網(wǎng)絡，產生差異度較大的個體神經網(wǎng)絡。個體神經網(wǎng)絡的數(shù)目等于樣本類別數(shù)目，確定NNE的結構。根據(jù)

6、輸入數(shù)據(jù)與樣本類別之間的相關程度自適應調整集成權值，提高NNE的集成精度。
　　3．研究基于二次聚類的個體神經網(wǎng)絡生成方法。NNE中個體網(wǎng)絡之間的差異度對NNE的泛化性能至關重要，為了提高個體神經網(wǎng)絡的精度及差異度進而提高NNE的性能，通過變換網(wǎng)絡的訓練數(shù)據(jù)，使得樣本能夠反應真實的數(shù)據(jù)分布，增加訓練數(shù)據(jù)間的差異以此增大網(wǎng)絡間的差異度，進而提高NNE的性能。首先用交叉驗證方法劃分原始數(shù)據(jù)集，接著對所有樣本進行聚類，得到第一次聚類樣本

7、子集，然后對每一類樣本子集進行二次聚類得到每一子類的樣本子集，通過AP聚類使得“類內相似，類間相異”的準則最大化，類內樣本能夠反應真實的數(shù)據(jù)分布，最后按照排列組合的方式從二次聚類的每個樣本子集中選取一類樣本構成訓練集。交叉驗證方法從多個角度學習樣本，訓練樣本和驗證樣本都盡可能參與學習，避免陷入局部最小值，能夠取得較好的效果。這樣在網(wǎng)絡的訓練過程中，對每一個子網(wǎng)的訓練集都采用不同的方式進行選?。；褂柧殬颖灸軌蚍从吃紭颖菊鎸嵉臄?shù)據(jù)

8、分布，增加訓練數(shù)據(jù)間的差異以此增大網(wǎng)絡間的差異度，用這種方法產生的個體神經網(wǎng)絡進行集成具有較高的性能。
　　4．研究多側面多粒度神經網(wǎng)絡集成優(yōu)化方法。根據(jù)人類認知復雜事物時分側面、多角度考慮最后權衡作出判斷的分而治之的思想，結合特征選擇算法，從多個側面劃分數(shù)據(jù)集的屬性粒，在不同屬性粒和對應的樣本子集上構造多個多粒度個體神經網(wǎng)絡參與集成，從多側面、多角度變換訓練數(shù)據(jù)集劃分屬性粒及其對應的樣本子集，構建差異度較大的個體神經網(wǎng)絡，通過計