基于粒子群優(yōu)化的加權樸素貝葉斯分類研究.pdf

1、數(shù)據(jù)挖掘是一個年輕且充滿生機的研究領域。分類是數(shù)據(jù)挖掘研究的內(nèi)容之一。樸素貝葉斯分類是應用比較廣泛的分類方法，是貝葉斯分類法的一種，它可以與決策樹和神經(jīng)網(wǎng)絡分類相媲美。而且在大型數(shù)據(jù)庫應用方面，它也表現(xiàn)出高的準確率和速度。但是樸素貝葉斯需要滿足一個假定，即每個屬性值對給定類的影響獨立于其他屬性值。這種類條件獨立性限制了樸素貝葉斯分類的準確率，因為有些時候有的屬性之間存在著一定的關系，并不滿足獨立性假設。
　　 加權樸素貝葉斯分類

2、是樸素貝葉斯分類的一種擴展，給每個屬性賦予不同的權值，從而削弱類獨立性假設，使其更加滿足實際情況。加權樸素貝葉斯分類的一個關鍵問題是確定權值,因此,本文提出了基于粒子群優(yōu)化的加權樸素貝葉斯（Weighted Naive Bayes based on Particle Swarm Optimization，WNB-PSO）分類算法，采用粒子群優(yōu)化算法來自動搜索權值，并用實驗來說明這種算法確實能夠提高樸素貝葉斯分類的準確率。
　　

3、分類實際上是一個構造模型或者分類器的過程。該過程可以分成兩步進行：
　　 學習和分類。首先把數(shù)據(jù)隨機地分成訓練數(shù)據(jù)和檢驗數(shù)據(jù)。訓練數(shù)據(jù)用于學習階段，通過粒子群優(yōu)化算法來確定權重，而檢驗數(shù)據(jù)用于分類階段，檢驗該算法分類的準確率。準確率在粒子群優(yōu)化的適應度函數(shù)上和分類階段的分類器性能評估上都會用到。在學習階段（或者訓練階段），根據(jù)貝葉斯定理，在給定未知類屬元組的情況下，計算每個類的后驗概率，后驗概率由貝葉斯公式給定，然后把該元組歸屬

4、于最大概率值的那個類。加權樸素貝葉斯算法在后驗概率的式子上添加了權值，使每個屬性的概率獲得不同的比重。對于權值的確定，本文利用粒子群優(yōu)化算法在訓練數(shù)據(jù)上搜索最優(yōu)的權值。在搜索過程中，采用準確率來作為粒子群優(yōu)化的適應度函數(shù)。初始時，設定好粒子群的規(guī)模、迭代次數(shù)，每個粒子的位置為一隨機值，即權重是任意的。在每次迭代中，如果每個粒子的當前位置比歷史最優(yōu)位置的適應度更好，則更新該粒子的歷史最優(yōu)位置為當前位置，同時，對速度也要進行更新。當?shù)螖?shù)

5、或者閾值達到所設定的值時，權值也就找到了。在分類階段，使用找到的權值構造分類器，用檢驗數(shù)據(jù)對分類器進行檢驗，統(tǒng)計正確分類的元組個數(shù)和不正確分類的元組個數(shù)，得到分類準確率，以準確率來評價該分類器，并和樸素貝葉斯分類器得到的準確率進行比較。整個實驗使用的數(shù)據(jù)采用UCI 數(shù)據(jù)集。
　　 文章的主要內(nèi)容如下：
　　 1.回顧數(shù)據(jù)挖掘的發(fā)展歷程，介紹數(shù)據(jù)挖掘的過程、挖掘數(shù)據(jù)的種類、數(shù)據(jù)預處理以及幾種主要的分類算法。
　　

6、2.系統(tǒng)地研究貝葉斯分類，首先介紹相關概率論的一些知識，描述貝葉斯定理，然后介紹樸素貝葉斯分類算法、貝葉斯網(wǎng)絡以及加權樸素貝葉斯分類。
　　 3.描述粒子群優(yōu)化算法，闡述了基本粒子群算法及其改進版本，包括帶慣性權重的算法和帶收縮因子的算法，并進行了代數(shù)分析和解析分析。
　　 4.提出基于粒子群優(yōu)化的加權樸素貝葉斯分類算法，并進行實驗分析。
　　 本文的創(chuàng)造性成果有：
　　 1．建立了貝葉斯分類的一般過程，