集成分類學習算法研究.pdf

1、分類是數(shù)據(jù)挖掘中的一項重要任務，分類是先通過類標號已知的數(shù)據(jù)建立模型，然后對類標未知的樣本進行分類。分類正確率是衡量一個分類器性能的重要指標，然而單個的分類器有時不能達到較好的正確率，而集成學習的出現(xiàn)使得這一問題得到改善。集成分類學習是指通過多個分類器來解決同一學習任務，能夠獲得比僅使用單一分類器更好的性能。集成學習成為近年來機器學習領域的一個熱點方向，由于其優(yōu)良的特性，現(xiàn)已在多個領域得到應用，例如行星探測、字符識別、生物認證、Web信

2、息過濾等。
　　目前集成學習的研究內(nèi)容主要包括兩個方面:第一，個體學習器精度不能太低，如果學習精度過低，將導致集成的精度不高；第二，個體學習器之間要有差異性，如果沒有差異性，則集成是沒有意義的。目前已有多種產(chǎn)生差異性的方法，如:基于特征集技術，通過某種策略選取特征子集，可以通過不同的特征集獲取個體間的差異性；基于數(shù)據(jù)技術，采用取樣技術獲取不同訓練數(shù)據(jù)來獲得個體間差異性。然而集成學習還存在著一些未解決的問題，如何設計差異性大的學習器

3、，以及差異性的度量問題。通過對集成學習的深入了解，本文把集成學習應用到分類過程中，在兩大經(jīng)典算法AdaBoost和Bagging的基礎上做了一定的改進。獲得了好的分類性能以及更快的收斂速度。
　　具體來說，本文開展并完成的工作主要包括以下幾點:
　　(1)首先介紹了分類的過程，目前常用的分類算法的基本思想，各種分類算法的優(yōu)缺點，簡要介紹了集成學習的基本概念，分析了兩大代表算法AdaBoost和Bagging的理論基礎，對選擇

4、性集成學習進行了簡要闡述，指出目前集成學習的不足以及發(fā)展方向，為更好的發(fā)展集成學習提供了依據(jù)。
　　(2)為了產(chǎn)生精度更高、收斂速度更快的集成，提出了一種新的標記迭代過程中錯分樣本的AdaBoost算法(MWBoost)，該算法通過在提升過程中，總是把上一個分類器錯分的樣本全部參入到下一個分類器的訓練中，同時在分類正確的樣本中進行重采樣，從而使得后一輪提升中分類器能夠更快速地關注那些難以分類的樣本。該算法在UCI的多個數(shù)據(jù)集上進行

5、了測試，并且與傳統(tǒng)的AdaBoost算法進行了比較，實驗結(jié)果表明新的算法具有更好的分類精度以及更快的收斂速度。
　　(3)為了產(chǎn)生多樣性的分類器，基于模糊聚類思想，提出了一種新的Bagging集成方法F-Bagging?；舅枷胧牵紫劝延柧殧?shù)據(jù)通過模糊聚類思想聚類，然后根據(jù)隸屬度矩陣，如果樣例屬于多個簇的隸屬度差值在一個閾值范圍內(nèi)，那么就把此樣例同時劃分到這幾個簇中，此方法充分遵循了樣例的實際分布，最后把各個子集進行訓練。由于各