選擇性集成學習研究與應用.pdf

1、集成學習利用現(xiàn)有簡單學習算法共同解決一個問題，能夠顯著提高一個學習系統(tǒng)的泛化能力，對于未知的對象給出盡可能精確的估計。由于集成學習所具備的優(yōu)勢，近年來對其理論和算法的研究成為機器學習領域的熱點之一。然而，為了獲得滿意的精度，集成大量的基分類器需要大量的存儲空間并且使得預測速度明顯下降，同時由于集成了大量冗余基分類器，影響了學習系統(tǒng)整體的泛化性。2002年，周志華等人研究首先證實，并非所有基分類器參與集成的效果是最好，并且提出了“選擇性集

2、成”的概念。選擇性集成學習是在已生成的多個基分類器的基礎上，基于某種選擇策略只從其中選擇一部分用于構建集成分類器。本文在深入學習選擇性集成研究以及與其相關理論的基礎上，從混合模型方面進行了相應研究，主要完成以下工作:
　　(1)本文提出了將基于聚類的集成修剪和動態(tài)選擇與循環(huán)集成框架相互結合的混合模型。首先基于K-均值聚類算法的集成修剪算法剔除冗余的基分類器。然后，為了避免使用枚舉法并且能夠獲得更好的集成性能，通過改進動態(tài)選擇與循環(huán)

3、集成框架，利用順序選擇策略對處理過的候選分類器集合進行集成學習。在多組實際數(shù)據(jù)集上進行對比實驗，驗證該模型處理二分類問題的有效性。
　　(2)本文將混合模型應用于音樂流派分類，考慮到音樂分類屬于多分類問題，為了提高樂曲的識別精度，利用交叉驗證對基分類器的參數(shù)進行初始化。實驗表明混合模型適合處理音樂流派分類問題，并且通過交叉驗證優(yōu)化參數(shù)進一步提高性能。
　　(3)通過問題轉化方法衍生出應用于多標記分類的混合模型。在多標記數(shù)據(jù)集