不平衡模糊加權(quán)極限學習機及其集成學習方法研究.pdf

1、隨著信息科學技術(shù)的迅猛發(fā)展，數(shù)據(jù)的產(chǎn)生和存儲都變的極為簡單快捷，如何從如此海量的數(shù)據(jù)中提取出有用的信息和知識，成為人們亟待解決的問題。數(shù)據(jù)挖掘技術(shù)應運而生，它的目的就是從大量的數(shù)據(jù)中通過算法搜索隱藏于其中的知識與信息，有效提高了閑置數(shù)據(jù)的利用率。
　　分類任務，即確定樣本屬于哪一預定義的目標類，是數(shù)據(jù)挖掘的核心技術(shù)之一。目前，分類技術(shù)的發(fā)展已經(jīng)趨于成熟，各類算法都有各自的優(yōu)異表現(xiàn)，但是傳統(tǒng)的分類算法多數(shù)是基于平衡數(shù)據(jù)集學習構(gòu)造模型

2、的。而實際應用中存在著大量不平衡數(shù)據(jù)集的情況，即數(shù)據(jù)類別分布嚴重失衡，有價值的樣本所占比例相對較小，如醫(yī)療診斷、識別信用卡欺詐、文本分類和醫(yī)藥檢測。傳統(tǒng)的分類算法在處理不平衡數(shù)據(jù)集時，往往會將少數(shù)類樣本錯分為多數(shù)類樣本類別，導致我們重視的少數(shù)類樣本分類精度很低。
　　極限學習機是近幾年興起的一種快速學習算法，其體現(xiàn)出了訓練速度快、泛化能力強等優(yōu)點。但是，當其用于解決不平衡分類問題時，同樣受到數(shù)據(jù)不平衡分布的影響，從而得出較差的分類

3、結(jié)果。針對這一問題，本文的主要工作如下:
　　(1)類不平衡模糊加權(quán)極限學習機研究:通過結(jié)合不平衡數(shù)據(jù)集的分布特點及極限學習機的構(gòu)造機理，從理論上論證類不平衡分布對極限學習機產(chǎn)生的負面影響，并探討了不平衡比率、類覆蓋、樣本規(guī)模及噪聲等因素對其性能的影響機制。進一步，充分挖掘并耦合訓練數(shù)據(jù)的先驗分布信息，從代價敏感加權(quán)的角度提出了類不平衡模糊加權(quán)極限學習機算法。實驗結(jié)果表明，與加權(quán)極限學習機及幾種傳統(tǒng)的類不平衡極限學習機算法相比，模

4、糊加權(quán)極限學習機可明顯獲得更優(yōu)的分類性能。而與模糊加權(quán)支持向量機系列算法相比，其可獲得與之相當?shù)姆诸愋阅?，但時間開銷卻要更小。
　　(2)基于Bagging集成的類不平衡模糊加權(quán)極限學習機研究:分析了類不平衡模糊加權(quán)極限學習機算法可能存在不穩(wěn)定和過適應的問題，通過引入Bagging集成學習框架，以同構(gòu)集成的方式將FWELM分類器嵌入到Bagging集成學習模型中，構(gòu)造出了Bag-FWELM系列算法。通過實驗證明，Bag-FWELM