模式分類中訓練樣本集的構(gòu)造方法研究.pdf

1、模式分類就是指對表征事物或現(xiàn)象的各種形式的信息進行處理和分析,以對事物或現(xiàn)象進行描述、辨認、分類和解釋的過程,是人類以及動物的最基本的智能表現(xiàn)。隨著人類收集和存儲數(shù)據(jù)能力的不斷增長以及計算機運算能力的飛速發(fā)展,利用計算機來分析數(shù)據(jù)進行模式分類的要求越來越廣泛,越來越迫切。近些年隨著研究人員的深入研究,出現(xiàn)了許多優(yōu)秀的分類算法。如人工神經(jīng)網(wǎng)絡(Artificial Neural Network,ANN),支持向量機(Support Vec

2、tor Machines,SVMs)和決策樹(Decision Tree,DT)等。這些算法的出現(xiàn)極大的促進了模式分類技術(shù)在生活中各領(lǐng)域中的應用。然而模式分類研究遠沒滿意的程度。傳統(tǒng)分類算法往往需要訓練樣本充足而且與測試樣本滿足獨立同分有達到令人布。然而現(xiàn)實世界中的分類問題的訓練樣本集往往存在種種不盡如人意的問題,如樣本數(shù)目過少、數(shù)據(jù)分布不平衡、協(xié)方差偏移以及樣本數(shù)目過多,這造成了分類器在分類精度和效率上的不足。因此,提高分類器在各種低

3、質(zhì)量的訓練數(shù)據(jù)集上分類性能就具有極高的理論研究價值。
　　由于分類器對訓練樣本集質(zhì)量的要求比較高,因此合理的進行高質(zhì)量的訓練樣本集構(gòu)造就成為了一個可供選擇的方案。本文針對低質(zhì)量訓練樣本集上的分類問題,開展了以下幾個方面的工作。
　　首先,面向小樣本數(shù)據(jù)分類問題進行訓練樣本集構(gòu)造方法研究,提出了一種基于高斯分布的虛擬樣本生成方法。該虛擬樣本生成方法利用了模式分類中的光滑性假設,在每一個原始訓練樣本周圍利用高斯分布生成一定數(shù)目的

4、虛擬樣本,實現(xiàn)了原始訓練樣本集的有效擴充。由于光滑性假設是模式分類中最為普遍的先驗知識,因此基于高斯分布的虛擬樣本生成方法可以適應更為廣泛的問題并且更能保證生成樣本的真實性。此外本文證明了即便對于光滑性假設不滿足的小樣本分類問題,利用虛擬樣本進行分類學習效果等價于模式分類中的正則化方法。在iris與sonar標準數(shù)據(jù)集上的仿真實驗說明本文算法可以有效的提高分類器在小樣本分類問題上的分類性能。
　　其次,針對不平衡數(shù)據(jù)分類問題進行訓

5、練樣本集構(gòu)造方法研究,利用基于高斯分布的虛擬樣本生成方法對稀少類的原始訓練樣本生成一定數(shù)目的虛擬樣本,降低類間的不平衡度。并證明了即便對于光滑性假設不滿足的不平衡數(shù)據(jù)分類問題,利用基于高斯分布的虛擬樣本生成方法進行平衡化處理之后,分類器的學習效果等價于代價敏感學習。在kdd cup99入侵檢測數(shù)據(jù)集與sonar標準數(shù)據(jù)集上的仿真實驗說明本文算法可以有效的提高分類器在不平衡數(shù)據(jù)分類問題上的分類性能。
　　再次,面向協(xié)方差偏移下的分類

6、問題進行訓練樣本集構(gòu)造方法研究,提出了一種從原始訓練樣本中抽取與測試樣本集合滿足獨立同分布的子集的方法。該方法通過對特征空間進行細化,在子空間進行樣本數(shù)目匹配,能夠使抽取到的訓練樣本子集與測試樣本集近似滿足同一分布。因此在該子集上的學習可以有效的提高分類器的精度。在改造過的UCI標準數(shù)據(jù)集上的仿真實驗說明本文算法可以有效的提高分類器在協(xié)方差偏移下的分類性能。
　　最后,面向大規(guī)模數(shù)據(jù)分類問題進行訓練樣本集構(gòu)造研究,對支持向量機分類

7、器提出了一種改進投影的支持向量預選取方法。首先,對于線性可分問題,利用Fisher線性判別分析計算投影直線;對于非線性可分問題,分別采用如下兩種該方法進行投影直線確定。其一,利用核函數(shù)將原始分類問題映射到高維特征空間,然后計算特征空間的中心向量作為投影直線;其二,利用核Fisher判別分析計算投影直線。其次,從投影直線上選取一定數(shù)目的相鄰區(qū)域的投影對應的樣本作為邊界向量。復雜度分析顯示了該方法具有較低的時空復雜度。在兩個人工數(shù)據(jù)集與一個