基于截斷協(xié)方差矩陣的高維稀疏判別分析.pdf

1、近年來，隨著互聯(lián)網等科學技術的飛速發(fā)展，在社會調研、基因生命科學等領域每天都會收集到海量的數據，如何從如此多的數據中提取出有用的信息已經成為人們面臨的新挑戰(zhàn)。在這種需求下，數據挖掘技術應用而生。分類作為數據挖掘技術的一個重要分支，在圖像分類、行為模式識別等領域中有著極其重要的應用。目前，如何利用已知樣本的信息來有效分類的研究與應用已經引起了學術界的關注。但是隨著數據維數的增大，甚至出現維數p大于訓練樣本的個數n的現象，現在人們稱之為“大

2、p小n”，使得之前的一些經典的判別方法如距離判別、Bayes判別、Fisher判別已經不再適用，因此需要學者更深入的理論分析。
　　事實上，關于高維稀疏數據的判別方法也已經有很多，例如獨立判別法(IR)、Feature Annealed Independence Rule(FAIR)、Nearest Shrunken Centriods Classifier(NSCC)等。這些判別方法都是在Bayes判別法基礎上改進了參數估計的方

3、法或者加入了t-檢驗統(tǒng)計量進行變量選擇。然而，這些方法在估計總體協(xié)方差矩陣時只使用了特性方差的信息，忽略了特性間的相關性，使得判別效果在一些情況下不理想。
　　本文主要利用基于截斷協(xié)方差矩陣的方法，對高維稀疏數據進行分類研究。首先，將經典的Bayes判別與截斷協(xié)方差矩陣的方法相結合，提出了一種新的基于截斷協(xié)方差矩陣的高維稀疏數據的判別分析方法:利用高維協(xié)方差矩陣的稀疏性，使用硬閥值對樣本協(xié)方差矩陣進行截斷，這樣不僅考慮了所有特性的

4、方差，還考慮了相關性較大的特性間的協(xié)方差、將相關性較小或者為零的忽略，使得協(xié)方差矩陣估計與真實值更接近，從而提高判別效果。然后，從理論上給出了截斷協(xié)方差矩陣判別方法錯判率，同時利用數值實驗加以驗證。實驗過程中，利用5-fold Cross-Validation準則，選擇使得錯判比例的平均值最小的截斷閥值作為硬閥值。一方面對來自三種不同形式協(xié)方差矩陣的模擬數據進行判別分析，同時又與其他判別方法(Bayes判別法和獨立判別法)比較100次模