面向小樣本的文本分類模型及算法研究.pdf

1、文本數(shù)據(jù)具有高維稀疏的特征，并且數(shù)據(jù)量也在爆發(fā)式增長，這給傳統(tǒng)的機器學習算法帶來了許多困難，具體表現(xiàn)在以下兩方面：其一，對于分類精度較高的分類算法，如支持向量機和人工神經(jīng)網(wǎng)絡等，大多都因為訓練效率、計算資源消耗等瓶頸而無法成功應用于海量數(shù)據(jù)挖掘和在線分類問題；其二，對于具有線性時間復雜度的分類算法，如質心分類器，樸素貝葉斯和邏輯回歸等，其分類精度往往較低。因此，本文針對以上問題展開了一系列研究，研究內容主要包括小樣本數(shù)據(jù)集的提取方法和小

2、樣本數(shù)據(jù)集的分類方法。本文中所指的“小樣本”是維度小、數(shù)量小的樣本。首先，本文研究的小樣本提取方法主要包括特征選擇方法和實例選擇方法，以上方法可以精簡海量數(shù)據(jù)集，從而有效解決以上第一類問題；其次，本文研究了面向小樣本的線性分類模型，試圖從小樣本數(shù)據(jù)集上學習高精度的分類器，從而有效解決以上第二類問題。本文的主要研究內容和創(chuàng)新點如下：
　　提出了一種新的統(tǒng)計指標（LW-index）的方法來評價特征子集，進而評估降維算法。本文所提出的方

3、法是一種“經(jīng)典統(tǒng)計”的方法，基于特征子集計算經(jīng)驗估計來評價特征子集的質量。傳統(tǒng)的特征子集評估是指將給定的特征子集分解為訓練集和測試集，訓練集用于估計分類模型的參數(shù)，而測試集用于估計模型預測的性能。然后，平均多個預測的結果，即交叉驗證（Cross-Validation，CV）。然而，交叉驗證評估往往是的是非常耗時的，需要很大的計算開銷。實驗結果表明本文提出的方法在降維算法評價結果上基本與五折疊交叉驗證方法一致，但計算時間開銷分別是采用SV

4、M（Support Vector Machine）和CBC（Centroid-Based Classifier）分類器的1/10和1/2倍。
　　提出了一種基于序列前向搜索（Sequential Forward Search，SFS）策略的特征選擇算法SFS-LW。文本分類中的封裝式特征選擇算法（Wapper）篩選出的特征對于分類有較高的價值，但是其評價過程伴隨著極大的時間復雜度。為此，本文將封裝式特征選擇算法中常用的前向序列搜索

5、策略（SFS）與LW指標相結合，提出了一種新的過濾式算法SFS-LW。實驗結果表明SFS-LW具有與Wapper方法近似的分類精度，但時間復雜度則有數(shù)倍的改善，其時間消耗接近于現(xiàn)有的過濾式方法。
　　提出了一種線性的自適應支持向量選擇算法（Shell Extraction，SE）。針對傳統(tǒng)分類算法無法應用于海量數(shù)據(jù)集的問題，本文基于向量空間中樣本分布密度不均衡的特點，研究了向量空間中支持向量的識別方法，從而實現(xiàn)了大規(guī)模數(shù)據(jù)集縮減和

6、噪聲過濾。傳統(tǒng)的實例選擇算法大多基于最近鄰或聚類的方法，由于此類方法時間復雜度高，同樣面臨無法應用于海量數(shù)據(jù)集的問題。實驗結果表明本文提出的SE算法不僅在精度上超過了現(xiàn)有算法，并且其執(zhí)行效率遠高于現(xiàn)有的實例選擇算法。
　　提出了一種新的分類模型，即引力模型（Gravitation Model，GM）。文本分類中基于質心的分類算法憑借其簡單高效，已成為應用最廣泛的文本分類算法之一。然而，質心分類算法的精確度過于依賴訓練樣本的分布，當

7、樣本分布偏斜時，質心分類模型不能很好地擬合訓練樣本數(shù)據(jù)，因而分類效果不理想。本文提出的GM模型可以有效解決質心分類模型欠擬合問題，在模型訓練階段，GM為每一個類別定義一個表征該類樣本分布的質量因子，該因子可從訓練樣本中學習得到；在模型測試階段，GM將未知樣本劃分到對其最大引力的特定類別中。
　　提出了一種基于算術平均質心（Arithmetical Average Centroid，AAC）與隨機質量因子學習算法（Stochasti

8、c Learning Mass，SLA）相結合的GM模型學習算法AAC-SLA。實驗結果表明AAC-SLA算法在精度上持續(xù)優(yōu)于原質心分類算法，而且達到了與目前最好的質心分類器類似的性能，同時具有比它更穩(wěn)定的優(yōu)勢。
　　提出了基于最小球算法（Minimum Enclosing Ball，MEB）與隨機質量因子學習算法（SLA）相結合的GM模型學習算法MEB-SLA。MEB算法可以有效避免類別中樣本隨機分布給算術平均質心位置帶來的影響

9、，實驗結果表明MEB-SLA算法要優(yōu)于AAC-SLA算法，并且在小樣本數(shù)據(jù)集上它們都超過了向量機。
　　最后，本文利用提出的SFS-LW算法和SE算法生成了特征維數(shù)和樣本數(shù)量同時為原數(shù)據(jù)集1/10倍的小樣本數(shù)據(jù)集，并采用小樣本數(shù)據(jù)集訓練AAC-SLA、MEB-SLA和SVM算法，實驗表明AAC-SLA算法和MEB-SLA算法的學習/分類精度在大部分數(shù)據(jù)集上只有輕微下降，并持續(xù)超過了SVM算法。
　　本文的研究結論是：（1）在