基于VSM模型和特征選擇算法的中文文本自動分類研究.pdf

1、文本分類(TextCategorization)是指根據(jù)文本的內(nèi)容,計(jì)算機(jī)按照某種自動分類算法,把文本判分為預(yù)先定義好的類別。文本分類在信息檢索,信息過濾,基于個性化的信息服務(wù)等方面有著重要用途。隨著數(shù)字化文檔信息總量的快速增長,大規(guī)模文本處理已經(jīng)成為一個挑戰(zhàn)。實(shí)現(xiàn)文本自動分類的基本困難之一是特征項(xiàng)空間的維數(shù)過高,數(shù)量過大的特征項(xiàng)一方面導(dǎo)致分類算法的代價過高,另一方面導(dǎo)致無法準(zhǔn)確地提取文檔的類別信息,造成分類效果不佳。因此,需要在不犧牲

2、分類質(zhì)量的前提下盡可能地降低特征項(xiàng)空間的維數(shù)。
　　 本文研究如何利用向量空間模型(VSM)和特征選擇技術(shù)來有效對文本特征向量空間進(jìn)行降維,減少維數(shù)過高對分類結(jié)果召回率和準(zhǔn)確率的影響。本文針對特征選擇算法中tf-idf無法反映詞匯的重要程度和特征詞的分布情況和互信息沒有考慮特征項(xiàng)出現(xiàn)在文本中的次數(shù)提出改進(jìn)方法,同時還引入測量學(xué)中的區(qū)分度方法來對文本進(jìn)行特征選擇,然后通過SVM分類算法進(jìn)行分析、統(tǒng)計(jì)、學(xué)習(xí),最后得到一個自動的文本分

3、類系統(tǒng)。
　　 本文是在向量空問模型(VSM)的基礎(chǔ)上對中文文本自動分類進(jìn)行研究,研究的主要內(nèi)容和創(chuàng)新點(diǎn)如下:
　　 1.本文針對向量空間模型(VSM)中的tf-idf存在的不足提出了一種改進(jìn)方法,傳統(tǒng)的tf-idf方法無法反映詞匯的重要程度和特征詞的分布情況,改進(jìn)的tf-idf加入了類別中包含詞匯的文本數(shù)及詞匯出現(xiàn)在某一類文本中的次數(shù),改進(jìn)后的tf-idf可以很明了地區(qū)分出特征項(xiàng)的重要程度;
　　 2.為了降維

4、特征向量空間,本文針對特征選擇方法中互信息方法提出了一種改進(jìn)方法,改進(jìn)后的互信息有效的解決了受特征詞條的邊緣分布的影響導(dǎo)致稀有詞的值偏大這個問題,從一定程度上解決了“過度擬合”問題;
　　 3.在降低特征向量空間維數(shù)方法上,本文引入了測量學(xué)上的區(qū)分度方法,一種特征選擇區(qū)分度方法-比例區(qū)分度(CPD)算法,CPD算法可以反映了詞出現(xiàn)在某個類和其他類中的文本數(shù),通過結(jié)合改進(jìn)的tf-idf權(quán)重公式可以選取出更具有代表性的特征項(xiàng),有利于

5、文本分類;
　　 4.本文設(shè)計(jì)了一個中文文本分類系統(tǒng),該系統(tǒng)由預(yù)處理、特征選擇、文本表示、文本分類及評價五個部分組成。預(yù)處理是對訓(xùn)練集文本進(jìn)行分詞,過濾停用詞、數(shù)字等;特征選擇部分采用了文檔頻率、互信息、卡方統(tǒng)計(jì)和改進(jìn)的互信息、比例區(qū)分度幾種方法進(jìn)行比較,并結(jié)合改進(jìn)的tf-idf方法計(jì)算特征項(xiàng)在文本中的權(quán)重;分類部分則是利用SVM分類器進(jìn)行分類。
　　 5.本文所有的實(shí)驗(yàn)都是以中文文本分類語料庫-TanCorpv1.0為