基于流形學(xué)習(xí)的文本分類方法研究.pdf

1、　　文本分類在信息檢索、文本過(guò)濾、文檔組織等多個(gè)領(lǐng)域有著廣泛的應(yīng)用。在文本分類中，通常用特征詞向量來(lái)表示文本數(shù)據(jù)，由于特征詞較多導(dǎo)致文本數(shù)據(jù)的維數(shù)過(guò)高，經(jīng)常達(dá)數(shù)千甚至數(shù)萬(wàn)。利用現(xiàn)有的分類方法處理這些高維的文本數(shù)據(jù)時(shí)會(huì)產(chǎn)生維數(shù)災(zāi)難的問(wèn)題，不僅分類效率低，而且精度也不高。為此，將流形學(xué)習(xí)應(yīng)用于文本分類中，利用流形學(xué)習(xí)算法對(duì)文本數(shù)據(jù)降維，獲取低維數(shù)據(jù)后將其用于分類。本文主要工作如下：
　　首先，提出了一種基于流形學(xué)習(xí)的文本分類方法。將

2、流形學(xué)習(xí)應(yīng)用于文本分類中，通過(guò)流形學(xué)習(xí)對(duì)待分類的文本數(shù)據(jù)做降維處理，獲得的低維數(shù)據(jù)用于文本分類，低維數(shù)據(jù)的維數(shù)比原始文本數(shù)據(jù)要低得多，從而極大地提高了分類的效率。
　　其次，在流形學(xué)習(xí)算法中，當(dāng)在高維空間中求解近鄰時(shí)，采用的歐氏距離存在失效性，不能真正地表示樣本之間的相似程度，造成經(jīng)流形學(xué)習(xí)算法降維后的文本數(shù)據(jù)分類精度降低。針對(duì)這一問(wèn)題，提出了一種新的相似性度量措施——特征詞相交距離。特征詞相交距離表示的是樣本中特征詞相同的部分

3、，也就是樣本與樣本間互相交叉的程度，它可以較好地表示樣本間的相似程度。實(shí)驗(yàn)結(jié)果表明，特征詞相交距離替換歐氏距離后的流形學(xué)習(xí)算法對(duì)文本數(shù)據(jù)降維后，所得到的低維數(shù)據(jù)用于分類時(shí)分類精度得到了極大地提高。
　　最后，將夾角余弦距離和特征詞相交距離相結(jié)合后形成新的距離代替歐氏距離。在實(shí)驗(yàn)中，將夾角余弦距離、特征詞相交距離以及二者結(jié)合分別代替流形學(xué)習(xí)算法中的歐氏距離，利用距離替換后的流形學(xué)習(xí)算法對(duì)文本數(shù)據(jù)進(jìn)行降維，并將降維后的低維數(shù)據(jù)用于分