基于SVM的多類文本分類算法及其應(yīng)用研究.pdf

1、隨著通信技術(shù)和計算機(jī)技術(shù)、尤其是Internet的飛速發(fā)展,各種各樣的信息成幾何級數(shù)增長,作為傳統(tǒng)信息載體的文本信息更是如此。為了能在海量的文本中及時準(zhǔn)確地獲得有效的知識和信息,文本表示技術(shù)以及文本自動分類技術(shù)受到了廣泛的關(guān)注。SVM作為一種基于統(tǒng)計學(xué)習(xí)理論的新型機(jī)器學(xué)習(xí)方法,較好地解決了非線性、高維數(shù)、局部極小點等實際問題,是機(jī)器學(xué)習(xí)領(lǐng)域新的研究熱點。文本分類是基于內(nèi)容的自動信息管理的核心技術(shù)。文本向量稀疏性大、維數(shù)高、特征之間具有較

2、大的相關(guān)性,支持向量機(jī)對于特征相關(guān)性和稀疏性不敏感,處理高維數(shù)問題具有較大的優(yōu)勢,因此,支持向量機(jī)非常適用于文本分類問題,在文本分類中具有很大的應(yīng)用潛力,更是當(dāng)前的一個研究熱點。本文主要針對支持向量機(jī)在文本分類等實際應(yīng)用中存在的問題進(jìn)行深入研究,主要工作如下：首先,本文研究分析文本分類的總體模型,包括信息預(yù)處理、特征表示、特征提取。重點研究分析了特征表示與特征提取技術(shù),文本的分類算法。支持向量機(jī)是針對兩類分類問題提出的,如何將其有效地推

3、廣到多類分類仍是一個尚未完全解決的問題。本文分析了現(xiàn)有多類分類方法的缺陷,接著引出半對半分類分類算法。在此基礎(chǔ)上,根據(jù)樹型支持向量機(jī)的特性,提出了一種基于支持向量機(jī)的半對半多類分類方法。該方法設(shè)計樹型支持向量機(jī)的樹型結(jié)構(gòu),克服其差錯積累問題。實驗表明,與其它支持向量機(jī)多類分類方法相比,該方法具有較高的分類精度和訓(xùn)練速度,提高了支持向量機(jī)在多類分類問題中的應(yīng)用效果。其次,認(rèn)真研究了統(tǒng)計學(xué)習(xí)理論的主要內(nèi)容和SVM算法的基本原理,討論了核函數(shù)

4、這一熱點問題,闡述了SVM研究和應(yīng)用現(xiàn)狀,以及所面臨的問題。并且結(jié)合語義概念空間,提出了一種基于支持向量機(jī)和語義概念空間的HAH多類分類算法。實驗表明,該算法不僅在分類精度方面有所提高,而且大大降低了標(biāo)號數(shù)據(jù)數(shù)目。最后,基于支持向量機(jī)在文本分類中的優(yōu)勢,將支持向量機(jī)方法應(yīng)用于文本分類的特征提取,提出了一種基于支持向量機(jī)的單詞聚類方法。該方法基于支持向量機(jī)度量單詞對分類的貢獻(xiàn)大小,將對分類貢獻(xiàn)一致的單詞合并起來作為文本向量的一個特征項。實