基于SPARK的中文文本特征提取及分類(lèi)方法研究與實(shí)現(xiàn).pdf

1、隨著數(shù)字化中文文本信息的爆發(fā)式增長(zhǎng)，如何快速有效地挖掘這些數(shù)據(jù)背后的價(jià)值已經(jīng)成為擺在人們面前的一個(gè)挑戰(zhàn)。中文文本分類(lèi)是中文文本處理和分析的關(guān)鍵技術(shù)之一，可以幫助人們解決信息雜亂的問(wèn)題。而當(dāng)數(shù)據(jù)規(guī)模比較大時(shí)，單機(jī)版的分類(lèi)處理會(huì)出現(xiàn)存儲(chǔ)和計(jì)算速度的瓶頸。針對(duì)這個(gè)問(wèn)題，可以借助于目前的分布式存儲(chǔ)和分布式計(jì)算技術(shù)來(lái)解決。HDFS是Hadoop的核心模塊之一，作為一個(gè)分布式文件系統(tǒng)可以很好的滿足分布式存儲(chǔ)的需要。Spark是MapReduce的繼

2、承者，最大的特點(diǎn)就是就是利用內(nèi)存進(jìn)行計(jì)算，因而比MapReduce更快。
　　本文在中文文本特征提取及分類(lèi)方法的工作主要如下：
　?。?）提出新的文本特征選擇方法，并與傳統(tǒng)的特征選擇方法做對(duì)比。該特征選擇方法綜合考慮詞在類(lèi)內(nèi)和類(lèi)間的文檔頻率分布情況，并運(yùn)用統(tǒng)計(jì)學(xué)中的方差思想，刻畫(huà)詞在文本分類(lèi)中的重要程度從而進(jìn)行詞的篩選。
　?。?）研究了基于文檔類(lèi)別向量分布的文本特征表示方法和基于選舉思想的文本分類(lèi)方法。文本特征表示一

3、般采用向量空間模型，在經(jīng)典的文本特征表示方法中，文檔向量的一個(gè)元素對(duì)應(yīng)于該文檔中一個(gè)詞項(xiàng)。而在本文研究的方法中，文檔向量的一個(gè)元素對(duì)應(yīng)于該文檔屬于某一類(lèi)別的概率估計(jì)。為了得到其中的概率估計(jì)，本文探索了兩種方法，一種方法是基于樸素貝葉斯，另一種方法是基于選舉的思想。不像樸素貝葉斯方法存在著獨(dú)立性假設(shè)，基于選舉思想的文本分類(lèi)方法僅僅把詞視作選民，由它們投票決定文檔屬于哪個(gè)類(lèi)別及其類(lèi)別向量分布。對(duì)于訓(xùn)練集中的每個(gè)詞而言，通過(guò)統(tǒng)計(jì)分析，可以獲得

4、它們屬于各個(gè)類(lèi)別的概率估計(jì)。這種概率估計(jì)可以視作是一個(gè)詞投給各個(gè)類(lèi)別的選票。本文類(lèi)比樸素貝葉斯的兩種文本分類(lèi)模型BIM和MM，提出了兩種選舉策略，此外還考慮了每個(gè)詞具有不同投票權(quán)重的情形。最后，利用以上思路改進(jìn)基于LDA的文本分類(lèi)方法。在傳統(tǒng)的方式中，LDA獲取測(cè)試集的主題向量分布是通過(guò)Gibbs Sampling，存在速度慢的問(wèn)題。本文探索了基于選舉思想的測(cè)試集主題向量分布獲取，并通過(guò)相同的方法重新獲取訓(xùn)練集的主題向量分布，最后再用分