中文文本關鍵詞提取和文本聚類中聚類中心點選取算法研究.pdf

1、現(xiàn)今文本處理領域研究的熱點是如何方便用戶快速準確的搜索到所需要的文本信息。文本聚類可以提高信息搜索效率，是文本檢索的有效手段。關鍵詞提取和聚類中心點選取是文本聚類研究中的關鍵問題。
　　常見的關鍵詞提取算法可分為三類，基于語義的算法、基于機器學習的算法和基于統(tǒng)計模型的算法?；谡Z義的算法提高了關鍵詞提取的準確率，但是依賴于背景知識庫、詞典等，無法提取出不包含于知識庫的詞或詞組?；跈C器學習的算法提高了關鍵詞提取的準確率，但是訓練樣

2、本、構建模型花費時間長?；诮y(tǒng)計模型的算法原理簡單，不需要訓練樣本，也不依賴于知識庫。常見的聚類中心的選取方式有三種，隨機選取初始聚類中心點、人為指定聚類中心點和根據待聚類點之間的相似度選取聚類中心點。隨機選取的初始聚類中心點中可能包含“孤立點”，聚類結果局部最優(yōu)。人為指定聚類中心點會因為每個人對文本集的了解程度不同而帶有主觀性，不適用于文本集數(shù)量很大的情況。根據待聚類點之間的相似度選取聚類中心點，可以使得選取的聚類中心點分布于各個類中

3、并且盡量接近類中心點，但是計算聚類中心所需時間較長。
　　針對上述問題，本文做了如下研究：
　　（1）本文提出了基于詞或詞組長度和頻數(shù)的關鍵詞提取算法，算法首先提取出中文文本中出現(xiàn)頻數(shù)較大的詞或者詞組，然后根據提取出的詞或者詞組的長度和在文本中出現(xiàn)的頻數(shù)篩選出該文本的關鍵詞。與現(xiàn)有的算法相比，本文提出的算法不依賴于背景知識庫、詞典等，可以提取出文本中的音譯詞和網絡新詞，無需通過對訓練樣本的訓練獲得統(tǒng)計參數(shù)，構建模型。

4、　　實驗顯示本文提出的關鍵詞提取算法，關鍵詞提取的準確率較高，提取出的關鍵詞可以反映出該文本的主題。
　　（2）本文提出了基于文本之間相似度的聚類中心點選取算法，算法首先根據給定的文本集以及文本集中各個文本對應的關鍵詞序列，構建向量空間模型，接著計算各個文本與其他文本之間的相似度，最后依據各個文本與其他文本之間的相似度篩選出聚類中心點。與現(xiàn)有的算法相比，本文算法選取的聚類中心點與較多的文本之間存在相似性且相似度值較大，同時相互之間