基于語義相似度的論文文本聚類算法研究.pdf

1、面對網(wǎng)絡(luò)上日益增多的論文，如何快速有效地檢索出符合使用者需要的論文成為論文檢索所要面臨的一個難題。目前常用的方法是基于關(guān)鍵詞匹配的方法，該方法查詢速度快，但是沒有解決同義詞、多義詞及詞語概念上下位等問題，檢索效果不盡如人意。如果利用文本聚類技術(shù)，對檢索結(jié)果進行進一步的處理，把檢索結(jié)果集合按照其相關(guān)主題進行劃分，生成不同主題的簇，同時刪除冗余的項，為用戶提供一個清晰的導(dǎo)航。這將大大的有利于用戶發(fā)現(xiàn)自己所需的相關(guān)論文，提高論文檢索的質(zhì)量。

2、 本文改進了一種基于語義相似度的文本聚類算法(TCUSS算法)并將其應(yīng)用于論文文本聚類。改進后的算法提出了一種適合論文文本的特征選擇方法和聚簇描述方法，文本數(shù)學(xué)表示方法和聚類算法通過對TCUSS算法針對論文文本進行一定改進得到。 在特征選擇和聚簇描述中，算法利用論文關(guān)鍵詞能較好的表達文章主題這一特點，結(jié)合WordNet語義詞典，圍繞關(guān)鍵詞所表達的概念進行特征提取，還利用用詞典中的同義詞集和計算特征詞間的語義相似度分別解決了

3、同義詞與多義詞問題；在論文文本數(shù)學(xué)表示方面，本文采用概念列表表示文本；在詞語相似度計算中，用關(guān)鍵詞所在概念節(jié)點代替關(guān)鍵詞，計算概念節(jié)點在WordNet中的語義距離，根據(jù)語義距離計算詞語相似度；文本相似度通過計算特征詞間的相似度獲得；采用了一種基于語義相似度的文本聚類算法，該算法結(jié)合了圖的理論進行聚類分析，避免了算法對聚簇形狀的限制；用特征詞在整個聚簇中出現(xiàn)的詞頻和其在WordNet中包含的信息量來衡量特征詞權(quán)重，選取部分權(quán)重大的特征詞進