新聞語料庫中基于概念網(wǎng)絡的詞語相關度計算.pdf

1、詞語相關度是用來衡量兩個詞語相關程度的一個可度量的數(shù)值,詞語相關度計算研究是在自然語言處理的眾多應用中的基本研究方向,詞語相關度計算方法水平的提高對于自然語言處理的很多方面有重要的意義,例如文本聚類、語義消歧、語義Web、信息檢索等,但是當前詞語相關度計算只是單純的通過統(tǒng)計或語義詞典來計算兩個概念之間的相關度,沒有將兩種方法結合起來,同時不能體現(xiàn)概念之間的隱式關系。本文提出一種新的在新聞語料庫中基于概念網(wǎng)絡來計算詞語相關度的方法。

2、>　　 目前大多數(shù)計算詞語相關度主要有兩種方法,一種方法是利用統(tǒng)計,通過詞語的共現(xiàn)頻率來計算詞語的相關度,主要缺點是通過統(tǒng)計的方法不能準備的反映詞語之間的固有聯(lián)系,造成關系丟失。另一種方法是利用語義詞典,由于語義詞典由專家構建,該方法的主要缺點是不能動態(tài)的反映詞語意義的變化,或及時的引入新的詞語。同時之前的研究方法側重于一對詞語之間相關度的計算,忽略了詞語之間是互相聯(lián)系的。
　　 針對上述缺點,本文提出了相應的解決方案。首先,

3、構建一個新聞語料庫,利用新聞語料庫及時性等優(yōu)點,通過對新聞語料庫中共現(xiàn)詞語的統(tǒng)計來計算詞語的相關度。其次,針對統(tǒng)計的缺點,引入維基百科相關度來對概念的相關度進行矯正,保證詞語之間的固有聯(lián)系,結合上述兩步,提出SWRN-W(single wordrelatedness computation algorithm for news corpus based Wikipedia)算法,然后根據(jù)SWRN-W詞語相關度算法的結果來構建一個概念網(wǎng)絡