詞語相似度計(jì)算方法研究.pdf

1、自然語言處理最根本的目的就是讓計(jì)算機(jī)能正確處理人類語言,利用計(jì)算機(jī)對(duì)詞語語義進(jìn)行理解是自然語言處理中最為關(guān)鍵的問題。詞義相似度計(jì)算作為語義理解的基礎(chǔ)性工作已被廣泛應(yīng)用于詞義消歧、機(jī)器翻譯、信息檢索、自動(dòng)應(yīng)答等各種領(lǐng)域。
　　 目前詞義相似度的計(jì)算方法主要分為兩個(gè)大類:一類是通過具有一定層次體系的詞典計(jì)算詞義相似度;另一類是利用詞語的上下文獲取詞義信息,從而計(jì)算詞義相似度。第一類方法是將詞語構(gòu)建于一個(gè)具有層次關(guān)系的樹形結(jié)構(gòu)體系詞典

2、中,通過計(jì)算整個(gè)體系中兩個(gè)目標(biāo)詞之間的路徑、上下位關(guān)系、屬性之間的關(guān)系來表征目標(biāo)詞之間的詞義相似度。這種方法過分依賴詞典的設(shè)計(jì),需要完備的層次關(guān)系,因此受人的主觀影響較大。第二種是利用語料中目標(biāo)詞上下文詞語作為目標(biāo)詞詞義的表示,通過計(jì)算兩個(gè)目標(biāo)詞上下文之間的關(guān)系來確定兩者之間的相似度。這類方法受上下文影響較大,同時(shí)會(huì)有數(shù)據(jù)稀疏問題。
　　 本文針對(duì)這兩種方法的優(yōu)缺點(diǎn),通過詞典對(duì)上下文詞語的概念提升,提高了目標(biāo)詞詞義的表示程度,從

3、一定程度上緩解了向量空間模型中的數(shù)據(jù)稀疏問題,并起到良好的降維效果。同時(shí),通過利用上下文詞語獲取詞義表示信息,從詞語的實(shí)際使用環(huán)境出發(fā),真實(shí)反映詞語使用時(shí)的動(dòng)態(tài)詞義。在此基礎(chǔ)上,本文還將相對(duì)詞頻比運(yùn)用于向量空間模型的特征選擇中,進(jìn)一步提高了詞語相似度的準(zhǔn)確性和合理性。
　　 詞義區(qū)分是自然語言處理的另一個(gè)重要內(nèi)容,本文在構(gòu)建詞義相似度計(jì)算模型的基礎(chǔ)上,將該模型運(yùn)用到詞義區(qū)分的計(jì)算中去。通過詞語相似度算法改進(jìn)K-means聚類方法