基于神經(jīng)網(wǎng)絡(luò)的詞義相似度計(jì)算在文本檢索中的應(yīng)用.pdf

1、近年來(lái)，自然語(yǔ)言處理越來(lái)越火熱，詞義相似度計(jì)算的研究也成為該領(lǐng)域的重要分支。它在信息檢索中的使用非常普遍，也在句法分析中起關(guān)鍵作用。詞義相似度計(jì)算的研究一直有不少優(yōu)秀學(xué)者在進(jìn)行探索，從提出至今已有十多年的發(fā)展歷史，它的定義也越來(lái)越清晰。上個(gè)世紀(jì)末開(kāi)始國(guó)內(nèi)外的學(xué)者對(duì)其進(jìn)行的研究方法大概分為兩種。第一種是根據(jù)大規(guī)模的知識(shí)來(lái)計(jì)算，主要思想是根據(jù)詞語(yǔ)概念層次關(guān)系的語(yǔ)義詞典方法，通過(guò)上下位的聯(lián)系移交同位詞來(lái)做相似度計(jì)算。第二種是利用爬取語(yǔ)料庫(kù)，通

2、過(guò)特征統(tǒng)計(jì)選擇出上下文相關(guān)的語(yǔ)義信息，并對(duì)與關(guān)鍵詞相關(guān)性較強(qiáng)的上下文詞語(yǔ)做概率分布計(jì)算。現(xiàn)如今加入了神經(jīng)網(wǎng)絡(luò)模型對(duì)詞語(yǔ)進(jìn)行訓(xùn)練，以更好地獲取詞的語(yǔ)義以及語(yǔ)法信息，得到更好的詞向量，其中經(jīng)典的模型是CBOW與Skip-gram模型。本文就是將多個(gè)模型進(jìn)行結(jié)合并做算法優(yōu)化以求更好的詞義相似度計(jì)算方法，得到了不錯(cuò)的計(jì)算結(jié)果。
　　作為搜索中很重要的文本檢索在教育、生活各方面發(fā)揮著重要的作用。這是一個(gè)全新的時(shí)代，人們能夠獲取數(shù)量巨大的信息

3、。但是，在這種情況下。一方面人們能夠從這些大數(shù)據(jù)中得到較多的信息;另一方面也是由于大數(shù)據(jù)的背景讓網(wǎng)絡(luò)上的信息變得魚(yú)龍混雜，讓信息變得難以管理的同時(shí)，也增加了人們管理和發(fā)現(xiàn)高價(jià)值信息與資源的難度。于是，擁有一種能使人們快速獲得自己所需要的信息的工具已經(jīng)變成我們的急迫需求。
　　本文的研究是基于神經(jīng)網(wǎng)絡(luò)的詞義相似度計(jì)算及其應(yīng)用。應(yīng)用體現(xiàn)在提升文本檢索的準(zhǔn)確率、召回率與綜合評(píng)價(jià)指標(biāo)。在結(jié)合了前人詞義相似度算法的基礎(chǔ)上提出了新的改進(jìn)算法:

4、改進(jìn)版的基于神經(jīng)網(wǎng)絡(luò)的詞義相似度計(jì)算。本文主要做了以下工作:
　　(1)對(duì)詞義相似度計(jì)算的發(fā)展研究進(jìn)行介紹，對(duì)新興的基于神經(jīng)網(wǎng)絡(luò)的詞義相似度計(jì)算和自己改進(jìn)的算法有詳細(xì)的闡釋。簡(jiǎn)要說(shuō)明了檢索系統(tǒng)的概念、核心技術(shù)以及引進(jìn)了相似度算法的研究。
　　(2)對(duì)維基百科數(shù)據(jù)爬蟲(chóng)，中文分詞，寫程序進(jìn)行文本切分，運(yùn)用前人在詞義相似度計(jì)算方面的經(jīng)驗(yàn)對(duì)算法進(jìn)行改進(jìn)，設(shè)計(jì)出更好的訓(xùn)練模型來(lái)訓(xùn)練詞向量，得到更精準(zhǔn)的詞義相似度數(shù)據(jù)。對(duì)未經(jīng)過(guò)相似度計(jì)算