基于關(guān)系向量模型的句子相似度計算及自動文摘研究

1、廈門大學(xué)學(xué)位論文原創(chuàng)性聲明本人呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下，獨立完成的研究成果。本人在論文寫作中參考其他個人或集體已經(jīng)發(fā)表的研究成果，均在文中以適當(dāng)方式明確標(biāo)明，并符合法律規(guī)范和《廈門大學(xué)研究生學(xué)術(shù)活動規(guī)范( 試行) 》。另外，該學(xué)位論文為( ) 課題( 組) 的研究成果，獲得( ) 課題( 組) 經(jīng)費或?qū)嶒炇业馁Y助，在( ) 實驗室完成。( 請在以上括號內(nèi)填寫課題或課題組負(fù)責(zé)人或?qū)嶒炇颐Q，未有此項聲明內(nèi)容的，可以不作特別聲明。)

2、聲叭㈣：般7 勿c 夠年J ‘月／< 日摘要句子相似度計算在自然語言處理的各個領(lǐng)域占有很重要的地位，一些傳統(tǒng)的計算方法只考慮句子的詞形、句長、詞序等表面信息，并沒有考慮句子更深層次的語義信息，另一些考慮句子語義的方法在實用性上的表現(xiàn)不太理想。本文在空間向量模型的基礎(chǔ)上提出了一種同時考慮句子結(jié)構(gòu)和語義信息的關(guān)系向量模型，這種模型考慮了組成句子的關(guān)鍵詞之間的搭配關(guān)系和關(guān)鍵詞的同義信息，這些信息反應(yīng)了句子的局部結(jié)構(gòu)成分以及各局部之問的關(guān)

3、聯(lián)關(guān)系，因此更能體現(xiàn)句子的結(jié)構(gòu)和語義信息。以關(guān)系向量模型為核心，提出了基于關(guān)系向量模型的句子相似度計算方法。同時將該算法應(yīng)用到網(wǎng)絡(luò)熱點新聞自動摘要生成算法中，排除文摘中意思相近的句子從而避免文摘的冗余。實驗表明，在考慮網(wǎng)絡(luò)新聞中的句子相似度時，與考慮詞序與語義的算法相比，關(guān)系向量模型算法不但提高了句子相似度計算的準(zhǔn)確率，計算的時間復(fù)雜度也得到了降低。自動文摘研究如何利用計算機(jī)自動地從自然語言文本中提取摘要，摘要中應(yīng)包含原文的核心內(nèi)容或用

4、戶感興趣的內(nèi)容，并以語意連貫的段落乃至篇章的形式輸出。當(dāng)前，基于理解的文摘是在對全文理解的基礎(chǔ)上進(jìn)行的，由于受到知識不足的限制，只能適用于某些較狹窄的領(lǐng)域?；诮y(tǒng)計的機(jī)械文摘根據(jù)文章的外在特征抽取原文中的部分句子作為摘要，當(dāng)前的一些系統(tǒng)獲得了一定的實際應(yīng)用，但是文摘的質(zhì)量不太穩(wěn)定，缺乏句間的連貫性，有時存在摘要冗余。本文介紹了衍生于互聯(lián)網(wǎng)的熱詞概念，并在其基礎(chǔ)上提出了一種基于熱詞權(quán)重和句子特征的自動文摘系統(tǒng)。該系統(tǒng)首先根據(jù)熱詞詞典從文章

5、中獲取熱詞，對熱詞的長度、頻率、熱度屬性進(jìn)行歸一化處理。然后，對于組成文章的每一個句子，按文中提出的擬合函數(shù)計算句子的權(quán)重。同時，為利用標(biāo)題中的有效信息，文中提出了一種標(biāo)題類型的判斷方法，并根據(jù)判斷結(jié)果進(jìn)一步修改句子的權(quán)重。在文章中所有句子權(quán)重處理完畢后，按權(quán)重值從高到低選擇句子組成文章的粗文摘，直到粗文摘長度達(dá)到預(yù)先設(shè)定的值。最后，對粗文摘進(jìn)行了指代和冗余消除，并按句子在原文中的順序依次輸出構(gòu)成最終文摘。網(wǎng)絡(luò)文章的自動摘要實驗結(jié)果表明