科技論文關鍵詞抽取技術的研究.pdf

1、本文以萬方數(shù)據(jù)和會議集作為測試語料，重點介紹了基于PAT-Tree關鍵詞的抽取方法和知網(wǎng)在關鍵詞抽取中的應用。首先通過實驗驗證關鍵詞具有的一些特征并介紹了常用的關鍵詞的過濾方法。接著介紹了能夠方便快捷地進行全文串頻統(tǒng)計的PAT-Tree數(shù)據(jù)結構以及互信息。在此基礎上提出了基于PAT-Tree關鍵詞的抽取方法，抽取過程基于從原始文本中得到的統(tǒng)計信息，取出符合篩選條件的字符串?？傮w來說分為四個階段，分別為：對文本進行預處理；在預處理過的文本

2、上建立PAT-Tree，獲取文章詞頻信息；在PAT-Tree上抽取候選關鍵詞；對關鍵詞過濾以及選取關鍵詞。我們把抽取的重點放在了自動過濾符合統(tǒng)計條件的字符串，進一步精選候選關鍵詞上面。我們在精選過程中采用了新的過濾手段，并借鑒了其它方法的優(yōu)點，形成了一套綜合的過濾手段，有效地提高了精確度，減少了計算量。本文的另外一個特色，考慮到會議集是領域語料，特別使用分治法的思想來處理密集計算，高效地建立PAT-Tree，一方面為抽取領域關鍵詞提供了