信息檢索中的排序與相關度計算研究.pdf

1、隨著社會信息化進程的不斷發(fā)展，人們對信息的需求和依賴程度越來越高，如何從海量信息中快速有效的獲取有用信息，已經成為人們研究的焦點。信息檢索的研究可以幫助人們有效的找到感興趣的信息，幫助用戶發(fā)現(xiàn)對自己有用的知識。 信息檢索的核心問題就是預測文檔的相關度，并按照其相關度對文檔進行排序，一般而言，排在最頂端的文檔被認為最相關。因此，相關性的計算和排序算法就成為信息檢索的核心。傳統(tǒng)的信息檢索主要采用向量空間模型計算相關度，該模型也多用于

2、Web信息檢索。但Web網頁與普通文檔相比，有很多獨特的特征，如單個Web網頁具有URL、HTML Tag、Anchor Text、入度：同時Web網頁之間具有超鏈接，分析這種超鏈接關系，可以改進檢索結果的排序效果。而Deep Web是一種特殊的Web資源，其信息存儲在數據庫中，用戶只能通過一些含表單的網頁對其訪問，但是這些網頁中所含內容較少，網頁之間鏈接關系較少，若采用一般的Web檢索相關度計算方法，會得到很差的效果。 本文的

3、研究主要著眼于Web和Deep Web信息檢索領域，有以下幾個方面的貢獻： 1.實現(xiàn)了一個基于向量空間模型的全文檢索系統(tǒng)，對如何利用Web網頁的HTML 標簽、錨文本、入度特征來改進相關度計算進行了研究。并針對Web網頁的URL特征，給出了對檢索結果重排序的方法。該系統(tǒng)在國內文本檢索會議(SEWM2007)中表現(xiàn)較好，取得了一定的成績。 2.針對Web網頁之間的鏈接特征，提出了一種面向主題的頁面重要度計算方法，新算法基于

4、PageRank超鏈接分析算法，考慮了網頁內容與主題的相關度、主題信息對網頁間鏈接的分類和web頁面自身重要度等因素對網頁重要度計算的影響。實驗證明針對具體領域，該算法在P@10和用戶滿意度等方面優(yōu)于PageRank算法。 3.給出了計算Deep Web數據庫之間語義相關度的兩種算法。第一個算法基于向量空間模型，但在計算數據庫表之間的語義相關度時，綜合考慮了含有數據庫表的網頁內容和數據庫表之間的語義距離。且利用模糊分層集合，把同