基于內容和鏈接的主題爬蟲的研究與實現.pdf

1、隨著互聯網的快速發(fā)展，使得Web已經成為一個超大容量的全球化信息庫，如何讓用戶快速的在Web上獲取專業(yè)化、個性化的信息成為了一個熱點問題。現有的通用搜索引擎返回的結果過多且主題性不強，在此情況下，面對特定主題的垂直搜索引擎被提了出來，它能夠為用戶提供更精確、更專業(yè)的信息查詢服務。
　　主題爬蟲是垂直搜索引擎的核心，也是本文研究的主要內容。主題爬蟲的功能就是根據人工預設定的主題關鍵詞和種子鏈接在Web上獲取與主題相關的數據資源。傳統

2、的主題爬蟲策略只根據內容評價或鏈接結構其中一個方面來預測網頁鏈接的重要性，基于內容評價的主題爬行策略只考慮了部分文本信息，對主題相關性判斷較為片面，且沒有考慮鏈接結構的影響;基于鏈接結構的主題爬蟲策略雖然從全局角度計算網頁的重要性，但因為其在爬取過程中沒有考慮鏈接的主題相關性，所以經常會出現“主題偏移”的現象。
　　針對以上不足，本文提出了一種基于內容和鏈接的主題爬蟲，具體內容如下:
　　(1)構建了改進的樸素貝葉斯模型，用

3、于在主題爬蟲的爬取過程中提取網頁關鍵詞。本文以互信息度量模型屬性間以及各屬性與類屬性間的相關性，從而將詞頻、詞位置、詞跨度、詞長、詞性這五個屬性進行聚類，構建了改進的樸素貝葉斯模型，使其滿足屬性間“獨立性假設”條件，改進后的算法具有更高的關鍵詞提取準確度。
　　(2)提出了一種基于文本密度分布的網頁信息抽取方法，此方法不過分依賴于標簽，擁有較好的抽取效果，能夠對爬取的網頁信息進行結構化的信息抽取，分別提取出標題和各段落信息，為后續(xù)

4、提取網頁關鍵詞提供了完善的文本信息。
　　(3)本文利用預設定的主題關鍵詞與當前所爬取網頁的關鍵詞建立向量空間模型，根據余弦定理計算網頁的主題相關性，并將其作為參數帶入到原有的PageRank公式中，實現了對原有PageRank算法的改進，使其能夠考慮鏈接內容更準確的計算當前網頁鏈接的重要性。
　　(4)根據網頁鏈接的重要性判定鏈接的訪問優(yōu)先級，進而將鏈接劃分到對應的高優(yōu)先級URLs隊列或低優(yōu)先級URLs隊列中，同時丟棄無關

5、鏈接，保證了主題爬蟲始終優(yōu)先爬取高質量鏈接，從而提高了爬取效率和準確度。
　　最后，在真實環(huán)境下對所設計的主題爬蟲進行實現，并進行結果分析。為了從多角度驗證本文提出的主題爬蟲的性能優(yōu)勢，首先對改進的樸素貝葉斯算法進行提取關鍵詞的性能測試，結果表明改進后的算法擁有較高的提取準確度。在此基礎上，將提出的主題爬蟲與基于PageRank算法和基于Shark-Search算法的主題爬蟲進行整體的系統性能對比，實驗結果表明，本文提出的主題爬蟲