基于Lucene技術的垂直搜索引擎的研究與實現.pdf

1、隨著Internet和WWW的迅速發(fā)展,Internet上的資源日趨豐富。為了幫助人們在浩如煙海的互聯網中獲取有用的信息,基于Internet的各類信息檢索服務應運而生并得到了迅速發(fā)展。目前人們在互聯網上搜索信息主要是通過Google、百度等通用搜索引擎。一般情況下,通用搜索引擎可以滿足用戶的需求。然而,當用戶只想查詢某一具體行業(yè)或某種主題的相關信息時,這類搜索引擎就會顯得有些力不從心。垂直搜索引擎的出現,正好滿足了這些特定的需求。

2、r>　　針對某一領域、某一特定人群或某一特定需求建立的搜索引擎稱為垂直搜索引擎,它已經逐漸成為人們獲取專業(yè)網絡信息的重要工具。Lucene是一個用Java語言編寫的全文索引引擎工具包,它可以方便地嵌入到各種應用中,實現針對特定應用的垂直搜索功能。
　　網絡爬蟲是垂直搜索引擎的數據來源,它的性能直接影響了信息采集的數量與質量,因此網絡爬蟲是搜索引擎的重要組成部分。Lucene本身沒有提供信息采集的功能,本論文在介紹搜索引擎有關技術和

3、開源網絡爬蟲Heritrix的基礎上,通過對Heritrix進行擴展和改進,實現了一個垂直搜索爬蟲,滿足了特定的信息采集需求。測試結果表明改進后的網絡爬蟲的抓取效率較改進前有明顯的提高。
　　本論文還針對Lucene在搜索結果排序算法方面的不足進行了改進。改進前的Lucene排序算法根據查詢和包含關鍵字的文檔來計算相關度得分,沒有考慮網頁在互聯網中的重要程度,還不能完全適應網頁搜索。改進后的頁面優(yōu)先度排序算法在原有Lucene排序