基于主題的搜索引擎的研究與實現(xiàn).pdf

1、由于Web海量的信息處于不斷的變化中，搜索引擎已經(jīng)很難再為用戶提供一個高質量的、全面并且更新及時的信息搜索服務，其局限性在于它試圖索引全部Web信息并服務于所有主題的查詢請求。相比之下，主題搜索引擎只覆蓋與特定主題相關的Web區(qū)域，這樣它搜索的內(nèi)容可以更深，搜索的周期可以更短，因此能滿足用戶對快速、準確的獲取信息資源的要求。目前，基于主題的Web搜索引擎正成為計算機科學界和信息產(chǎn)業(yè)界爭相研究、開發(fā)的對象。 本文首先簡要介紹了搜索

2、引擎及其發(fā)展現(xiàn)狀，分析了存在的優(yōu)缺點；然后通過對當前通用搜索引擎技術的學習和研究，結合基于主題搜索引擎的特點，設計出了基于主題搜索引擎的各個模塊和總體的架構；而后本文分三個章節(jié)詳細分析、設計和實現(xiàn)了該搜索引擎的三大模塊：基于規(guī)則的中文分詞模塊、基于主題的Web信息抓取和Web內(nèi)容的存儲與索引模塊。它們構成了本文的核心部分。通過對基于規(guī)則的中文分詞模塊的設計和實現(xiàn)，創(chuàng)新性地將詞典、詞性、詞頻信息，改進的傳統(tǒng)分詞算法和中文文法篩選規(guī)則結合起

3、來，從而大大提高了分詞的正確率；通過對基于主題的Web信息抓取模塊的設計和實現(xiàn)，在完成了基本的信息抓取的基礎上，還利用動態(tài)Web信息抓取技術解決了Web2.0給傳統(tǒng)信息抓取帶來的困難；通過對Web內(nèi)容的存儲與索引模塊的設計和實現(xiàn)，實現(xiàn)了文檔數(shù)據(jù)的B+樹索引存儲，還通過對CLucene源碼的修改和擴展，將CLucene索引模塊結合進來，實現(xiàn)了擴展性較好、效率較高的中英文Web內(nèi)容的索引和存儲。在文章最后的總結也討論了這些技術及其將來還需進