WEB信息整合平臺設計與實現(xiàn).pdf

1、隨著Internet技術的高速發(fā)展，網(wǎng)絡信息資源的快速增長，網(wǎng)絡已成為人們獲取數(shù)據(jù)的重要來源。面對龐大的網(wǎng)絡資源，搜索引擎為人們檢索提供重要的技術手段。然而，傳統(tǒng)的搜索引擎是基于單詞的檢索，存在一定的局限性，如搜索結果存在大量無關的網(wǎng)頁、由于轉載而造成信息內容雷同等。因此，極有必要對網(wǎng)絡信息資源進行整合，以幫助人們從海量網(wǎng)絡資源中，提煉出人們所關心的特定信息，并對數(shù)據(jù)重新整合與統(tǒng)一的展現(xiàn)。本文的主要研究工作就是整合WEB資源信息，使互聯(lián)

2、網(wǎng)用戶能夠快速準確地搜尋到自己需要的信息。
　　本文首先對WEB信息整合中的相關理論和技術研究，包括信息整合兩種方法、三大組成模塊以及四種關鍵技術等。并在設計過程中對各模塊涉及知識做全面綜述，包括本體概念、網(wǎng)絡爬蟲、信息抽取、資源描述框架等。其次，設計并實現(xiàn)了一種WEB信息整合平臺原型系統(tǒng)，該系統(tǒng)以本體為指導。設計了系統(tǒng)總體結構框架模型，系統(tǒng)由4大模塊組成：數(shù)據(jù)采集、信息抽取、存儲模型、前臺呈現(xiàn)。提出了基于本體和搜索引擎聚焦網(wǎng)絡爬

3、蟲，基于本體的頁面分析過濾算法，基于本體和DOM樹路徑的信息抽取規(guī)則，以及基于RDF的數(shù)據(jù)存儲模型和基于B/S前臺結果呈現(xiàn)等一系列設計方案。通過該信息整合平臺，用戶可以設置需要整合的領域信息，系統(tǒng)能夠檢索并整合出互聯(lián)網(wǎng)中相關領域資源，并將結果以統(tǒng)一的、結構的、形象的展示給用戶。該系統(tǒng)不需要對不同數(shù)據(jù)源分別建立包裝器，而是作用域整個互聯(lián)網(wǎng)之上，能夠融合互聯(lián)網(wǎng)中多種異構資源。最后，對WEB信息整合平臺做了綜合測試，包括爬蟲的效率與抓取量測試