Deep Web信息集成若干關(guān)鍵技術(shù)研究.pdf

1、隨著Internet信息的迅速增長，整個Web信息已經(jīng)被各種各樣的可搜索的在線數(shù)據(jù)庫所深化，那些信息被隱藏在Web查詢接口下面，即Deep Web信息。傳統(tǒng)的搜索引擎爬蟲程序由于技術(shù)原因不能索引Deep Web信息。為了方便用戶快捷高效的使用Deep Web信息，Deep Web信息集成的研究已成為一個非常迫切的問題，具有廣泛的應(yīng)用前景和實用價值，已成為近年來的研究熱點。 本文對Deep Web信息集成的研究現(xiàn)狀和發(fā)展趨勢進行了

2、深入的分析。在課題組前期工作的基礎(chǔ)上，就Deep Web信息集成中若干關(guān)鍵技術(shù)進行了研究，這些研究包括了Deep Web數(shù)據(jù)源發(fā)現(xiàn)、Deep Web數(shù)據(jù)源分類聚類、Deep Web數(shù)據(jù)增量抓取策略以及Deep Web模式和數(shù)據(jù)抽取技術(shù)等內(nèi)容。所做的工作和取得的創(chuàng)新成果主要體現(xiàn)在下面五個方面： （1）針對Deep Web數(shù)據(jù)源的動態(tài)性和稀疏分布的特征，提出了一種基于查詢接口聚焦爬蟲的Deep Web數(shù)據(jù)源發(fā)現(xiàn)方法，聚焦訪問那些可能

3、鏈接到Deep Web入口頁面的鏈接，避免訪問下載不必要的頁面。除了考慮Deep Web入口頁面和鏈接本身的特征以外，還考慮了通向目標(biāo)頁面路徑上的特征。實驗結(jié)果表明，該方法可以有效的提高Deep Web數(shù)據(jù)源發(fā)現(xiàn)的效率。 （2）把Deep Web數(shù)據(jù)源按其所屬領(lǐng)域進行組織，方便用戶瀏覽這些有價值的資源，這是Deep Web信息集成的一個關(guān)鍵步驟。本文提出了一種基于查詢接口特征的Deep Web分類方法和基于查詢接口連接圖的Dee

4、p Web聚類方法，從而可以對Deep Web數(shù)據(jù)源按其所屬領(lǐng)域進行自動組織和管理。該方法不需提交查詢采樣Deep Web內(nèi)部數(shù)據(jù)，同時由于Deep Web的接口頁面獲取容易，因此其具有較強的可擴展性。 （3）由于Deep Web是自治的，獨立更新的，因此對于一些應(yīng)用需要周期性的抓取Deep Web內(nèi)容以檢查其更新。由于不同的Deep Web數(shù)據(jù)源或同一個Deep Web數(shù)據(jù)源內(nèi)部數(shù)據(jù)記錄的變化頻率不一，按統(tǒng)一頻率更新所有數(shù)據(jù)是

5、非常浪費資源的。針對該問題本文提出了基于不同粒度的Deep Web數(shù)據(jù)增量抓取策略，其粒度可分為數(shù)據(jù)源和數(shù)據(jù)記錄，根據(jù)不同的應(yīng)用需求可選取不同的粒度。實驗結(jié)果表明，該方法在相同資源約束前提下，可有效提高本地數(shù)據(jù)的時新性。 （4）Deep Web查詢接口和結(jié)果頁面主要是通過HTML語言編寫的，使得Deep Web上的數(shù)據(jù)是半結(jié)構(gòu)化的甚至是無結(jié)構(gòu)的，給Deep Web信息集成帶來了很大的困難。網(wǎng)頁主要是為了方便人們?yōu)g覽從中獲取有用的

6、信息，而不是被計算機自動處理，因而獲取頁面的視覺信息可以從某種程度上模擬人類的行為對頁面進行識別。本文提出了一種基于視覺特征的Deep Web模式和數(shù)據(jù)自動抽取方法，該方法使用Deep Web頁面的視覺特征，避免了傳統(tǒng)基于DOM樹的方法依賴于HTML的定義，并且頁面可以是HTML語言或任何其它語言描述的，包括非規(guī)范HTML語言描述，因此該方法具有較強的適應(yīng)性。 （5）根據(jù)所研究的關(guān)鍵技術(shù)和實際應(yīng)用需求，提出了一個面向Deep W