Deep Web數據源發(fā)現與分類研究.pdf

1、Deep Web又稱為看不見的網頁,是指通用搜索引擎由于技術因為無法索引到的那部分信息,Deep Web包含的信息是Surface Web的400～500倍,相比于表層網其信息更有價值。這些信息以自主的、獨立的形式分布在整個網絡中,而且Deep Web數據源是動態(tài)的、不斷變化的,并非所有的網頁表單都是DeepWeb查詢接口,這給Deep Web信息的獲取帶來了困難。使用者可以通過目錄指南、專業(yè)搜索引擎、Deep Web數據庫等方式來獲取

2、Deep Web信息。為了有效的提供這些信息,必須對Deep Web進行數據集成。
　　 本文針對Deep Web數據集成中的數據源發(fā)現和接口分類這兩個重點問題進行了較為深入的研究,主要的研究工作和成果如下：⑴對Deep Web進行了研究,包括Deep Web的定義、數據特性、規(guī)模、存在類型、獲取途徑以及Deep Web數據集成中的關鍵問題。⑵Deep Web查詢接口的判定。在網頁表單特征提取的基礎上加入了啟發(fā)式判定規(guī)則。運用了

3、分類器集成思想,采用Adaboost算法將多個樸素貝葉斯分類器進行累加形成一個強分類器,減弱樸素貝葉斯分類算法中屬性獨立性假設的要求,利用多個分類器之間的差異來改善分類器的整體性能。實驗結果顯示,在查全率和查準率上都達到了90％,取得了較好的判定效果。⑶Deep Web數據源分類。采用ID3算法和C4.5算法相結合的方式,較好的處理了歸納偏置問題和分裂子集樣本數目接近樣本總數引起的增益比率過大問題。實驗結果顯示,在多個領域的分類準確性都

4、有所提高。本文解決方案比較適用于存在共有屬性的領域,在這類領域的分類效果比較好。
　　 本文提出了基于特征與啟發(fā)式規(guī)則相結合的Deep Web查詢接口判定方法,采用Adaboost-Naive Bayes分類器對查詢接口進行判定。在此基礎上采用ID3和C4.5相結合的分類算法對Deep Web數據源分類。實驗表明,在查全率和準確率上都得到了提高。但是,還有很多有意義的問題值得進一步研究,例如:中英文網頁之間的差別；進一步擴展Ad