使用多分類器進行Deep Web數(shù)據(jù)源的分類和判定.pdf

1、Deep Web數(shù)據(jù)源的發(fā)現(xiàn)及其領(lǐng)域相關(guān)性越來越引起人們的關(guān)注和興趣。針對在判別查詢接口時，提取精度低和忽略領(lǐng)域相關(guān)性的問題，提出了一種采用多分類器對Deep Web數(shù)據(jù)源進行自動分類和判別的方法：將Deep Web數(shù)據(jù)源的發(fā)現(xiàn)過程階段化，每個重要的階段使用有效的分類器對其進行處理。本文給出了數(shù)據(jù)源發(fā)現(xiàn)的框架圖，并根據(jù)TEL-8 Query Interfaces提供的數(shù)據(jù)和一些收集數(shù)據(jù)實現(xiàn)了數(shù)據(jù)源發(fā)現(xiàn)的框架，并對其效率進行了評估。本文主

2、要研究內(nèi)容包括以下四個方面： (1)對國內(nèi)外Deep Web資源的規(guī)模、結(jié)構(gòu)進行了調(diào)查研究，并指出國內(nèi)外對Deep Web資源發(fā)現(xiàn)的新進展。 (2)針對傳統(tǒng)搜索引擎爬蟲程序在Deep Web領(lǐng)域資源發(fā)現(xiàn)上的缺陷，設(shè)計了一個面向查詢表單的聚焦爬蟲，并將強化學(xué)習(xí)的思想用于爬蟲程序?qū)Τ溄拥倪x擇上，實驗表明爬蟲的效率及其準確性有了很大的提高。 (3)采用分步的思想，將Deep Web的資源發(fā)現(xiàn)過程階段化，提出了資源發(fā)現(xiàn)

3、的框架設(shè)計，針對于每個階段的主要任務(wù)，使用有效的分類器對其進行處理，從而最大限度地提高其資源發(fā)現(xiàn)的回報率與準確率。 (4)針對于查詢表單分類器和領(lǐng)域表單分類器所選取的分類特征，設(shè)計了一個表單信息提取器，對表單的結(jié)構(gòu)特征和文本特征進行解析。 本文最后根據(jù)Deep Web數(shù)據(jù)源的分類和判別框架，利用TEL-8 Query Interfaces采集到的查詢接口的數(shù)據(jù)集和自己搜集的非查詢接口的數(shù)據(jù)集對分類器進行訓(xùn)練，并使用表單聚