面向主題的多源Web上結構化數據集成的研究與實現.pdf

1、隨著Internet的不斷發(fā)展，Web數據逐漸成為人們關注的焦點。Web上擁有著大量有價值的數據，其中Web源上的結構化數據就是其中之一。Web源上的結構化數據是指將Web源上的網頁數據經過特定規(guī)則抽取后存儲到數據庫中的數據。如何對多個Web源上的結構化數據加以整合利用，即對多源Web上的數據進行集成，成為被人們廣泛關注的研究領域。然而，Web上的結構化數據是Web數據的一種，它具有Web數據的特點，由于它存儲于數據庫中，也具有了數據庫

2、中的某些特點，與此同時，它是面向某個領域的，因此也具有了某個領域的數據特點，這些特點給其數據集成造成了諸多困難，本文研究的就是如何對多個Web源上異構的結構化數據進行集成。
　　本文在研究Web數據集成的基礎上，針對多源Web上結構化數據的特點，提出了一種基于領域知識庫的數據集成的實現方法。領域知識庫為領域知識的共享和基于知識的推理提供了基礎。本文的主要工作包括以下幾個方面:
　　首先，針對多源Web上結構化信息的特點，給出

3、了領域知識庫的構建方法并初步建立了核心領域知識庫。以手機領域知識庫為例，在得不到領域專家大力支持的情況下，利用采樣、統(tǒng)計方法獲取相關的核心領域知識;針對多Web源上手機數據的語義異構問題，提出了一種基于有序前綴樹聚類的方法，對手機屬性進行聚類，挖掘出領域知識之間的各種關系;在領域知識及其之間的關系基礎上，基于本體的思想和構建方法構建領域知識庫。
　　其次，基于構建的領域知識庫實現了對多個Web源上的結構化數據集成。以手機數據集成為

4、例，集成過程包括數據加載、數據預處理、實體識別、合并重復實體和數據輸出。在合并重復實體過程中，對要合并的數據進行了特殊的分詞與組詞，定義了同義詞與反義詞，改進了相似度比較算法Jaccard系數法，并提出了兩種合并方法:基于Web數據資源的合并方法和基于相似度合并方法。
　　最后，針對Web數據的海量性特點，提出了基于MapReduce框架來解決海量Web數據集成問題。
　　本文應用上述所提到的技術，實現了一個原型系統(tǒng)，并在原