基于XML的web數(shù)據(jù)抽取研究.pdf

1、隨著Intemet的快速發(fā)展，Web網(wǎng)頁(yè)的數(shù)量也不斷增加，盡管從網(wǎng)上可以查找到幾乎所有知識(shí)領(lǐng)域的相關(guān)資料，但是對(duì)數(shù)據(jù)的操作和控制卻不盡人意。為了更加有效地利用網(wǎng)絡(luò)資源，從中獲取有用的數(shù)據(jù)資料，研究人員開(kāi)創(chuàng)了web數(shù)據(jù)抽取這一領(lǐng)域。利用數(shù)據(jù)抽取技術(shù)，對(duì)網(wǎng)頁(yè)的結(jié)構(gòu)和數(shù)據(jù)特征進(jìn)行分析，可以抽取出網(wǎng)頁(yè)中用戶感興趣的數(shù)據(jù)，以結(jié)構(gòu)化的形式進(jìn)行集成和保存，以供XML查詢(xún)語(yǔ)言或者SQL語(yǔ)言查詢(xún)，或者供其它的應(yīng)用程序使用。Wrapper是從網(wǎng)頁(yè)中抽取數(shù)據(jù)

2、的程序，構(gòu)造準(zhǔn)確、健壯和通用的Wrapper可以使網(wǎng)頁(yè)免受結(jié)構(gòu)變化的影響，且減少人為參與，但是現(xiàn)有的各種Wrapper有著不同的局限性，在精度、健壯性和通用性方面難以達(dá)到很高的要求。本文利用標(biāo)準(zhǔn)的XML技術(shù)來(lái)解決數(shù)據(jù)抽取問(wèn)題，提出一種基于XML技術(shù)的web數(shù)據(jù)抽取方法。 作者的主要工作如下： (1)XML技術(shù)的發(fā)展使得基于XML的web數(shù)據(jù)抽取方法成為web數(shù)據(jù)抽取的趨勢(shì)，本文對(duì)三種web數(shù)據(jù)抽取方法進(jìn)行了分析和比較。

3、 (2)在詳細(xì)分析和比較數(shù)據(jù)抽取技術(shù)中三種常用的信息定位方法的基礎(chǔ)上，應(yīng)用XPath和XQuery技術(shù)在數(shù)據(jù)轉(zhuǎn)換和定位方面的優(yōu)勢(shì)，提出了基于樹(shù)的絕對(duì)路徑和屬性相結(jié)合的信息定位方法APTA(Absolute Path of Tree &Attribution)，綜合了基于樹(shù)的絕對(duì)路徑的信息定位方法和基于屬性的信息定位方法的優(yōu)點(diǎn)，實(shí)現(xiàn)了對(duì)信息更加準(zhǔn)確的定位。 (3)利用HTML Tidy工具對(duì)待抽取頁(yè)面進(jìn)行清洗，將web數(shù)據(jù)抽

4、取過(guò)程以及改進(jìn)的定位方式放在XML語(yǔ)言編寫(xiě)的配置文件里定義，根據(jù)配置文檔中自定義的元素和結(jié)構(gòu)編程實(shí)現(xiàn)基于XML的web數(shù)據(jù)抽取。 (4)根據(jù)Shared Inlining模型將XML數(shù)據(jù)型的抽取結(jié)果轉(zhuǎn)換為關(guān)系表型數(shù)據(jù)，使得可以利用關(guān)系數(shù)據(jù)庫(kù)已有的理論基礎(chǔ)和應(yīng)用平臺(tái)最大限度地實(shí)現(xiàn)對(duì)web信息的再利用。 (5)雖然本文的基于XML的web數(shù)據(jù)抽取方法的F值還未達(dá)到理想值，但與三種基本的信息定位方法的web數(shù)據(jù)抽取方法相比較，