面向Web的XML檢索關(guān)鍵技術(shù)研究.pdf

1、Web作為一個全球化信息空間，蘊(yùn)含著海量的信息和知識。隨著Web上資源的日趨豐富，各種基于Web的信息檢索服務(wù)應(yīng)運(yùn)而生并得到了迅速發(fā)展。實踐證明，Web搜索引擎是一個非常有用的信息檢索工具。但對任一用戶查詢，搜索引擎都將返回成千上萬個所謂的“匹配”文檔，其中可能只有一小部分與用戶的查詢目標(biāo)有關(guān)，而絕大部分毫無關(guān)系。如何組織和消化如此大量的信息，一直是困擾著最終用戶的難題。如何幫助用戶準(zhǔn)確提出信息需求，并快速獲得“滿意”的查詢結(jié)果，從而提

2、高檢索的效率，一直是研究的熱點。盡管目前有大量的研究工作關(guān)注于Web數(shù)據(jù)檢索，但現(xiàn)有的技術(shù)還遠(yuǎn)不能令人滿意。 目前XML已經(jīng)成為表示W(wǎng)eb上多樣性數(shù)據(jù)的事實標(biāo)準(zhǔn)，可以預(yù)見Web上的數(shù)據(jù)將主要以XML形式存在。XML規(guī)范的提出，使得信息的組織更加規(guī)范，使更準(zhǔn)確的信息查詢成為可能。隨著XML獲得越來越廣泛的應(yīng)用以及Web技術(shù)的不斷發(fā)展，如何檢索Web上海量的XML數(shù)據(jù)受到學(xué)術(shù)界越來越多的重視。在對目前國內(nèi)外研究現(xiàn)狀進(jìn)行深入剖析的基礎(chǔ)

3、上，本文提出了一種面向Web的XML信息檢索系統(tǒng)解決方案，對其中的檢索模型、文檔聚類、索引以及檢索等關(guān)鍵技術(shù)進(jìn)行了深入研究。 本文的主要工作可以概括為以下幾個方面： 1.提出了檢索模型X2VSM。針對Web上XML信息檢索的特點，本文對目前信息檢索系統(tǒng)中應(yīng)用最廣泛的信息檢索模型一向量空間模型(VSM)進(jìn)行了擴(kuò)展，提出了適合XML的信息檢索模型X2VSM。與VSM中的關(guān)鍵詞term對應(yīng)，加入相應(yīng)的路徑限定信息，提出了XTe

4、rm的概念；針對XML的元素嵌套的特點，提出邏輯文檔的概念；提出邏輯XML文檔和XML查詢的統(tǒng)一向量表示方法；定義了XTerm的權(quán)重計算方法，并給出了文檔和查詢向量的相似度計算方法。X2VSM支持對XML文檔進(jìn)行內(nèi)容和結(jié)構(gòu)查詢，支持任意嵌套層次的元素作為返回結(jié)果，還支持基于內(nèi)容和結(jié)構(gòu)相關(guān)性的查詢結(jié)果排序，同時繼承和保持了VSM簡單易用等優(yōu)點。 2.研究了XML文檔的聚類。分析和比較了直接和間接的聚類策略，在此基礎(chǔ)上提出一種基于路

5、徑信息的XML文檔間接結(jié)構(gòu)聚類算法PBSC。它沒有直接計算文檔的結(jié)構(gòu)距離，而是采用間接聚類的策略。與其它基于編輯距離的算法相比，具有算法簡單、效率較高以及聚類過程直觀等優(yōu)點。聚類結(jié)果可用于用戶導(dǎo)航以及提高檢索的效果。 3.研究了XML的結(jié)構(gòu)索引問題。提出一種基于廣義后綴樹的XML結(jié)構(gòu)索引PIGST。通過PIGST，把對XML文檔的路徑查詢轉(zhuǎn)換為后綴樹中的字符串匹配，顯著提高了查詢處理效率；對傳統(tǒng)的后綴樹構(gòu)建算法做了改進(jìn)，使之能夠

6、用來創(chuàng)建由路徑集合轉(zhuǎn)換得到的字符串集合的廣義后綴樹；提出了間接包含路徑查詢，即查詢式包含子孫一后代關(guān)系(含有“//”)的高效處理算法。PIGST的構(gòu)造時間復(fù)雜度和空間復(fù)雜度是線性的，只與查詢字符串的長度有關(guān)。 4.研究了查詢處理算法?；谖覀兲岢龅腦ML信息檢索模型X2VSM，提出了一種支持XML元素相關(guān)性計算的查詢處理算法；對傳統(tǒng)的倒排索引進(jìn)行了擴(kuò)展，提出了一種帶Dewey編碼的倒排索引；結(jié)合結(jié)構(gòu)索引PIGST，提出了一種高效