Web數(shù)據(jù)庫大小估算方法的研究與應(yīng)用.pdf

1、網(wǎng)絡(luò)技術(shù)的不斷發(fā)展,使得Web迅速發(fā)展成為一個(gè)浩瀚復(fù)雜的數(shù)據(jù)源,已成為人們獲取信息的重要途徑。整個(gè)Web可以劃分為Surface Web和Deep Web(又稱為Hidden Web或Invisible Web)兩大部分。Deep Web包含的信息比Surface Web中的信息更豐富、結(jié)構(gòu)化更好、主題性更強(qiáng)。為了更加高效、準(zhǔn)確地利用Deep Web上的海量信息,研究者們已經(jīng)在Deep Web領(lǐng)域開展了大量的研究工作。尤其是在Deep

2、Web數(shù)據(jù)集成方面,積累了相當(dāng)多的研究成果。本文關(guān)注的則是Deep Web研究領(lǐng)域的一個(gè)新問題,即如何估算一個(gè) Web數(shù)據(jù)庫的人小。
　　本文首先介紹了一些Web數(shù)據(jù)庫大小估算方法相關(guān)工作,并指出了其存在的缺陷與不足。然后針對(duì)目前較為完善的基于屬性相關(guān)度的Web數(shù)據(jù)庫大小估算方法的缺陷進(jìn)行了改進(jìn),并提出了一種新的隨機(jī)采樣方法。其主要工作如下:(1)提出了一種基于Zipf分布的Web數(shù)據(jù)庫大小估算方法。該方法通過計(jì)算屬性相關(guān)度,選擇

3、屬性相關(guān)度最小的屬性抽取近似隨機(jī)樣本。根據(jù)該近似隨機(jī)樣本,計(jì)算得到屬性詞分布與樣本大小,并在此基礎(chǔ)上計(jì)算Zipf分布方程,得到屬性值的詞頻,從而估計(jì)Web數(shù)據(jù)庫的大小。該方法是對(duì)基于屬性相關(guān)度的Web數(shù)據(jù)庫隨機(jī)采樣方法存在的缺陷——即使選擇屬性相關(guān)度最小的屬性進(jìn)行隨機(jī)采樣,兩個(gè)屬性還是有一定的關(guān)聯(lián),這就會(huì)給采樣結(jié)果帶來一定的影響,針對(duì)這一缺陷進(jìn)行的改進(jìn),使得對(duì)Web數(shù)據(jù)庫的估算結(jié)果更加準(zhǔn)確。(2)根據(jù)Web數(shù)據(jù)庫的特征,提出了一種新的基