數(shù)據(jù)完整性模型及評估算法的研究.pdf

1、隨著現(xiàn)代信息技術(shù)的發(fā)展,數(shù)據(jù)信息呈現(xiàn)急劇的增長趨勢,但是數(shù)據(jù)信息豐富的同時(shí),其中往往伴隨著數(shù)據(jù)質(zhì)量問題,質(zhì)量差的數(shù)據(jù)嚴(yán)重地影響了信息在數(shù)字化社會的作用。錯(cuò)誤的理解信息,會給人們帶來極大的損失。因此數(shù)據(jù)質(zhì)量問題是迫切需要解決的問題,數(shù)據(jù)質(zhì)量的相關(guān)問題也成為了研究的熱點(diǎn)。
　　不完整的數(shù)據(jù)的處理是數(shù)據(jù)質(zhì)量問題中常見的問題之一,如何評價(jià)數(shù)據(jù)的完整性,是數(shù)據(jù)質(zhì)量研究中的基本問題之一?，F(xiàn)有的數(shù)據(jù)完整性推理方法不能全面的反映數(shù)據(jù)集合的完整性,

2、同時(shí)需要參考額外的完整性信息?，F(xiàn)有的完整度計(jì)算方法,沒有考慮數(shù)據(jù)集合中的空值可以被集合中其它值填充的特性,因而往往低估了數(shù)據(jù)集合的完整性。本文針對不完整數(shù)據(jù)的完整性計(jì)算問題,提出了一種可以適用于不同應(yīng)用的數(shù)據(jù)完整性計(jì)算模型,這個(gè)模型由屬性值完整性,元組完整性,關(guān)系完整性來刻畫不同粒度的完整性。通過定義不同的計(jì)算函數(shù),可以根據(jù)不同的應(yīng)用來反映三者間的關(guān)系。其中屬性值的完整性是模型的基礎(chǔ)。通過使用函數(shù)依賴,可以判斷屬性值的完整性的真實(shí)情況,

3、因而可以真實(shí)的評估數(shù)據(jù)集合的完整程度。在此模型的基礎(chǔ)上研究了數(shù)據(jù)完整性的評估問題,并形式化地定義了這個(gè)問題,通過分析不同應(yīng)用的限制,給出了這個(gè)問題的下界,當(dāng)給出模型中的具體的計(jì)算函數(shù)時(shí),給出了到達(dá)此下界的精確評估算法。為了應(yīng)對海量數(shù)據(jù)完整性評估的挑戰(zhàn),提出了基于均勻抽樣的數(shù)據(jù)完整性近似評估算法,理論分析表明這個(gè)算法可以滿足任意的相對誤差精度。通過在抽樣方法中采用水庫抽樣機(jī)制,可以提高近似算法評估未知數(shù)據(jù)集合的完整性的效率,并證明了這種機(jī)