海量數(shù)據(jù)壓縮、操作和查詢處理方法的研究.pdf

1、隨著信息技術的發(fā)展及其在金融、交通、軍事、生態(tài)環(huán)境檢測、Web等領域的應用日益深入，海量數(shù)據(jù)大量涌現(xiàn)，向數(shù)據(jù)庫研究者提出了新的挑戰(zhàn)。存儲介質(zhì)的價格/容量比的迅速下降以及數(shù)據(jù)壓縮方法的使用使得海量數(shù)據(jù)的存儲本身并不是問題。問題是：在有效存儲海量數(shù)據(jù)的同時如何有效地處理海量數(shù)據(jù)上查詢以及更新、刪除等操作。為此，研究者們開始使用數(shù)據(jù)壓縮技術和數(shù)據(jù)庫技術來研究海量數(shù)據(jù)的管理問題，產(chǎn)生了壓縮數(shù)據(jù)庫技術新研究領域。
　　本文以現(xiàn)有關系數(shù)據(jù)庫為

2、基礎，研究適于數(shù)據(jù)庫數(shù)據(jù)隨機存取方式的數(shù)據(jù)壓縮方法（包括索引壓縮方法、海量關系壓縮方法和適于特定數(shù)據(jù)庫應用的海量關系壓縮方法）、適于壓縮數(shù)據(jù)庫的數(shù)據(jù)操作算法、適于壓縮數(shù)據(jù)庫的查詢優(yōu)化方法等。本文的主要研究結果如下：
　　提出了海量多屬性關系的拆分壓縮算法。證明了在海量關系中識別頻繁屬性組合是一個NP完全問題，給出了識別頻繁屬性組合的貪心算法和遺傳算法，證明了拆分壓縮方法的完備性，給出了基于拆分壓縮的海量關系上的查詢處理方法。實驗結

3、果表明拆分壓縮方法能夠有效地壓縮海量關系，并有效地提高數(shù)據(jù)庫的整體查詢性能。
　　提出了頻率向量索引結構的一種壓縮方法，并為其設計了一種有效的存儲結構，并對其壓縮比進行了理論分析。理論分析和實驗結果表明，這種壓縮的索引結構能夠保證查詢結果的完備性并能有效地提高頻率向量的存儲和查詢效率。
　　針對數(shù)據(jù)庫中海量關系的離線存儲特點，給出了海量離線關系的壓縮技術并設計了相應的數(shù)據(jù)操作算法，給出了這種壓縮技術在查詢處理時性能提高的理論

4、下界。理論分析和實驗結果表明，這種壓縮技術能有效提高查詢海量離線數(shù)據(jù)的速度。
　　給出了一個 DNA序列的壓縮方法并設計實現(xiàn)了適于該壓縮方法的存儲結構。該方法能夠有效地壓縮DNA序列且其解壓縮時間是線性的，能夠節(jié)省DNA序列的存儲空間以及下載、傳播DNA序列時所需的網(wǎng)絡帶寬。
　　給出了壓縮多維數(shù)據(jù)倉庫中兩個基于BUC思想的IceBerg Cube算法。這兩個算法可以在無需解壓縮地有效計算Iceberg Cube。算法利用h

5、aving條件中聚集函數(shù)的反單調(diào)性避免了大量不必要的計算。算法的輸入數(shù)據(jù)和中間臨時數(shù)據(jù)均以壓縮形式存在，計算過程中無需數(shù)據(jù)解壓縮，而且在計算過程中數(shù)據(jù)量迅速減小。實驗結果表明，該算法的性能優(yōu)于先計算完整 Cube再利用having條件過濾產(chǎn)生Iceberg Cube的方法，且having條件中聚集函數(shù)能夠有效剪裁掉一些cuboid的計算。
　　提出通過對查詢緩沖池內(nèi)的查詢進行調(diào)度，根據(jù)查詢反饋結果來建立和維護自適應直方圖，有效跟蹤