濃縮數(shù)據(jù)立方高效實(shí)化和快速查詢方法研究.pdf

1、聯(lián)機(jī)分析處理(OLAP)服務(wù)器中以數(shù)據(jù)立方作為基本的數(shù)據(jù)模型。為了提高OLAP查詢效率，數(shù)據(jù)立方的構(gòu)建成為許多研究的焦點(diǎn)。除了可以利用濃縮數(shù)據(jù)立方來(lái)減少數(shù)據(jù)立方的尺寸，從而大幅減少數(shù)據(jù)立方的計(jì)算時(shí)間與存儲(chǔ)開(kāi)銷(xiāo)外,在應(yīng)用實(shí)踐中，往往還可以通過(guò)預(yù)先將數(shù)據(jù)立方進(jìn)行實(shí)化的方法提高OLAP的查詢響應(yīng)速度。因此,進(jìn)一步研究復(fù)雜數(shù)據(jù)立方的快速計(jì)算方法、濃縮數(shù)據(jù)立方在不同存儲(chǔ)介質(zhì)中的高效實(shí)化方法、以及如何利用實(shí)化數(shù)據(jù)快速響應(yīng)查詢等具有重要意義。

2、　　為了解決層次結(jié)構(gòu)引入到數(shù)據(jù)立方的構(gòu)建中帶來(lái)的問(wèn)題，提出了層次前綴立方的結(jié)構(gòu)。層次結(jié)構(gòu)帶來(lái)了兩個(gè)主要問(wèn)題：一是立方格上的節(jié)點(diǎn)急劇增加，它的模型更加復(fù)雜，為了有效對(duì)其計(jì)算，需要開(kāi)發(fā)新的立方格遍歷方法；二是數(shù)據(jù)立方中需要實(shí)化的元組數(shù)急劇增加，為有效利用空間，需要研究新的存儲(chǔ)模式，以消除各種形式的冗余。結(jié)合基本單元組濃縮與小方內(nèi)前綴共享這兩種方法，就得到了一種新的數(shù)據(jù)立方結(jié)構(gòu)：前綴立方，但是，前綴立方不能直接支持維層次。為此，對(duì)前綴立方組織

3、結(jié)構(gòu)進(jìn)行擴(kuò)展，使之能夠計(jì)算層次數(shù)據(jù)立方，并提出了一種新的結(jié)構(gòu)：層次前綴立方（HierPrefixCube），將層次數(shù)據(jù)立方組織成一組共享前綴簇樹(shù)，從而在數(shù)據(jù)立方尺寸壓縮、數(shù)據(jù)立方元組恢復(fù)以及數(shù)據(jù)立方查詢這幾個(gè)方面求得了平衡。試驗(yàn)結(jié)果表明，層次前綴立方在實(shí)現(xiàn)了基于維層次查詢的同時(shí)，其計(jì)算時(shí)間代價(jià)較低，對(duì)數(shù)據(jù)立方尺寸壓縮的效果也很明顯。
　　預(yù)先計(jì)算并實(shí)化數(shù)據(jù)立方，可大大縮短O(píng)LAP查詢響應(yīng)時(shí)間。但在外存存儲(chǔ)實(shí)化數(shù)據(jù)，仍會(huì)帶來(lái)大量的I

4、/O操作。隨著內(nèi)存價(jià)格逐漸地降低，將數(shù)據(jù)立方的一個(gè)子集在內(nèi)存實(shí)化，將特別適用于有時(shí)間約束的聯(lián)機(jī)分析處理環(huán)境。為此，在現(xiàn)有技術(shù)的基礎(chǔ)上，以元組為實(shí)化單元構(gòu)建適用于濃縮數(shù)據(jù)立方的內(nèi)存實(shí)化數(shù)據(jù)選擇模型。以內(nèi)存空間至少能容納最細(xì)粒度數(shù)據(jù)小方為前提，在內(nèi)存中構(gòu)造兩級(jí)元組存儲(chǔ)結(jié)構(gòu)，達(dá)到避免數(shù)據(jù)立方重新計(jì)算，快速準(zhǔn)確響應(yīng)查詢的目的。并進(jìn)一步對(duì)查詢進(jìn)行優(yōu)化，構(gòu)造性能更好的選擇模型。由于最細(xì)粒度小方元組和其它一些粗粒度元組都在內(nèi)存中，避免了費(fèi)時(shí)的外存存取

5、，數(shù)據(jù)立方更新和維護(hù)代價(jià)也得以降低。試驗(yàn)證明，在內(nèi)存實(shí)化數(shù)據(jù)立方可有效降低查詢響應(yīng)時(shí)間，濃縮數(shù)據(jù)立方優(yōu)先小尺寸是內(nèi)存實(shí)化元組幾種不同的選擇模型中時(shí)間最優(yōu)的。
　　通過(guò)在內(nèi)存實(shí)化數(shù)據(jù)立方可以縮短查詢響應(yīng)時(shí)間，但易受內(nèi)存空間的限制，很難滿足尺寸較大數(shù)據(jù)立方的實(shí)化要求。隨著閃存技術(shù)的快速發(fā)展，基于NAND閃存的固態(tài)硬盤(pán)具有了讀取速度快、功耗低等優(yōu)點(diǎn)，且其成本要比內(nèi)存低得多，訪問(wèn)速度比傳統(tǒng)硬盤(pán)要快得多。為此，結(jié)合濃縮數(shù)據(jù)立方的元組存儲(chǔ)特征

6、，提出了在內(nèi)存實(shí)化粗粒度的小方，在閃存實(shí)化細(xì)粒度的元組，在硬盤(pán)存放事實(shí)表的三級(jí)存儲(chǔ)結(jié)構(gòu)。由于閃存具有讀、寫(xiě)、擦除的時(shí)間延遲不均衡、非本地更新和擦除次數(shù)受限等特性，對(duì)于閃存中存放的實(shí)化數(shù)據(jù)立方元組采用了多級(jí)動(dòng)態(tài)完美哈希索引，并把實(shí)化過(guò)程中的寫(xiě)操作轉(zhuǎn)變?yōu)榇谢牟僮餍蛄?，以逐一追加的方式解決了由數(shù)據(jù)插入引發(fā)的閃存“頻繁寫(xiě)”問(wèn)題。實(shí)驗(yàn)結(jié)果表明，基于該索引結(jié)構(gòu)的數(shù)據(jù)立方存儲(chǔ)方法，既能提供高于磁盤(pán)存儲(chǔ)的查詢響應(yīng)速度，又能避免內(nèi)存空間不足的問(wèn)題。<