基于HBase的數(shù)據壓縮技術研究.pdf

1、隨著大數(shù)據技術的發(fā)展以及Hadoop等大數(shù)據平臺的迅速普及與推廣，生活中產生的數(shù)據量呈現(xiàn)爆炸性增長的趨勢，數(shù)據種類呈現(xiàn)復雜化，存儲方式呈現(xiàn)多樣化。傳統(tǒng)的基于行存儲的大數(shù)據存儲方式并不能夠以較低的成本將大數(shù)據存儲起來。與此同時，由于數(shù)據的訪問頻度的不同，對于不同訪問級別的數(shù)據所采用的存儲方式提出了新的要求。針對以上情況，結合大數(shù)據平臺下的HBase數(shù)據庫，本文對大規(guī)模數(shù)據環(huán)境下基于HBase的壓縮存儲技術進行了研究，主要的創(chuàng)新點如下：

2、r>　　首先，提出一種基于訪問頻度的數(shù)據分類方法：根據一段時間內數(shù)據庫文件的訪問次數(shù)得到相應的訪問頻度，依據各數(shù)據文件的訪問頻度及相關閾值將數(shù)據文件劃分為冷熱數(shù)據并確定具體的訪問級別。在此基礎之上，提出基于數(shù)據訪問級別的壓縮策略選擇方法：定義了確定數(shù)據樣本的抽樣方法，針對原有的壓縮策略選擇方法中先驗知識未必可靠的缺陷，通過添加評估層及時調整先驗知識，并在基于相鄰參照區(qū)和基于統(tǒng)計列選擇方法的基礎上設計出HBase數(shù)據壓縮策略選擇方法，優(yōu)化

3、存儲成本。仿真實驗與結果表明，本文提出的方法不僅能夠有效實現(xiàn)大數(shù)據的存儲，同時還提高了數(shù)據的訪問性能。
　　其次，從數(shù)據遷移的角度，提出一種基于文件價值的數(shù)據遷移方法。首先，根據數(shù)據訪問頻度等因素計算出數(shù)據塊文件的價值，由這個文件價值得到數(shù)據遷移的目的設備。同時改進了數(shù)據遷移技術，利用數(shù)據緩沖區(qū)和雙緩沖隊列解決了數(shù)據遷入遷出速率不匹配的問題，提高了數(shù)據遷移效率，節(jié)省了內存和時間消耗，最終實現(xiàn)了對大數(shù)據平臺數(shù)據的存儲優(yōu)化。