基于NoSQL海量數(shù)據(jù)存取策略研究.pdf

1、近幾年來信息化進(jìn)程開始以一種深度和廣度共同發(fā)展的勢頭不斷深入，隨著物聯(lián)網(wǎng)的興起，大量傳感器以及智能終端廣泛應(yīng)用于傳統(tǒng)工業(yè)領(lǐng)域，這樣勢必帶來數(shù)據(jù)的海量增長。如何有效的利用這些海量數(shù)據(jù)來提高工業(yè)生產(chǎn)效率成為一個亟待解決的問題，而解決這個問題的基礎(chǔ)在于為這些工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)建立一個有效的存取機(jī)制。在這方面可以參考目前世界上應(yīng)用廣泛、成熟穩(wěn)定的互聯(lián)網(wǎng)技術(shù)，結(jié)合工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)特點(diǎn)以及傳統(tǒng)的工業(yè)數(shù)據(jù)處理技術(shù)對這個問題進(jìn)行研究。
　　集中式的存儲

2、系統(tǒng)在面對工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)的時候容量有限且擴(kuò)展性不足，而傳統(tǒng)的分布式數(shù)據(jù)庫在系統(tǒng)彈性以及容錯性等方面又不能很好的滿足工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)存儲的需求。在調(diào)研了大量存儲系統(tǒng)之后決定在基于開源NoSQL的分布式存儲平臺上進(jìn)行工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)存取策略的設(shè)計(jì)。
　　工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)存取策略主要包括兩個部分：分布式存儲策略與分布式查詢策略。根據(jù)海量數(shù)據(jù)自身特性和便于查詢的考慮，系統(tǒng)選取具備數(shù)據(jù)強(qiáng)一致性，采用列式鍵值存儲模型和連續(xù)范圍分片策略的開源NoSQ

3、L分布式存儲平臺，在此基礎(chǔ)上設(shè)計(jì)分布式存儲策略。同時采用Scatter/Gather Local Search查詢模型，基于存儲系統(tǒng)設(shè)計(jì)出高效分布式查詢策略。分布式查詢策略具備良好的負(fù)載均衡機(jī)制、容錯性以及擴(kuò)展性。
　　選取HBase作為存儲平臺并在此基礎(chǔ)上實(shí)現(xiàn)分布式存取策略。根據(jù)存取的需求設(shè)計(jì)HBase的Rowkey，同時在子節(jié)點(diǎn)上仿真數(shù)據(jù)庫與查詢處理器實(shí)例，進(jìn)行存取過程各方面性能仿真測試。通過測試結(jié)果可以看出，海量數(shù)據(jù)存儲策略