基于NoSQL的數(shù)據(jù)分析技術(shù)的應(yīng)用研究.pdf

1、當(dāng)今社會(huì)每天都在不斷地產(chǎn)生大量的數(shù)據(jù)，且蘊(yùn)涵著大量待分析和挖掘的有價(jià)值信息。例如數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中往往蘊(yùn)涵了很多有價(jià)值的信息供查詢和分析，通過(guò)對(duì)這些信息的分析可幫助企業(yè)做出決策。如何在節(jié)省機(jī)器資源成本的情況下快速獲取這些有價(jià)值的信息以提高企業(yè)的工作效率已成為很多研究者的焦點(diǎn)，傳統(tǒng)的RDBMS已經(jīng)不適應(yīng)龐大的數(shù)據(jù)查詢和分析，主要是因?yàn)槠涔潭ǖ年P(guān)系模型和低效的表連接操作等，制約了查詢的效率，而新型的NoSQL數(shù)據(jù)庫(kù)如hyperdex因?yàn)樗鼈冇兄?/p>

2、更靈活的存儲(chǔ)模式和查詢模式正適合解決此類(lèi)問(wèn)題，基于hyperdex構(gòu)建的數(shù)據(jù)倉(cāng)庫(kù)性能上要遠(yuǎn)高于傳統(tǒng)的RDBMS，但為了進(jìn)一步優(yōu)化查詢效率，hyperdex提供了區(qū)域索引，不過(guò)當(dāng)區(qū)域中的對(duì)象數(shù)量較大時(shí)，其效率并不是很高。為此，本文基于NoSQL進(jìn)行了數(shù)據(jù)分析技術(shù)應(yīng)用的研究，針對(duì)hyperdex原始區(qū)域索引，提出了多對(duì)象副本聚集區(qū)域索引(CMORARI)與單對(duì)象副本聚集區(qū)域索引(CSORARI)，該算法將原來(lái)存儲(chǔ)于SQL中的星型結(jié)構(gòu)的cub

3、e轉(zhuǎn)換成存儲(chǔ)到NoSQL中的key value字典結(jié)構(gòu)的cube。并以TPC-H SSB實(shí)際零售應(yīng)用案例驗(yàn)證了方法的有效性，證明hyperdex在大數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域具有比較好的應(yīng)用價(jià)值。主要工作包括:
　　1.cube多對(duì)象副本聚集區(qū)域索引的建立:首先從維度表中讀取所有維度記錄得到維度定義域，然后遍歷事實(shí)表中的每條記錄，如該條事實(shí)記錄在維度定義域中，則對(duì)該條事實(shí)記錄的各個(gè)維度屬性建立區(qū)域索引及關(guān)聯(lián)該條事實(shí)記錄，否則忽略該條事實(shí)記錄，并

4、讀入下一條記錄，重復(fù)上述過(guò)程直至遍歷完所有事實(shí)記錄。最終將各個(gè)屬性的區(qū)域索引及其關(guān)聯(lián)的事實(shí)記錄存入hyperdex，由于每條事實(shí)記錄要關(guān)聯(lián)每個(gè)屬性，所以叫做多對(duì)象副本。該算法所生成的區(qū)域索引是將原始hyperdex區(qū)域索引的多個(gè)索引項(xiàng)合并為一個(gè)，這既減少了索引的存儲(chǔ)空間，也加快了索引的解析速度，進(jìn)而提高了查詢效率。
　　2.cube單對(duì)象副本聚集區(qū)域索引的建立:為了減小上述區(qū)域索引方法中事實(shí)記錄副本所占用的存儲(chǔ)空間，提出將事實(shí)記錄

5、單獨(dú)存儲(chǔ)。與多對(duì)象副本聚集區(qū)域索引的建立相比，不同的是不對(duì)維度屬性值與事實(shí)記錄進(jìn)行關(guān)聯(lián)，每條事實(shí)記錄只保留一份，存儲(chǔ)在單獨(dú)的hyperdex超空間中，所以叫做單對(duì)象副本。
　　3.查詢分析實(shí)現(xiàn)以及性能對(duì)比分析:基于上述經(jīng)過(guò)區(qū)域索引后的cube進(jìn)行查詢的設(shè)計(jì)與實(shí)現(xiàn)。查詢過(guò)程首先通過(guò)命令行參數(shù)指定查詢條件，然后分析這些條件并執(zhí)行查詢API，從而得到查詢結(jié)果。最后對(duì)查詢實(shí)驗(yàn)進(jìn)行了性能對(duì)比分析，論述了影響查詢性能的一些因素以及改進(jìn)策略，以