基于云存儲技術(shù)的移動分組網(wǎng)監(jiān)測系統(tǒng)平臺的研究與應用.pdf

1、隨著移動互聯(lián)網(wǎng)業(yè)務的日益普及和高速發(fā)展，移動分組網(wǎng)絡產(chǎn)生的數(shù)據(jù)量越來越大，原有移動分組網(wǎng)監(jiān)測系統(tǒng)的存儲結(jié)構(gòu)及數(shù)據(jù)處理模式在應對大數(shù)據(jù)時代龐大的數(shù)據(jù)量上面臨著嚴重挑戰(zhàn)。如何高效存儲、處理海量數(shù)據(jù)，以及對海量數(shù)據(jù)進行有效信息挖掘是移動互聯(lián)網(wǎng)行業(yè)普遍存在的一個棘手問題。Hadoop是一個開源的分布式軟件框架，提供了一個安全、可擴展的分布式文件系統(tǒng)HDFS，可以解決海量數(shù)據(jù)高成本、低性能存儲問題;還實現(xiàn)了一個并行計算編程模型Map/Reduce

2、，克服單機處理海量數(shù)據(jù)吞吐量不足的問題。
　　 本文在研究了基于Hadoop實現(xiàn)的云存儲平臺的優(yōu)缺點和傳統(tǒng)監(jiān)測系統(tǒng)自身特點的基礎上，提出了基于云存儲技術(shù)的移動分組網(wǎng)監(jiān)測系統(tǒng)平臺的架構(gòu)。它具有以下主要特征:首先，以監(jiān)測系統(tǒng)產(chǎn)生的海量呼叫詳細記錄CDR文件為處理對象，提出了分布式文件系統(tǒng)存儲模型。通過集群大量低廉設備，將海量CDR文件分布式地存儲在存儲節(jié)點上，并備份多個數(shù)據(jù)副本，由管理節(jié)點統(tǒng)一進行分配管理。其次，針對Hadoop云存

3、儲平臺存儲大量小CDR文件性能不高的問題，設計一種基于MapFile小文件合并模型。在CDR文件上傳至HDFS之前先合并壓縮，提高了CDR文件存儲和處理的效率，減小了系統(tǒng)的存儲需求。
　　 最后，重點設計了海量數(shù)據(jù)分布式處理模型。該模型底層通過Map和Reduce函數(shù)實現(xiàn)海量CDR數(shù)據(jù)的高效并行計算。利用數(shù)據(jù)倉庫Hive將查詢?nèi)蝿湛焖俎D(zhuǎn)換為Map/Reduce程序。利用分布式數(shù)據(jù)庫HBase面向列存儲的特色，對數(shù)據(jù)處理模型進行了

4、優(yōu)化，將相同條件的統(tǒng)計查詢結(jié)果保存在HBase中，避免再次查詢而浪費時間和資源，優(yōu)化了海量數(shù)據(jù)處理模型。Map/Reduce、Hive和HBase相結(jié)合實現(xiàn)了云存儲平臺海量CDR數(shù)據(jù)高效處理。
　　 基于所設計的監(jiān)測系統(tǒng)云存儲平臺，本文通過統(tǒng)計分析和數(shù)據(jù)挖掘兩個具體應用實例，驗證了監(jiān)測系統(tǒng)云存儲平臺的功能，并和傳統(tǒng)監(jiān)測平臺進行多方面性能對比。從分析結(jié)果可知，本文所設計的云存儲平臺不僅減少海量CDR數(shù)據(jù)的存儲需求，而且提高海量CD