不確定大數據分析原型系統(tǒng)的設計與實現.pdf

1、近年來隨著信息量的日益膨脹，數據量的快速增長，對大數據分析的需求日趨急切。同時隨著人們對不確定數據認識的越加深刻，基于不確定大數據的處理需求開始興起。然而現有的基于數據倉庫的聯(lián)機分析處理研究或者系統(tǒng)都是建立在傳統(tǒng)數據庫之上的，對大數據的存儲支持尚不完善。本文依托國家不確定大數據項目，實現了基于MapReduce計算框架的不確定數據的確定化處理，設計和實現了基于Hive數據倉庫的聯(lián)機分析處理系統(tǒng)。
　　本文主要是通過研究蒙特卡羅采樣

2、算法，針對不確定圖數據經過采樣過程進行確定化處理。然后根據確定化的數據集在分布式數據倉庫Hive上構建多維數據模型，同時設計和實現了以Hive數據倉庫為底層存儲的聯(lián)機分析處理系統(tǒng)。本文的貢獻可以概括為以下幾個方面。第一，通過學習簡單隨機采樣算法，結合本文用到的不確定數據集特征，深入研究了不等概率采樣算法的實現方法，然后將方法的具體實現在分布式編程模型MapReduce上進行實施，驗證了算法的有效性并提高了算法的效率。第二，學習和研究了聯(lián)

3、機分析處理的模型和操作，利用Hadoop平臺下的分布式數據倉庫Hive，根據本文的分析需求在Hive數據倉庫之上構建了多維數據模型，定義了多維分析操作。研究了一種基于Hive自定義函數UDF的模擬維度分析方法，結合了本文數據集的特點滿足了分析需求的同時提高了分析效率。第三，設計和實現了基于確定化數據的多維數據分析系統(tǒng)，系統(tǒng)采用三層框架結構，分別是分析引擎層、業(yè)務控制層和用戶操作層。分析引擎層主要負責存儲數據倉庫模型和利用MapReduc