Hadoop云平臺綜合優(yōu)化.pdf

1、大數據時代信息量的急劇增長，對信息處理速度也提出了越來越高的需求。作為MapReduce計算模型的開源實現，Hadoop云平臺為用戶提供了簡潔可靠的大數據處理方案。在處理TB和PB級數據計算中，MapReduce已經成為使用最為廣泛的并行編程模型。
　　由于MapReduce計算框架最早是為Google的數據處理業(yè)務而設計的，對不同環(huán)境、不同類型的大數據處理業(yè)務，并沒有進行特別優(yōu)化。因此，改進Hadoop的平臺的MapReduce

2、計算框架，對提高Hadoop平臺綜合性能、優(yōu)化計算資源分配與利用，有著非常重要的意義。
　　本文針對Hadoop平臺的MapReduce計算框架中的負載均衡與任務配置優(yōu)化機制進行了研究，取得了如下成果:
　　(1)在Hadoop平臺中提出了一種新的分區(qū)方案。與Hadoop默認的分區(qū)方案相比，它具有平衡Reduce Task負載、提高集群資源利用率和加速Job整體運行速度的優(yōu)勢。通過對Reduce Task建立回歸分析模型，預

3、測Reduce Task運行時間的差異，據此重新分配Reduce Task之間輸入數據的規(guī)模，使得Reduce Task之間的總體完成時間趨于一致，避免了因數據分配不均，導致部分Reduce Task執(zhí)行時間過長的問題;同時，本方案在建立Reduce Task運行時間的過程中，考慮了Node計算資源差異、負載情況對運行時間的影響，使分配的結果更符合實際應用情況。此外，與特定領域的負載均衡方案相比，本方案受到的限制更少，只需Map Tas

4、k的輸出結果的Reduce Task之間不存在固定的映射關系。
　　(2)提出了一種新的資源管理與計算任務監(jiān)控方案。在該方案中，將JobTracker的集群資源管理與任務監(jiān)控功能分成兩個組件完成。其中，JobTracker的角色變?yōu)镸onitor Node保留任務監(jiān)控功能，而資源管理功能分配給新加入的資源管理節(jié)點完成。JobTracker和資源管理節(jié)點之間通過增量更新算法同步信息。資源管理節(jié)點根據配置的調度器，進行任務調度，并將調

5、度結果返回給JobTracker節(jié)點。實驗結果表明，本方案實現了資源管理節(jié)點與JobTracker之間快速信息同步，降低了JobTracker的負擔，提高了平臺的魯棒性與工作效率，可以有效擴展Hadoop云平臺的工作規(guī)模。
　　(3)設計和實現了基于任務完成時間的負載均衡分區(qū)方案;對分離式任務調度與監(jiān)控方案進行了仿真驗證。
　　實驗表明，本文提出的Hadoop綜合優(yōu)化方案，可以對Hadoop集群的實際運行情況進行分析、預測，