基于Hadoop系統(tǒng)的自學習資源調(diào)度器模型研究.pdf

1、隨著信息大爆炸時代的來臨，云計算和大數(shù)據(jù)技術(shù)應(yīng)運而生。Hadoop是一個支持分布式集群使用簡單的MapReduce編程模型處理大規(guī)模數(shù)據(jù)集的框架。當集群規(guī)模不斷增長時，如何提高集群的資源利用率、縮短任務(wù)的響應(yīng)時間，優(yōu)化Hadoop的資源調(diào)度器，提高集群的效率，已成為當前云計算領(lǐng)域的研究熱點。
　　本文結(jié)合國內(nèi)外的研究現(xiàn)狀，在比較了Hadoop系統(tǒng)常見的幾種資源調(diào)度器的基礎(chǔ)上，改進了一種基于作業(yè)分類的自學習資源調(diào)度器模型，以期提高異

2、構(gòu)Hadoop集群的資源利用率，同時縮短作業(yè)的執(zhí)行時間。本文主要完成了以下研究內(nèi)容：
　　第一，介紹了Hadoop系統(tǒng)的發(fā)展史和國內(nèi)外有關(guān)Hadoop資源調(diào)度器的研究現(xiàn)狀。第二，闡釋了Hadoop系統(tǒng)的兩大核心——分布式文件系統(tǒng)HDFS和并行編程模型MapReduce的原理。第三，詳細分析了當前Hadoop系統(tǒng)的三種資源調(diào)度器：FIFO、Capacity Scheduler和Fair Scheduler，解釋了它們的實現(xiàn)原理，分析

3、了各自的優(yōu)缺點和適用場景。第四，對Hadoop系統(tǒng)進行建模，每一個節(jié)點的資源可以抽象為虛擬核和內(nèi)存，虛擬核有一個執(zhí)行速率的屬性，內(nèi)存有兩個屬性，分別是大小和數(shù)據(jù)到達速率。系統(tǒng)有三個性能評價指標：本地特性、作業(yè)平均完成時間、公平性。第五，改進自學習資源調(diào)度器模型，并用實驗驗證。首先構(gòu)建作業(yè)分類器，每類作業(yè)都有一個隊列與之對應(yīng)。當作業(yè)到來時，把作業(yè)加入相應(yīng)類別的隊列。自學習資源調(diào)度器在后臺維護一個各類作業(yè)資源需求量的配額表，調(diào)度器根據(jù)歷史統(tǒng)