云計(jì)算平臺(tái)作業(yè)調(diào)度算法優(yōu)化研究.pdf

1、隨著互聯(lián)網(wǎng)規(guī)模的不斷增加,用戶大量的數(shù)據(jù)需要進(jìn)行處理和存儲(chǔ),傳統(tǒng)的服務(wù)器集群無法滿足用戶大數(shù)據(jù)的需求。現(xiàn)在云計(jì)算已經(jīng)成為一個(gè)最典型的解決方案,它為用戶提供了海量數(shù)據(jù)處理、海量數(shù)據(jù)存儲(chǔ)、按需獲取計(jì)算能力等服務(wù)。云計(jì)算概念一經(jīng)提出就受到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注,許多公司都推出了自己的云計(jì)算平臺(tái)。其中,大多數(shù)云計(jì)算平臺(tái)是使用Hadoop開發(fā)的,Hadoop是一個(gè)運(yùn)行在大型集群上進(jìn)行大數(shù)據(jù)存儲(chǔ)和并行計(jì)算的分布式開源框架,它將底層的并行化對(duì)開發(fā)

2、者透明,應(yīng)用程序的開發(fā)者只需要按照接口要求實(shí)現(xiàn)代碼就能實(shí)現(xiàn)分布式處理。但是,Hadoop是一個(gè)比較新的平臺(tái),許多地放還不夠成熟,需要改進(jìn)的地方也很多。
　　Hadoop平臺(tái)的性能與其作業(yè)調(diào)度算法密切相關(guān),選擇合適的調(diào)度算法對(duì)Hadoop平臺(tái)的資源利率和系統(tǒng)吞吐量有很大的影響。但是,Hadoop中現(xiàn)有的調(diào)度算法有許多不足之處,因此,研究Hadoop平臺(tái)作業(yè)調(diào)度算法,并進(jìn)行優(yōu)化和改進(jìn),對(duì)Hadoop平臺(tái)性能的提升具有重大意義。

3、　　本文主要完成了以下工作:
　　1、對(duì)云計(jì)算技術(shù)進(jìn)行了介紹,重點(diǎn)分析了Hadoop平臺(tái)的技術(shù)背景和組成架構(gòu),詳細(xì)分析了HDFS文件系統(tǒng)的讀寫流程和MapReduce編程框架。
　　2、對(duì)Hadoop平臺(tái)下的作業(yè)調(diào)度流程進(jìn)行了深入的剖析,重點(diǎn)介紹了現(xiàn)有的幾種作業(yè)調(diào)度算法:FIFO調(diào)度算法、計(jì)算能力調(diào)度算法、公平份額調(diào)度算法和LATE調(diào)度算法,分析了他們的算法思想和主要優(yōu)缺點(diǎn)。
　　3、針對(duì)現(xiàn)有調(diào)度算法不適應(yīng)異構(gòu)環(huán)境的問

4、題,提出了一種改進(jìn)的調(diào)度算法,該算法根據(jù)系統(tǒng)信息,將作業(yè)進(jìn)行分類,并做出調(diào)度策略。通過優(yōu)化算法將作業(yè)與節(jié)點(diǎn)進(jìn)行匹配,提高系統(tǒng)的整體性能。
　　4、針對(duì)現(xiàn)有調(diào)度算法未考慮作業(yè)和節(jié)點(diǎn)的負(fù)載類型的問題,提出了一種基于資源感知的調(diào)度算法,該算法將作業(yè)和節(jié)點(diǎn)類型進(jìn)行劃分,并按照節(jié)點(diǎn)的負(fù)載情況選擇合適的任務(wù)進(jìn)行調(diào)度。
　　5、為了驗(yàn)證算法的性能,搭建了Hadoop實(shí)驗(yàn)集群,并收集了大量測試數(shù)據(jù)對(duì)算法的性能進(jìn)行驗(yàn)證。實(shí)驗(yàn)結(jié)果表明,我們提出