面向迭代作業(yè)的分布式并行處理優(yōu)化與實(shí)現(xiàn).pdf

1、MapReduce是由Google提出的一種用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算編程模型，目前應(yīng)用已經(jīng)十分廣泛。迭代計(jì)算在數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、科學(xué)計(jì)算等領(lǐng)域都有著十分廣泛的應(yīng)用。然而現(xiàn)有的MapReduce開源實(shí)現(xiàn)如Hadoop，對數(shù)據(jù)的迭代處理支持有限，因此提高傳統(tǒng)MapReduce在處理迭代問題的效能是一項(xiàng)十分重要的課題。
　　在對MapReduce并行編程、迭代式作業(yè)、及現(xiàn)有的MapReduce迭代改進(jìn)模型進(jìn)行了深入分析基礎(chǔ)上，總結(jié)了

2、現(xiàn)有方法存在的問題。傳統(tǒng)的MapReduce在處理迭代時，沒有區(qū)分動靜態(tài)數(shù)據(jù)，迭代過程中間結(jié)果寫入分布式文件系統(tǒng)；迭代終止條件判斷也需要消耗一次MapReduce作業(yè)；MapReduce沒有對迭代過程中的依賴關(guān)系進(jìn)行改進(jìn)，迭代過程嚴(yán)格按照一般作業(yè)執(zhí)行順序串行執(zhí)行。
　　提出了一種基于臨時作業(yè)的迭代并行處理模型。針對動靜態(tài)數(shù)據(jù)分類處理與迭代中間結(jié)果寫分布式文件系統(tǒng)問題，設(shè)計(jì)緩存結(jié)構(gòu)來將迭代過程中的重復(fù)計(jì)算的靜態(tài)數(shù)據(jù)與迭代中間結(jié)果寫入

3、本地緩存；針對原有MapReduce在處理迭代過程中的嚴(yán)格的依賴關(guān)系，設(shè)計(jì)新的迭代控制循環(huán)結(jié)構(gòu)，利用臨時作業(yè)的方式銜接前后兩次迭代，實(shí)現(xiàn)連續(xù)迭代的并行執(zhí)行；針對迭代終止條件判斷的額外MapReduce開銷問題，設(shè)計(jì)新的迭代終止條件檢測，判斷由迭代程序內(nèi)部自動判斷，且與下次迭代同時進(jìn)行。詳細(xì)描述了該迭代處理模型的迭代數(shù)據(jù)流并行設(shè)計(jì)、迭代緩存控制、迭代循環(huán)控制、迭代終止條件設(shè)計(jì)與臨時作業(yè)設(shè)計(jì)。并選擇兩種常見的迭代計(jì)算，分別在Hadoop平臺