基于異構(gòu)計算平臺的MapReduce編程模型的研究.pdf

1、最近幾年對大規(guī)模處理和更復雜科學計算的需求，高性能計算的研究有了很大的發(fā)展，出現(xiàn)了一系列并行計算架構(gòu)，如Nvidia公司的統(tǒng)一設(shè)備計算架構(gòu)（CUDA）、Intel公司的集成眾核架構(gòu)(MIC)、IBM公司的CELL架構(gòu)。這些架構(gòu)對應(yīng)推出的加速器(Nvidia GPU，Intel Xeon Phi，IBM Cell)，具有很高峰值性能，高能效，較低功耗。異構(gòu)計算主要是指采用不同指令集架構(gòu)和體系結(jié)構(gòu)的計算處理單元組成系統(tǒng)的計算方式。由于對并行

2、化的需求不斷增長，在高性能領(lǐng)域，異構(gòu)計算系統(tǒng)已越來越多地被采用。然而，充分挖掘異構(gòu)計算系統(tǒng)的能力，往往需要對異構(gòu)平臺中各處理器架構(gòu)的細節(jié)有很好的掌握，這對開發(fā)者來說，是一項非常沉重的工作。
　　MapReduce是Google公司提出的一個大數(shù)據(jù)處理框架。MapReduce向用戶提供自定義的Map和Reduce接口，開發(fā)者只需要針對特定的應(yīng)用編寫Map和Reduce函數(shù)，就可以編寫并行分布式應(yīng)用。自從Google提出MapRedu

3、ce框架之后，開發(fā)者和研究人員開展了大量的研究工作。MapReduce作為大數(shù)據(jù)處理框架，廣泛應(yīng)用在數(shù)據(jù)挖掘、機器學習、生物信息學等領(lǐng)域。在異構(gòu)系統(tǒng)上實現(xiàn)MapRedue編程模型，既能簡化異構(gòu)系統(tǒng)上程序開發(fā)，充分利用異構(gòu)系統(tǒng)中各設(shè)備的計算能力，又能在大量領(lǐng)域得到應(yīng)用，具有很強的應(yīng)用價值，對異構(gòu)系統(tǒng)的研究具有重要意義。
　　在本文中，提出了一種基于異構(gòu)計算平臺的MapReduce編程模型HyMR。HyMR能充分利用異構(gòu)計算平臺中所有

4、計算設(shè)備的計算能力，如多核CPU，眾核GPU和Xeon Phi協(xié)處理器。我們將HyMR實現(xiàn)為一個可以擴展的框架來處理所有計算設(shè)備上的通用操作，并使用可擴展的運行時系統(tǒng)來對設(shè)備有關(guān)的操作進行擴展。為了將我們的框架很好的映射到異構(gòu)架構(gòu)上，我們采用了兩層設(shè)計的方案:高層設(shè)計實現(xiàn)了混合任務(wù)調(diào)度器，對不同設(shè)備間的計算任務(wù)進行分配調(diào)度;低層設(shè)計實現(xiàn)了HyMR適配器來作為底層MapReduce運行時系統(tǒng)的抽象，通過HyMR適配器針對特定設(shè)備擴展實現(xiàn)，

5、來實現(xiàn)HyMR編程模型對異構(gòu)計算平臺的擴展。為了充分利用異構(gòu)平臺各設(shè)備的計算能力，我們采用了協(xié)同計算的方案和混合并行。同時提出了混合任務(wù)調(diào)度器、中間鍵值處理優(yōu)化、數(shù)據(jù)傳輸優(yōu)化等方案，來提高HyMR模型的性能。
　　HyMR在使用幾個常用MapReduce程序的大數(shù)據(jù)集上的測試發(fā)現(xiàn)，與目前CPU上最快的MapReduce程序Phoenix++相比，HyMR在異構(gòu)計算平臺上實現(xiàn)了高達18.7倍的加速，表現(xiàn)了較好的擴展性，并且能實現(xiàn)對大