GPU集群的并行編程通信接口研究.pdf

1、圖形處理器GPU善于處理大規(guī)模密集型數(shù)據(jù)和并行數(shù)據(jù),通用并行架構(gòu)CUDA讓GPU在通用計算領(lǐng)域越來越普及。由于GPU集群的高性價比,高性能計算領(lǐng)域中GPU集群的使用越來越普遍,但GPU集群并行編程并沒有一個標(biāo)準(zhǔn)的通信模型,絕大多數(shù)集群應(yīng)用采取CUDA+MPI的方法實現(xiàn),而CUDA和MPI編程都非常困難,需要程序員了解GPU硬件架構(gòu)和MPI消息傳遞機制,顯式控制內(nèi)存與顯存、節(jié)點與節(jié)點間的數(shù)據(jù)傳輸。因此,對編程人員來說,GPU集群并行編程仍

2、是一個復(fù)雜的問題。
　　GPU集群通信接口CUDAGA結(jié)合分布式內(nèi)存上的共享內(nèi)存編程模型GA與通用并行架構(gòu)CUDA的特征,采用共享顯存方式,通過全局共享地址空間實現(xiàn)節(jié)點間GPU-to-GPU的數(shù)據(jù)通信,并通過內(nèi)部透明的CPU端臨時全局數(shù)組和GPU端全局數(shù)組來維護數(shù)據(jù)一致性,保證通信數(shù)據(jù)的正確性。同時,該接口解決了多進程多GPU環(huán)境下GPU設(shè)備的初始化問題,并提供GPU集群信息查詢接口及圖形化監(jiān)控界面兩種方式,幫助用戶及時了解設(shè)備使

3、用情況。此外,CUDAGA從數(shù)據(jù)傳輸和計算內(nèi)核兩方面對GA庫中的數(shù)組運算進行優(yōu)化,加速后的函數(shù)庫可供用戶直接使用。CUDAGA為用戶提供了一個簡單方便的GPU集群并行編程通信接口,在保證通信性能的同時簡化編程難度,提高程序員編寫GPU集群應(yīng)用程序的效率。
　　選取并行矩陣乘Cannon算法和Jacobi迭代算法在GPU集群上的代碼實現(xiàn)和運行為例,對GPU集群通信接口CUDAGA進行測試。從編程復(fù)雜度與通信性能兩方面的測試結(jié)果可以看