Hadoop Map Reduce Shuffle過程優(yōu)化方案研究.pdf

1、Hadoop MapReduce是基于Google提出的MapReduce模型實現(xiàn)的一個開源分布式編程框架。通過對Hadoop MapReduce作業(yè)運行過程中數據傳輸階段的源碼詳細分析得出，MapReduce系統(tǒng)在傳輸中間數據過程中每個Map任務和Reduce任務之間都要建立一條鏈接，因此包含多個Map任務和Reduce任務的大型作業(yè)運行過程中集群中由于數據傳輸的原因存在大量網絡鏈接，容易導致網絡擁塞從而使作業(yè)運行變慢。部分Map任務

2、中單個鍵值對數據量很小，和Reduce任務建立鏈接后只傳送少量數據，鏈接利用率不高。此外，Hadoop默認使用HTTP網絡進行數據傳輸，低速的網絡協(xié)議也是限制系統(tǒng)性能的因素。
　　為了減輕MapReduce過程中大量網絡鏈接造成的網絡負荷，進一步優(yōu)化Hadoop數據混洗階段網絡I/O過程，一種改進方案就是將Map任務進行分組，分組中的數據先進行合并。在每組Map任務中選出一個代表將組內其他任務的輸出數據統(tǒng)一收集起來，Reduce任

3、務直接從這一個Map任務就可以得到整個組的數據。通過讀Shuffle服務調度器的改寫利用特定的分組策略實現(xiàn)對Map任務分組，可以極大減少集群運行過程中Map任務和Reduce任務之間的數據傳輸鏈路，同時由于分組使得數據聚集，最終Map輸出數據中單個分片對應的數據量增加，對應的鏈接進行傳輸的數據量也相應增加，提高了鏈接利用率。同時使用高速RDMA網絡協(xié)議代替原來的HTTP網絡協(xié)議作為節(jié)點之間數據交換的方式可以進一步提高Hadoop系統(tǒng)性能