HAMA計算平臺的性能研究.pdf

1、分布式計算是一門計算機科學，它研究如何將計算非常復雜巨大的任務劃分為若干個計算量較小的任務進行處理，然后把這些部分分配給許多計算機進行處理，最后把這些計算結果整合到一起得到最終結果。分布式計算與并行計算有所區(qū)別，它要求處理的任務相互獨立，即使上一個任務的結果出現錯誤，也不會影響下一個任務的處理，同時對最終結果影響不大。因此，分布式計算對實時性要求不高，而且具有良好的容錯性。
　　分布式計算的多種優(yōu)勢吸引了大量的研發(fā)力量去開發(fā)分布式

2、文件系統(tǒng)，比較有影響力的分布式文件系統(tǒng)有Google的GFS、Apache的HDFS等，它們具有擅長處理大量數據的優(yōu)點。然而，Hadoop針對文件處理功能的大量優(yōu)化反而降低了其單純的計算能力。專門針對大規(guī)?？茖W計算的軟件框架避免了此類問題，比較成熟的有Google圖算法引擎Pregel、Apache的HAMA等。
　　HAMA是建立在Hadoop上的分布式并行計算模型，它基于MapReduce和BSP(Bulk Synchrono

3、us Paralle塊同步并行)的實現框架，運行環(huán)境需要關聯Zookeeper、HBase、HDFS組件。采用BSP計算技術最大的好處就是加快迭代速度，在最終輸出可用數據之前迭代過程需要傳遞消息若干次。
　　與傳統(tǒng)消息傳遞模型相比，HAMA提供一種簡易編程方法。它能通過簡單API為開發(fā)者和研究人員提供基礎平臺。此方法也適用于靈活編程模型和分布式存儲，比如HDFS、Hbase等，因此可以在現有的Hadoop集群上使用HAMA。

4、>　　本文分析了一些比較有影響力的分布式系統(tǒng)，通過對比各個系統(tǒng)的優(yōu)缺點，引出擅長大規(guī)?？茖W計算的編程框架HAMA。本文深入研究BSP模型和HAMA整體框架，將其與當前廣泛應用的Hadoop作對比，通過大量實驗數據分析HAMA和Hadoop的計算性能。為保證實驗的公平性，HAMA和Hadoop都在相同的實驗環(huán)境下運行，在HAMA和Hadoop上實現蒙特卡羅算法，除了Hadoop編程實現MapReduce接口與HAMA編程實現BSP模型接口