Hadoop作業(yè)啟動性能優(yōu)化實踐.pdf

1、本論文闡述了本人在百度公司分布式計算小組工作過程中做過的一個優(yōu)化HADOOP作業(yè)提交時間的項目。這個項目的重點在于優(yōu)化在作業(yè)提交時split過程占用的時間和消耗的內(nèi)存，這是作業(yè)提交過程中最耗時的一步，也是作業(yè)提交前的所有準(zhǔn)備工作中最重要的一步，因為它直接關(guān)系到輸入數(shù)據(jù)如何分片，即最終決定了這個作業(yè)具有的map任務(wù)數(shù)量，以及每一個map任務(wù)處理多少數(shù)據(jù)量，每個map任務(wù)優(yōu)先給哪一個節(jié)點的TaskTracker來處理。在百度公司以前的HAD

2、OOP版本，以及目前社區(qū)的HADOOP版本中，一直以來都沒有對split這個過程進行過的大的修改或者優(yōu)化，隨著百度公司的HADOOP集群規(guī)模的擴大，大作業(yè)數(shù)量的增加，單個作業(yè)需要輸入的數(shù)據(jù)量越來越大，文件數(shù)量也越來也多，從而導(dǎo)致在提交作業(yè)之前，對這些輸入數(shù)據(jù)進行split過程暴露出了內(nèi)存占用大，耗時長的問題，這兩個問題已經(jīng)嚴(yán)重影響到百度HADOOP集群對于大作業(yè)的處理效率，并引起了使用百度HADOOP集群的百度數(shù)據(jù)挖掘，日志分析等部門用

3、戶的不滿，因此，為了提高集群的處理效率，改善用戶體驗，必須要對split這一過程進行優(yōu)化。
　　本人獨立完成對split過程的優(yōu)化工作可以分為四個部分，分別是獲取blockLocations優(yōu)化，1s過程輸入路徑正則表達式中間匹配到文件的優(yōu)化，getSplits占用內(nèi)存過高優(yōu)化和將getSplit過程移植到TaskTracker優(yōu)化。這四部分優(yōu)化分別加速了獲取blockLocation信息的速度，對于遍歷路徑操作在中間層匹配到文件

4、這種情況進行了加速優(yōu)化，對split內(nèi)存優(yōu)化使得split整個過程中占用內(nèi)存大幅下降，并且可以使內(nèi)存占用不依賴作業(yè)的輸入數(shù)據(jù)量，而是依賴于用戶指定的參數(shù)。將整個split過程從客戶端移植到TaskTracker上可以釋放客戶端的壓力，并且利用同集群間網(wǎng)絡(luò)傳輸?shù)膬?yōu)勢來進一步節(jié)省split過程的耗時。
　　經(jīng)過本人對split的優(yōu)化，這一項目已經(jīng)成功上線了百度公司HADOOP集群，并且達到了非常理想的效果。大作業(yè)的提交時間從小時級縮短