基于Hadoop的分布式計(jì)算系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、本文對(duì)如何快速處理大量數(shù)據(jù)進(jìn)行了研究，目的是構(gòu)造一個(gè)規(guī)模小，成本低、性能高、風(fēng)險(xiǎn)小的分布式計(jì)算系統(tǒng)。將分布式計(jì)算與并行計(jì)算融合在一起，面向Windows開發(fā)，運(yùn)行在小型、安全的局域網(wǎng)內(nèi)，快速處理大量數(shù)據(jù)，解決傳統(tǒng)計(jì)算框架不利于擴(kuò)展，單臺(tái)設(shè)備的計(jì)算瓶頸問(wèn)題。
　　本文在研究Hadoop框架的基礎(chǔ)上提出了構(gòu)建本系統(tǒng)的兩大服務(wù):分布式存儲(chǔ)服務(wù)和分布式計(jì)算服務(wù)。系統(tǒng)采用三層架構(gòu)設(shè)計(jì)來(lái)支撐整個(gè)集群的運(yùn)行，Master負(fù)責(zé)全局信息掌控，Job

2、負(fù)責(zé)調(diào)度任務(wù)，Task負(fù)責(zé)數(shù)據(jù)存儲(chǔ)和計(jì)算。支持用戶上傳自定義格式的數(shù)據(jù)，不對(duì)原數(shù)據(jù)進(jìn)行二次切分，可支持某些特定原生數(shù)據(jù)類型的計(jì)算。開放算法API，并對(duì)傳統(tǒng)MapReduce框架作了擴(kuò)展，計(jì)算時(shí)可攜帶其它數(shù)據(jù)源，方便數(shù)據(jù)交互處理。Reduce過(guò)程本地化，節(jié)省Map中間數(shù)據(jù)的網(wǎng)絡(luò)傳送時(shí)間。通過(guò)調(diào)度服務(wù)的合并接口匯總最終計(jì)算結(jié)果，將計(jì)算壓力分散，充分利用集群內(nèi)機(jī)器。采取添加動(dòng)態(tài)鏈接庫(kù)(DLL文件)的形式支持用戶嵌入自定義算法，算法預(yù)先存儲(chǔ)在T

3、ask節(jié)點(diǎn)，節(jié)省啟動(dòng)時(shí)間。默認(rèn)集群內(nèi)計(jì)算機(jī)具有一定的可靠性，簡(jiǎn)化容災(zāi)設(shè)計(jì)。在計(jì)算時(shí)對(duì)硬件資源的使用策略是搶占式的，單機(jī)在執(zhí)行任務(wù)時(shí)根據(jù)配置文件預(yù)加載緩存，加快下一次計(jì)算。數(shù)據(jù)塊數(shù)量決定線程數(shù)量，在線程安全范圍內(nèi)開啟多線程，高并發(fā)，充分發(fā)揮CPU性能。最后針對(duì)本次實(shí)現(xiàn)的分布式計(jì)算系統(tǒng)，構(gòu)造了兩類測(cè)試算法:一類是與Hadoop集群作對(duì)比的WordCount算法，另一類是體現(xiàn)數(shù)據(jù)交互操作的圖像比對(duì)算法。通過(guò)分析測(cè)試數(shù)據(jù)驗(yàn)證了本系統(tǒng)對(duì)小數(shù)據(jù)量計(jì)