基于成本模型的Hadoop與Storm混合系統(tǒng)的研究.pdf

1、全世界已經(jīng)進(jìn)入到一個(gè)數(shù)據(jù)快速增長(zhǎng)的時(shí)代。當(dāng)前大數(shù)據(jù)方向的研究可以分為四類(lèi):離線(xiàn)計(jì)算、實(shí)時(shí)計(jì)算、流計(jì)算以及統(tǒng)一資源管理平臺(tái)的研究。每種計(jì)算框架都僅僅適用于特定的領(lǐng)域,一旦需求范圍超過(guò)自己擅長(zhǎng)的領(lǐng)域,這些框架就難以滿(mǎn)足要求了。例如,MapReduce善于進(jìn)行批處理操作,任務(wù)吞吐量比較高,但是實(shí)時(shí)性不好,往往計(jì)算任務(wù)需要耗費(fèi)幾個(gè)小時(shí)甚至是幾天的時(shí)間。同樣地,流計(jì)算框架雖然能夠快速響應(yīng)用戶(hù)事件,但是任務(wù)吞吐量又不夠高。針對(duì)這些問(wèn)題,本文提出的解

2、決方案是將多框架融合到一個(gè)系統(tǒng)中,利用統(tǒng)一資源管理平臺(tái)實(shí)現(xiàn)多框架的集成,通過(guò)統(tǒng)一查詢(xún)接口對(duì)外提供服務(wù)。
　　本文研究的內(nèi)容就是在同一個(gè)系統(tǒng)中集成Hadoop和Storm兩種不同的計(jì)算框架來(lái)提升整體的處理效率,具體方法就是實(shí)時(shí)數(shù)據(jù)和小規(guī)模數(shù)據(jù)通過(guò)Storm進(jìn)行處理以求快速響應(yīng),而大規(guī)模歷史數(shù)據(jù)使用Hadoop進(jìn)行計(jì)算,增大系統(tǒng)吞吐量。本文對(duì)現(xiàn)有的混合型系統(tǒng)進(jìn)行了深入的調(diào)研,大多數(shù)系統(tǒng)是在語(yǔ)言層面進(jìn)行融合,將用戶(hù)的查詢(xún)語(yǔ)句轉(zhuǎn)換為每個(gè)框

3、架的實(shí)際執(zhí)行任務(wù)。這些系統(tǒng)大多立足于屏蔽底層的實(shí)現(xiàn)細(xì)節(jié),為用戶(hù)提供統(tǒng)一的查詢(xún)接口,方便熟悉SQL語(yǔ)言的數(shù)據(jù)分析人員使用。與這些系統(tǒng)相比,本文設(shè)計(jì)的架構(gòu)具有兩個(gè)新特性:1.設(shè)計(jì)框架自動(dòng)選擇算法,可以根據(jù)任務(wù)的特點(diǎn)選擇合適的框架來(lái)執(zhí)行該任務(wù);2.可以控制Storm框架的數(shù)據(jù)來(lái)源,特別是為Storm設(shè)置了緩存表,能夠一定程度上提升執(zhí)行效率。
　　本文原型系統(tǒng)的實(shí)現(xiàn)涵蓋了語(yǔ)言處理層、資源調(diào)度層以及任務(wù)執(zhí)行層三個(gè)方面,其中框架選擇算法是在語(yǔ)

4、言處理層中實(shí)現(xiàn)的。從對(duì)比測(cè)試的結(jié)果來(lái)看,數(shù)據(jù)量較小時(shí)查詢(xún)操作執(zhí)行時(shí)間與SummingBird on Storm持平,比SummingBird on Hadoop快20％-40％。數(shù)據(jù)量較大時(shí)混合系統(tǒng)數(shù)據(jù)吞吐量與SummingBird on Hadoop相當(dāng),比SummingBird on Storm多40％。本文設(shè)計(jì)的新型多框架混合系統(tǒng)架構(gòu)有如下一些優(yōu)勢(shì):?整合多種計(jì)算框架,應(yīng)用場(chǎng)景廣泛;提供統(tǒng)一的查詢(xún)語(yǔ)言,為用戶(hù)屏蔽底層實(shí)現(xiàn)細(xì)節(jié),便于