基于Storm的大數(shù)據(jù)流式計算關鍵技術研究及應用.pdf

1、大規(guī)模流式計算作為大數(shù)據(jù)計算的重要組成部分已被廣泛應用于實時統(tǒng)計、實時推薦、實時監(jiān)控、個性化服務等場景中。大數(shù)據(jù)流式計算與傳統(tǒng)大數(shù)據(jù)批處理在數(shù)據(jù)處理的要求、方法等方面有著明顯差異，因而越來越多的學者開始專注于大數(shù)據(jù)流式計算的研究。Apache Storm是當前最知名且最具代表性的流式計算引擎之一。本文基于Storm流式計算引擎，按照工業(yè)界廣為接受的系統(tǒng)工程方法，將典型大數(shù)據(jù)流式計算分解為數(shù)據(jù)采集、數(shù)據(jù)計算和數(shù)據(jù)存儲三個連續(xù)階段，這三個階

2、段也構成了大數(shù)據(jù)流處理鏈。針對大數(shù)據(jù)流式計算在當前實際生產(chǎn)中存在的如下問題進行研究，首先，數(shù)據(jù)采集有如下問題和難點:(1)傳統(tǒng)數(shù)據(jù)采集方式中采集系統(tǒng)與數(shù)據(jù)源具有極高的耦合性且存在訪問不可控問題;(2)每個數(shù)據(jù)源維護獨立的采集管道，數(shù)據(jù)采集接口眾多且格式混亂，采集接口難以擴展且不易維護;(3)分布式環(huán)境下難以集成多源異構數(shù)據(jù)源。其次，基于Storm的數(shù)據(jù)計算有如下問題:(1)流式計算要求系統(tǒng)能夠應對數(shù)據(jù)流速的突發(fā)性變化，而Storm缺乏對

3、這種不確定數(shù)據(jù)流的動態(tài)匹配的能力;(2)當系統(tǒng)過載時，Storm出現(xiàn)數(shù)據(jù)計算延遲顯著增加，系統(tǒng)不穩(wěn)定的情況;(3)Storm對于拓撲資源的重新分配必須先暫停系統(tǒng)，這可能會導致更長的數(shù)據(jù)計算延遲和數(shù)據(jù)丟失，此外，資源的分配還受限于拓撲運行前的設定。最后，數(shù)據(jù)存儲有如下難點:(1)即使采用了連接池技術來適應高并發(fā)的Strom實時流數(shù)據(jù)轉儲（例如HBase提供的連接池HtablePool等），其寫入性能仍然無法滿足需求;(2)持久層寫入的IO

4、阻塞或錯誤可能會導致系統(tǒng)性能的劇烈變化。
　　針對以上問題，本文以實驗室承擔的某省面向電梯產(chǎn)業(yè)聯(lián)盟的云制造服務平臺重大科技專項項目為背景，以搭建云制造平臺實時監(jiān)控系統(tǒng)為目標，以優(yōu)化大數(shù)據(jù)流式計算為核心，從大數(shù)據(jù)流式計算的特征切入，圍繞大數(shù)據(jù)流處理鏈的數(shù)據(jù)采集、數(shù)據(jù)計算和數(shù)據(jù)存儲三個階段對基于Storm的大數(shù)據(jù)流式計算關鍵技術進行研究，解決了上述難點及問題，并應用研究內(nèi)容實現(xiàn)了云制造平臺實時監(jiān)控系統(tǒng)，為云制造平臺提供實時監(jiān)控服務。與

5、同類型的工作相比，本文主要具有以下貢獻:
　　(1)對于數(shù)據(jù)采集，本文提出了流式數(shù)據(jù)分層采集策略，實現(xiàn)了分布式環(huán)境多源異構數(shù)據(jù)源的集成和采集進程的容錯，統(tǒng)一了數(shù)據(jù)采集接口，解決了數(shù)據(jù)采集系統(tǒng)與數(shù)據(jù)源的高耦合問題和訪問不可控問題，并在該策略基礎上對數(shù)據(jù)采集工具Flume的負載均衡方法進行優(yōu)化，提出了一種基于分組的雙層哈希負載均衡方法，該方法能夠降低分布式節(jié)點的數(shù)據(jù)遷移率并使系統(tǒng)整體的負載盡可能公平。實驗結果表明，該負載均衡方法能夠提

6、高32％吞吐量，數(shù)據(jù)遷移率降到2％。
　　(2)對于數(shù)據(jù)計算，本文針對Storm流式計算引擎在系統(tǒng)過載時表現(xiàn)出的數(shù)據(jù)計算延遲顯著增加、系統(tǒng)不穩(wěn)定以及缺乏大數(shù)據(jù)流量動態(tài)匹配能力等問題，設計并實現(xiàn)了三種優(yōu)化方法，分別是動態(tài)逐級反壓策略、無感知拓撲替換機制和并行數(shù)據(jù)回流方法。實驗結果表明，優(yōu)化后的引擎與Storm默認實現(xiàn)的引擎相比:(i)能有效提高系統(tǒng)吞吐量，最優(yōu)情況下提高10％～25％，最差情況下與Storm默認實現(xiàn)接近相等;(ii)

7、能有效改善數(shù)據(jù)計算延遲，最優(yōu)情況下提高25％的處理時間，并能夠抑制系統(tǒng)負載振蕩;(iii)用戶無感知地進行資源動態(tài)調(diào)整，系統(tǒng)無需暫停且資源的分配不受限于拓撲運行前的設定。
　　(3)對于數(shù)據(jù)存儲，本文提出了面向Storm轉儲的延遲持久化存儲優(yōu)化方法，包括延遲持久化存儲機制和分批提交優(yōu)化方法。實驗結果表明，延遲持久化存儲機制可以將針對磁盤的IO讀寫延遲到數(shù)據(jù)處理之外，提高持久層的寫入性能并屏蔽數(shù)據(jù)存儲性能對流式計算引擎的影響;針對寫