云存儲(chǔ)系統(tǒng)資源調(diào)度技術(shù)研究.pdf

1、隨著云存儲(chǔ)服務(wù)的日益普及，人們對(duì)云存儲(chǔ)系統(tǒng)的服務(wù)質(zhì)量、使用成本以及溫室氣體排放等方面提出了更高的要求。云存儲(chǔ)系統(tǒng)是一個(gè)具有多數(shù)據(jù)中心、多種資源、多個(gè)數(shù)據(jù)對(duì)象（包括文件、視頻、圖片等），且服務(wù)于多個(gè)用戶的復(fù)雜系統(tǒng)，其資源調(diào)度技術(shù)是研究如何通過副本放置和帶寬分配等手段，實(shí)現(xiàn)提高服務(wù)質(zhì)量（包括數(shù)據(jù)可靠性、帶寬供應(yīng)以及訪問局部性）、降低服務(wù)成本以及降低二氧化碳排放等目標(biāo)。為了實(shí)現(xiàn)上述目標(biāo)，云存儲(chǔ)資源調(diào)度技術(shù)需要解決三個(gè)難點(diǎn)問題：（1）缺少完善的

2、數(shù)學(xué)模型來描述資源調(diào)度、服務(wù)成本、二氧化碳排放和服務(wù)質(zhì)量之間的關(guān)系，因此也就難以有針對(duì)性的提出有效的資源調(diào)度方案；（2）云存儲(chǔ)系統(tǒng)較為復(fù)雜，由其抽象而來的數(shù)學(xué)模型一般都是NP難問題，這增加了調(diào)度算法的設(shè)計(jì)難度；（3）系統(tǒng)中的數(shù)據(jù)對(duì)象太多，極大的增加了調(diào)度算法的運(yùn)行時(shí)間。在本文的研究工作中，將克服這些難點(diǎn)問題，最終給出合理的解決方案。
　　研究云存儲(chǔ)系統(tǒng)資源調(diào)度技術(shù)需要對(duì)用戶的訪問流量做出準(zhǔn)確預(yù)測(cè)，因此利用時(shí)間序列理論中的ARIMA

3、和GARCH模型，實(shí)現(xiàn)一種文件下載系統(tǒng)中的流量預(yù)測(cè)方案，該方案能夠準(zhǔn)確預(yù)測(cè)各個(gè)文件未來時(shí)段內(nèi)的下載流量。
　　隨著視頻點(diǎn)播應(yīng)用被逐步遷移到云平臺(tái)上，針對(duì)視頻點(diǎn)播應(yīng)用的云存儲(chǔ)資源調(diào)度技術(shù)成為部署大規(guī)模視頻數(shù)據(jù)的關(guān)鍵問題。解決該問題的過程共分兩個(gè)步驟，一是建立數(shù)學(xué)模型，二是對(duì)模型的求解。首先針對(duì)多視頻頻道，多觀影用戶，多數(shù)據(jù)中心的系統(tǒng)架構(gòu)，建立數(shù)學(xué)模型以描述資源分配、資源費(fèi)用以及服務(wù)質(zhì)量等要素之間的關(guān)系，并通過理論證明對(duì)該模型求解是

4、NP難問題。因此，為了獲得該模型的解，提出一種分布式算法——DREAM(-L)，為分配下載帶寬、放置頻道副本等問題提供解決方案，使得在云存儲(chǔ)系統(tǒng)中的視頻點(diǎn)播應(yīng)用能夠以較低的費(fèi)用滿足數(shù)據(jù)可靠性、帶寬供應(yīng)、訪問局部性等服務(wù)質(zhì)量需求。
　　為了優(yōu)化更多的云存儲(chǔ)應(yīng)用，需要提出更為通用的云存儲(chǔ)系統(tǒng)資源調(diào)度技術(shù)。一方面，擴(kuò)展此前提出的數(shù)學(xué)模型和算法，增加上傳帶寬的分配方案，并優(yōu)化數(shù)據(jù)更新開銷。另一反面，當(dāng)系統(tǒng)中需要優(yōu)化的數(shù)據(jù)對(duì)象大幅增加時(shí)，很

5、多資源調(diào)度算法的運(yùn)算時(shí)間過長(zhǎng)，無法在有效時(shí)間內(nèi)完成資源調(diào)度任務(wù)。為了提高資源調(diào)度算法的運(yùn)行效率，提出數(shù)據(jù)對(duì)象分組技術(shù)，該技術(shù)使資源調(diào)度算法的運(yùn)行時(shí)間不隨數(shù)據(jù)對(duì)象數(shù)目的增加而增加。實(shí)驗(yàn)結(jié)果表明，數(shù)據(jù)對(duì)象分組技術(shù)能夠保證調(diào)度算法在常數(shù)時(shí)間內(nèi)完成運(yùn)算。
　　為了降低云存儲(chǔ)系統(tǒng)的二氧化碳排放量，提出了與碳排放相關(guān)的云存儲(chǔ)系統(tǒng)能耗模型。再利用二氧化碳排放強(qiáng)度這一參數(shù)，把能耗模型轉(zhuǎn)化為碳排放模型，并針對(duì)碳排放模型提出了對(duì)應(yīng)的分布式求解算法，該