云環(huán)境中典型應(yīng)用的I-O優(yōu)化策略研究.pdf

1、云計(jì)算是當(dāng)前工業(yè)界和學(xué)術(shù)研究的熱點(diǎn)之一。云環(huán)境中的應(yīng)用具有服務(wù)規(guī)模和數(shù)據(jù)規(guī)模超大的特點(diǎn)，現(xiàn)有軟硬件架構(gòu)與應(yīng)用特點(diǎn)不匹配，導(dǎo)致系統(tǒng)高能耗、低效率。這些應(yīng)用對(duì)計(jì)算機(jī)體系結(jié)構(gòu)、網(wǎng)絡(luò)技術(shù)和軟件的設(shè)計(jì)提出了嚴(yán)峻的挑戰(zhàn)。在云環(huán)境中，服務(wù)器端存儲(chǔ)了海量的數(shù)據(jù)，I/O訪問的效率成為應(yīng)用性能的關(guān)鍵因素之一。
　　 研究服務(wù)器I/O相關(guān)問題的優(yōu)化策略，具有非常重要的研究意義和應(yīng)用價(jià)值。為了研究云環(huán)境中應(yīng)用對(duì)I/O性能的要求，論文采取應(yīng)用驅(qū)動(dòng)的思想，

2、選擇了流媒體服務(wù)、電子郵件服務(wù)和Web服務(wù)等三個(gè)典型的互聯(lián)網(wǎng)應(yīng)用；然后，從磁盤訪問、網(wǎng)絡(luò)通信和內(nèi)存訪問等多個(gè)的角度出發(fā)，研究了特定應(yīng)用的I/O訪問優(yōu)化策略。
　　 對(duì)于流媒體應(yīng)用中交互請(qǐng)求對(duì)服務(wù)器端造成的I/O壓力，論文在分析流媒體的數(shù)據(jù)特征的基礎(chǔ)上，針對(duì)交互請(qǐng)求訪問數(shù)據(jù)的要求，對(duì)流媒體文件的數(shù)據(jù)組織進(jìn)行了重排，提出了數(shù)據(jù)幀分類的文件流化格式，為區(qū)間緩存算法增加了針對(duì)交互的改進(jìn)策略，并從理論上分析了數(shù)據(jù)幀分類存儲(chǔ)對(duì)緩存算法的影響

3、。
　　 我們分析郵件應(yīng)用的典型場景，揭示了郵件傳播中信息冗余的現(xiàn)象，利用服務(wù)器和客戶端的計(jì)算能力，把內(nèi)容去重的思想應(yīng)用于郵件服務(wù)器的數(shù)據(jù)存儲(chǔ)和傳輸，減輕了服務(wù)器端的磁盤訪問和網(wǎng)絡(luò)I/O壓力。
　　 最后，我們綜合了三個(gè)應(yīng)用的內(nèi)存訪問特點(diǎn)，提出一個(gè)針對(duì)這三種應(yīng)用的智能存儲(chǔ)方案，設(shè)計(jì)了內(nèi)存訪問控制器、智能內(nèi)存單元、互聯(lián)網(wǎng)絡(luò)和通信協(xié)議，并給出了基本的編程模型草案。根據(jù)DRAM內(nèi)存訪問的特點(diǎn)，結(jié)合不同數(shù)據(jù)訪問的特征，在智能內(nèi)存

4、、常規(guī)內(nèi)存和靜態(tài)內(nèi)存這樣一個(gè)混合存儲(chǔ)系統(tǒng)中，提出分類的存儲(chǔ)策略，以提高系統(tǒng)訪問內(nèi)存的效率。
　　 論文主要的貢獻(xiàn)和創(chuàng)新包括以下幾點(diǎn)：
　　 1.我們分析了請(qǐng)求的數(shù)據(jù)訪問和視頻數(shù)據(jù)的特征，提出了針對(duì)交互的數(shù)據(jù)幀分類存儲(chǔ)的流化方案；與播放器協(xié)作，減少了拖動(dòng)操作對(duì)網(wǎng)絡(luò)I/O的需求；根據(jù)SSD硬盤的訪問特征，提出了混合存儲(chǔ)的方案，并重組了流媒體的數(shù)據(jù)組織，加快了服務(wù)器對(duì)拖動(dòng)的響應(yīng)速度。
　　 2.對(duì)于流媒體服務(wù)，我們從理

5、論上證明了區(qū)間緩存算法要優(yōu)于LRU算法；結(jié)合交互的訪存特征提出了面向交互的區(qū)間緩存算法，并用競爭分析從理論上分析了幀分類存儲(chǔ)模式對(duì)交互的區(qū)間緩存算法的影響；最后通過改進(jìn)內(nèi)存管理和流媒體的存儲(chǔ)，進(jìn)一步提高了緩存算法的效率。
　　 3.我們修改了郵件服務(wù)器的架構(gòu)，提出了郵件正文和附件分離存儲(chǔ)的策略，利用服務(wù)器閑置的計(jì)算資源對(duì)附件進(jìn)行內(nèi)容去重，減少了磁盤I/O訪問，節(jié)省了存儲(chǔ)空間；進(jìn)一步，我們基于內(nèi)容去重對(duì)SMTP協(xié)議進(jìn)行了擴(kuò)展，減少