面向MapReduce任務的云數(shù)據(jù)中心網(wǎng)絡資源協(xié)同優(yōu)化.pdf

1、MapReduce作為大數(shù)據(jù)處理最重要的計算模型之一，由于其易于編程、具有良好的擴展性和高容錯性的優(yōu)點，已被廣泛應用于各個領域，如信息技術、數(shù)據(jù)挖掘、人工智能、數(shù)學計算等。MapReduce應用的網(wǎng)絡傳輸階段需要占用云數(shù)據(jù)中心大量的網(wǎng)絡帶寬，這些數(shù)據(jù)傳輸產(chǎn)生了大量的網(wǎng)絡負載，不僅會造成網(wǎng)絡擁塞，還會給應用自身的性能帶來損害。如何使不同的應用在保證自身服務質量的前提下共享網(wǎng)絡資源，避免帶寬競爭和網(wǎng)絡擁塞，降低作業(yè)完成時間，是云數(shù)據(jù)中心亟待

2、解決的問題。
　　現(xiàn)有的針對面向 MapReduce任務的云數(shù)據(jù)中心網(wǎng)絡資源優(yōu)化研究存在以下問題：在網(wǎng)絡層，缺少有效的流量識別機制，忽略了應用和數(shù)據(jù)流自身的屬性和對網(wǎng)絡的特殊需求；此外，當前的流調度策略沒有考慮coflow之間的依賴關系，這嚴重降低了流調度對降低作業(yè)完成時間的有效性。在應用層，現(xiàn)有的任務放置和調度方法無法針對實時的網(wǎng)絡狀態(tài)和節(jié)點容量做出合理的優(yōu)化。因此，本文自底向上地從網(wǎng)絡層和應用層解決面向MapReduce任務的

3、云數(shù)據(jù)中心網(wǎng)絡資源的共享問題。主要工作如下：
　?。?）實現(xiàn)了一種基于 OpenFlow協(xié)議的流標記和識別機制，通過網(wǎng)絡過濾器更改Ipv4數(shù)據(jù)包頭的Tos字段來區(qū)分標記不同應用的數(shù)據(jù)流。
　?。?）研究了在任務截止時間約束條件下的相互依賴的coflow調度問題，構造了一個最小化作業(yè)平均完成時間的優(yōu)化問題，并相應地提出了兩層調度算法。通過優(yōu)先滿足瓶頸時間段和瓶頸鏈路的帶寬分配實現(xiàn)在作業(yè)層面的調度；采用優(yōu)先級調度和加權平均調度算

4、法來保證coflow之間不同的依賴性，實現(xiàn)作業(yè)內部coflow的調度。
　?。?）綜合考慮了傳輸數(shù)據(jù)量、實時帶寬容量、傳輸距離和節(jié)點計算資源容量對任務完成時間的影響，進一步提出了通過放置Reduce任務來減少Shuffle階段傳輸代價的優(yōu)化模型。
　　模擬實驗結果表明，本文提出的兩層調度算法比傳統(tǒng)的最短作業(yè)優(yōu)先方法減少了約18%的作業(yè)平均完成時間，在有截止時間限制的條件下，提升作業(yè)完成率21%。最小傳輸代價任務放置策略相比平