谷歌文件系統(tǒng)下一種基于實(shí)用網(wǎng)絡(luò)編碼的方法.pdf

1、隨著要管理數(shù)據(jù)量不斷增長,分布式存儲(chǔ)系統(tǒng)為通過網(wǎng)絡(luò)分布式存儲(chǔ)節(jié)點(diǎn)存放大量的數(shù)據(jù)提供一個(gè)可靠的平臺(tái)。確保數(shù)據(jù)的可靠性,對抗存儲(chǔ)節(jié)點(diǎn)故障,需要引進(jìn)的冗余。維護(hù)所需的冗余,系統(tǒng)必須支持?jǐn)?shù)據(jù)恢復(fù)(或修理),其中包括從現(xiàn)有節(jié)點(diǎn)讀取數(shù)據(jù),并在新的節(jié)點(diǎn)重建基本數(shù)據(jù)?；趶?fù)制的策略是許多大型存儲(chǔ)系統(tǒng)用來產(chǎn)生冗余的最簡單的方法。擦除編碼是另一個(gè)冗余的方法。也有再生的代碼,分布式存儲(chǔ)系統(tǒng)中一個(gè)基于網(wǎng)絡(luò)編碼的數(shù)據(jù)快速恢復(fù)策略的擦除編碼。
　　當(dāng)一個(gè)存儲(chǔ)

2、節(jié)點(diǎn)出現(xiàn)故障時(shí),它要從其他存儲(chǔ)了部分?jǐn)?shù)據(jù)的節(jié)點(diǎn)下載整個(gè)文件,然后重新編碼數(shù)據(jù)修復(fù)。因此,恢復(fù)只存儲(chǔ)整個(gè)信息部分?jǐn)?shù)據(jù)的節(jié)點(diǎn)但下載了整個(gè)信息,所需的帶寬是浪費(fèi)。
　　這項(xiàng)研究工作提供了一個(gè)實(shí)用的網(wǎng)絡(luò)谷歌文件系統(tǒng)的編碼方法。這種方法采用網(wǎng)絡(luò)編碼來為谷歌文件系統(tǒng)提供冗余,與以復(fù)制方式提供冗余進(jìn)行比較。我們研究在兩種情況下的性能,評估任何塊失敗的概率,從任何尚存的數(shù)據(jù)塊恢復(fù)原始數(shù)據(jù)的能力;計(jì)算客戶端讀取數(shù)據(jù)時(shí)的重傳次數(shù)以及平均帶寬。我們觀察