基于糾刪碼容錯的并行文件系統(tǒng)優(yōu)化技術研究和實現(xiàn).pdf

1、隨著高性能計算機計算性能的提高，其存儲系統(tǒng)的規(guī)模也在不斷擴展，單純依靠傳統(tǒng)的硬件平臺容錯方法已經(jīng)逐漸無法滿足系統(tǒng)對數(shù)據(jù)可靠性的要求，高性能計算機使用軟件方法來保證數(shù)據(jù)和存儲系統(tǒng)的可靠性是大勢所趨。糾刪碼作為一種數(shù)據(jù)冗余技術，對比其它數(shù)據(jù)容錯技術，具有較高的存儲利用率和較強的容錯能力，在云存儲領域，已經(jīng)開始得到較為廣泛的關注。因此能否夠將糾刪碼應用到高性能計算機的存儲系統(tǒng)，從而從軟件層面保障數(shù)據(jù)的可靠性成為該領域關注的熱點問題。
　

2、　為了研究將糾刪碼應用到 HPC存儲系統(tǒng)中的可行性，我們分析了不同糾刪碼的編碼計算開銷，解碼計算開銷，容錯率，存儲空間利用率等特性，分析了糾刪碼應用到不同的云存儲系統(tǒng)對系統(tǒng)性能和可靠性等方面的影響，分析了將糾刪碼應用到 HPC存儲系統(tǒng)中應重點研究的內(nèi)容?；谝陨系姆治?，我們進行了下列研究：
　　分析了糾刪碼對HPC存儲系統(tǒng)的性能的影響，并對關鍵的I/O操作——順序寫操作進行了優(yōu)化，我們提出基于數(shù)據(jù)局部性的緩存技術減少了順序寫操作中

3、編碼計算的次數(shù)，又提出基于多條帶并行的流水線技術進一步隱藏順序寫操作中部分計算和寫入校驗塊的開銷。并從理論上量化分析了優(yōu)化技術對順序寫操作性能的提升。
　　研究如何充分利用糾刪碼的解碼恢復能力來提高HPC存儲系統(tǒng)的可靠性和I/O性能，具體進行了以下三個方面的研究：1）分析了糾刪碼對HPC存儲系統(tǒng)中恢復操作性能的影響，并提出優(yōu)化的方案。2）分析了糾刪碼對降級讀操作的影響，提出基于預讀機制和緩存技術的PC-Read方法優(yōu)化順序讀過程中

4、發(fā)生的降級讀操作，并從理論上量化分析了此方法對降級讀操作性能的提升。3）提出了CR-Read方法優(yōu)化由于IO易變性引發(fā)的聚合讀效率低的問題，并提出一個算法——JMCR用來確定使用該方法的最佳時間點。
　　針對本文提出的優(yōu)化方法，設計實現(xiàn)了EDFS系統(tǒng)，EDFS系統(tǒng)是一個基于糾刪碼容錯的原型驗證系統(tǒng)。該系統(tǒng)堆疊在現(xiàn)有并行文件系統(tǒng)之上，支持對順序 I/O操作的優(yōu)化方法，針對降級讀操作提出的優(yōu)化方法PC-Read及針對IO易變性提出的C