云存儲中數(shù)據(jù)編碼優(yōu)化和重復(fù)數(shù)據(jù)刪除技術(shù)研究.pdf

1、隨著云計算時代的到來，各種應(yīng)用程序需要分析計算的數(shù)據(jù)所占用的空間越來越大，一度由GB到TB甚至發(fā)展到EB數(shù)量級。隨著數(shù)據(jù)量的增大，需要的存儲空間也變得越來越大，相應(yīng)的能源消耗也越來越大。在云存儲環(huán)境下，研究如何利用糾刪碼編碼技術(shù)和重復(fù)數(shù)據(jù)刪除技術(shù)有效的提高存儲空間利用率是有現(xiàn)實意義的。
　　本文對現(xiàn)有的云存儲技術(shù)進行了分析，現(xiàn)有研究表明以糾刪碼為容災(zāi)策略的數(shù)據(jù)存儲技術(shù)相比多副本存儲技術(shù)能夠節(jié)省更多的存儲空間和網(wǎng)絡(luò)帶寬;在云計算平臺

2、Hadoop中，大量數(shù)據(jù)之間存在重復(fù)數(shù)據(jù)，而重復(fù)數(shù)據(jù)刪除技術(shù)能發(fā)現(xiàn)這些重復(fù)的數(shù)據(jù)，避免重復(fù)數(shù)據(jù)的存儲，提高存儲空間利用率。
　　柯西里德-所羅門編碼是一種主流的糾刪碼編碼方式，為了優(yōu)化云存儲中柯西里德-所羅門編碼效率，并向云儲存系統(tǒng)中加入重復(fù)數(shù)據(jù)刪除功能，本文做了以下幾方面的工作:
　　(1)提出了一種優(yōu)化柯西里德-所羅門編碼效率的選擇框架。任何利用柯西里德-所羅門編碼的數(shù)據(jù)存儲系統(tǒng)都可以利用該選擇框架產(chǎn)生高效的數(shù)據(jù)編碼調(diào)度