基于源端重復(fù)數(shù)據(jù)刪除的文件備份系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息和網(wǎng)絡(luò)技術(shù)的快速發(fā)展,我們可以從網(wǎng)絡(luò)中獲得各種各樣的信息數(shù)據(jù),不僅提高了我們的工作效率,也可以豐富我們的生活。但人們對(duì)信息數(shù)據(jù)存儲(chǔ)和備份的需求急速增長(zhǎng),帶來(lái)了信息數(shù)據(jù)量爆炸式地增長(zhǎng),數(shù)據(jù)存儲(chǔ)系統(tǒng)的存儲(chǔ)空間要求越來(lái)越大,網(wǎng)絡(luò)帶寬要求越來(lái)越高,能源消耗越來(lái)越嚴(yán)重,數(shù)據(jù)存儲(chǔ)和管理的成本不斷提高,致使現(xiàn)有數(shù)據(jù)存儲(chǔ)系統(tǒng)面臨著前所未有的壓力和挑戰(zhàn)。
　　盡管數(shù)據(jù)量成倍增加,但研究發(fā)現(xiàn),在現(xiàn)有的存儲(chǔ)系統(tǒng)中的數(shù)據(jù)存在大量的冗余數(shù)據(jù),大約占

2、總信息的60％。因此,為了緩解信息數(shù)據(jù)量增長(zhǎng)帶來(lái)的巨大壓力,減少冗余數(shù)據(jù),充分利用現(xiàn)有資源,降低數(shù)據(jù)存儲(chǔ)管理成本,近些年提出了重復(fù)數(shù)據(jù)刪除技術(shù),該技術(shù)能夠檢測(cè)并去除大量的冗余數(shù)據(jù),優(yōu)化存儲(chǔ)空間和降低網(wǎng)絡(luò)帶寬,而且對(duì)重復(fù)數(shù)據(jù)刪除技術(shù)的研究已經(jīng)成為最熱門的研究課題。
　　針對(duì)已有的文件備份系統(tǒng),冗余數(shù)據(jù)大量存在、可擴(kuò)展性差、效率低并受限于網(wǎng)絡(luò)帶寬等瓶頸問(wèn)題,本文提出一種基于源端重復(fù)數(shù)據(jù)刪除技術(shù)的文件備份系統(tǒng),并將重復(fù)數(shù)據(jù)刪除處理模塊放

3、到數(shù)據(jù)備份客戶端,用于實(shí)現(xiàn)文件分塊和數(shù)據(jù)去重,不但能去除大量冗余數(shù)據(jù)、增強(qiáng)系統(tǒng)擴(kuò)展性和提高存儲(chǔ)備份效率,而且還能大幅度降低系統(tǒng)需求的網(wǎng)絡(luò)帶寬,實(shí)現(xiàn)冗余數(shù)據(jù)刪除過(guò)程和數(shù)據(jù)存儲(chǔ)備份過(guò)程的分離。
　　此外,在系統(tǒng)中設(shè)計(jì)了客戶端指紋庫(kù)和引用管理機(jī)制,客戶端指紋庫(kù)是總指紋庫(kù)的一個(gè)較小的子集,服務(wù)器端維持總的數(shù)據(jù)塊指紋庫(kù),這樣可以優(yōu)化數(shù)據(jù)塊指紋查詢過(guò)程,提高重復(fù)數(shù)據(jù)塊指紋檢索性能,減少對(duì)服務(wù)器的訪問(wèn),也進(jìn)一步降低了網(wǎng)絡(luò)帶寬。引用管理器能夠及時(shí)