HDFS副本管理策略研究與實現(xiàn).pdf

1、信息技術的迅猛發(fā)展使得互聯(lián)網(wǎng)中數(shù)據(jù)量急速增長，云計算在大數(shù)據(jù)中應運而生。云存儲系統(tǒng)是云計算的基礎，它利用大量分布式的廉價存儲資源為用戶提供了容量大、性能高的存儲服務。副本管理技術是云存儲系統(tǒng)的關鍵技術之一，它可以提高系統(tǒng)的可靠性、容錯性和擴展性，增強用戶訪問的并發(fā)性，提高系統(tǒng)服務性能。
　　HDFS作為開源的分布式存儲系統(tǒng)，目前已經(jīng)得到廣泛的應用。雖然HDFS自身存儲能力很有優(yōu)勢，但副本管理策略中仍然有不足的地方。本文詳細介紹了H

2、DFS中副本管理的流程，分析了大量并發(fā)用戶訪問場景下影響系統(tǒng)存儲性能的各項因素，綜合考慮用戶的訪問行為、系統(tǒng)節(jié)點的服務代價以及負載均衡等方面，本文提出了一種新的動態(tài)副本管理策略，主要工作如下:
　　(1) HDFS中副本放置策略沒有考慮到節(jié)點的異構性，若性能低的節(jié)點放置了太多的數(shù)據(jù)，在讀取時會造成負載很重，從而帶來負載不均衡，影響系統(tǒng)的服務能力。本文提出基于節(jié)點選擇代價的副本放置策略，考慮節(jié)點本身性能以及網(wǎng)絡帶寬的影響，逐個選出副

3、本放置的所有目標節(jié)點。
　　(2) HDFS中默認副本策略在系統(tǒng)運行過程中不改變副本個數(shù)，這對于訪問頻率很高的文件所在的節(jié)點是一個瓶頸。本文提出基于多階段訪問頻率的動態(tài)副本創(chuàng)建策略，根據(jù)多個時間段的文件熱度動態(tài)增加文件副本。該策略有效增加了系統(tǒng)響應速度，減少了作業(yè)完成時間。同時對于長期不使用的副本進行刪除，減少資源的浪費和管理成本。
　　(3)為了滿足用戶訪問響應時間盡可能短的需求，本文提出基于節(jié)點服務能力的副本選擇策略，考