面向應(yīng)用程序的高可用可擴展元數(shù)據(jù)服務(wù)研究.pdf

1、不斷發(fā)展的大數(shù)據(jù)處理技術(shù)對存儲技術(shù)，尤其是元數(shù)據(jù)處理的要求不斷提高。元數(shù)據(jù)的高可用性和高擴展性是當(dāng)前支撐大規(guī)模分布式文件系統(tǒng)的關(guān)鍵，然而，現(xiàn)有的研究和技術(shù)無法完全滿足各類分布式文件系統(tǒng)的需求。故本文介紹了兩方面的工作，分別致力于解決元數(shù)據(jù)的可用性和擴展性的問題。
　　首先是元數(shù)據(jù)可用性問題。元數(shù)據(jù)的高可用性對于分布式文件系統(tǒng)上的應(yīng)用程序十分重要。然而，許多現(xiàn)有的保障元數(shù)據(jù)高可用性的機制都缺乏針對應(yīng)用程序的考慮，即未能將不同應(yīng)用程序

2、的元數(shù)據(jù)區(qū)別對待，這樣造成了系統(tǒng)的單個錯誤域以及資源使用較低。通過調(diào)研分析Hadoop平臺上的應(yīng)用程序數(shù)據(jù)訪問特征，本文提出了面向應(yīng)用程序的元數(shù)據(jù)（Client-Oriented METadata，Comet）。Comet是一種新的元數(shù)據(jù)架構(gòu)設(shè)計，它將不同應(yīng)用程序的元數(shù)據(jù)工作集劃分到相互獨立的區(qū)域內(nèi)，并使之分布化。使得這些區(qū)域從物理節(jié)點到邏輯上都相互隔離，形成獨立的錯誤域。這樣，區(qū)域之間的錯誤相互獨立，一個節(jié)點失效不會影響其他區(qū)域的運行

3、。Comet的原型在HDFS上進行了實現(xiàn)，實驗表明，Comet明顯地提高了HDFS元數(shù)據(jù)的總可用性，且性能損失在可接受的范圍內(nèi)。隨著系統(tǒng)規(guī)模的擴展，Comet還能提高總體性能以及元數(shù)據(jù)恢復(fù)效率。
　　其次是元數(shù)據(jù)擴展性問題。HDFS元數(shù)據(jù)的不可擴展設(shè)計可能會導(dǎo)致元數(shù)據(jù)服務(wù)成為系統(tǒng)的容量和性能瓶頸。之前致力于提高擴展性的工作或消除了元數(shù)據(jù)局部性這一重要特征，或在目錄進行更名的時候性能不佳。本文設(shè)計和實現(xiàn)了Partitioner，一個

4、基于HDFS的分布式元數(shù)據(jù)服務(wù)。為了支撐分布式元數(shù)據(jù)管理，提出了一種動態(tài)子樹劃分方式以及基于基數(shù)樹的分塊檢索模式，并優(yōu)化了負(fù)載均衡和目錄操作，以提高資源利用效率、降低遷移開銷。實驗結(jié)果表明 Partitioner提升了元數(shù)據(jù)容量和吞吐量、提高了元數(shù)據(jù)可擴展性。
　　通過以上工作，本文實現(xiàn)了分布式文件系統(tǒng)元數(shù)據(jù)在可用性和擴展性方面的提升，更好地滿足了未來大數(shù)據(jù)應(yīng)用的對分布式文件系統(tǒng)元數(shù)據(jù)的要求。新提出的面向應(yīng)用程序的元數(shù)據(jù)設(shè)計能和各