基于對象存儲的文件系統(tǒng)緩存機制研究.pdf

1、隨著計算機信息技術的迅速發(fā)展，對海量數(shù)據的存儲及訪問需求都呈幾何級數(shù)爆炸式增長，也對數(shù)據的存儲及訪問方式提出了更高的要求?；趯ο蟠鎯ustre文件系統(tǒng)結合了傳統(tǒng)文件系統(tǒng)的優(yōu)點，將對象存儲服務器與元數(shù)據服務器分離，實現(xiàn)了分布式環(huán)境下文件的并行訪問，使集群系統(tǒng)中文件的I/O性能得到極大的提高。因此，研究Lustre文件系統(tǒng)的關鍵技術，尋求更加高效的文件訪問效率，進一步提高在不同的復雜環(huán)境下的適應性顯得尤為必要。
　　 論文按照“

2、研究-設計-實現(xiàn)-驗證”的思路，以開源的Lustre文件系統(tǒng)作為主要研究對象，主要完成了以下工作:首先，結合Lustre官方的操作手冊，對源代碼進行大量的閱讀，分析其體系結構和使用的關鍵技術;其次，在代碼閱讀的基礎上，重點對Lustre現(xiàn)有的緩存工作機制進行分析，從中得出在大規(guī)模數(shù)據訪問、特別是針對I/O密集型的共享資源訪問的情況下，為保證數(shù)據一致性而進行的緩存刷新會帶來很大的網絡吞吐量和更新延遲的問題，進而采用了一種協(xié)作式的緩存更新策

3、略對其進行改進，并通過實驗證明了改進的Lusrre客戶端緩存一致性策略進一步提高了文件系統(tǒng)的讀性能;最后，Lustre文件系統(tǒng)在設計之初重點針對大文件采用數(shù)據分片實現(xiàn)數(shù)據并行存取等技術來提高性能，但在實際的應用中，數(shù)據訪問并不可能完全是由大塊的數(shù)據組成，而是混合著大量的小塊文件，此時Lustre的數(shù)據訪問方式反而可能會造成性能瓶頸，論文采用了在客戶端增加專門針對小文件數(shù)據的緩存，對小文件進行堆積和延遲提交的方式減少網絡I/O次數(shù)，進行寫