分布式并行文件系統(tǒng)DPFS的SSI技術(shù).pdf

1、本文討論的分布式文件系統(tǒng)DPFS中的單一系統(tǒng)映像SSI技術(shù)是實(shí)現(xiàn)分布式文件系統(tǒng)DPFS的核心技術(shù),其實(shí)現(xiàn)了兩個(gè)最主要需求:網(wǎng)絡(luò)透明性和高可用性.本文提出獨(dú)特的內(nèi)存文件系統(tǒng)機(jī)制實(shí)現(xiàn)網(wǎng)絡(luò)透明性.在系統(tǒng)中每一個(gè)節(jié)點(diǎn)上構(gòu)建一個(gè)全局一致的內(nèi)存名字空間,并使得在該名字空間中的名字可以透明的指向分布式并行系統(tǒng)中的資源對(duì)象:內(nèi)存名字空間中的名字可以被重定向?yàn)榉植皆诓煌?jié)點(diǎn)上的資源的副本(拷貝),上層用戶不知道內(nèi)存名字空間的名字指向系統(tǒng)資源的物理位置,為

2、上層用戶提供透明的文件系統(tǒng)訪問(wèn)服務(wù).同時(shí),本文在系統(tǒng)中提出以下機(jī)制保證了SSI的高可用性:(1)冗余副本機(jī)制保證資源高可用性:系統(tǒng)中的資源對(duì)象和其副本均衡地分步在系統(tǒng)的不同節(jié)點(diǎn)上.當(dāng)系統(tǒng)中的部分節(jié)點(diǎn)崩潰時(shí),訪問(wèn)位于崩潰節(jié)點(diǎn)上的分布式并行系統(tǒng)資源不會(huì)被拒絕,系統(tǒng)會(huì)根據(jù)活動(dòng)節(jié)點(diǎn)的資源和負(fù)載信息為該訪問(wèn)重新選擇一個(gè)最佳或準(zhǔn)最佳的節(jié)點(diǎn)為其服務(wù);(2)日志恢復(fù)機(jī)制保證容錯(cuò):當(dāng)系統(tǒng)中有節(jié)點(diǎn)失效時(shí),其他和該失效節(jié)點(diǎn)有資源相關(guān)性的節(jié)點(diǎn)在數(shù)據(jù)被修改時(shí)會(huì)記

3、錄日志,在失效節(jié)點(diǎn)重新啟動(dòng)時(shí),會(huì)取得日志并且根據(jù)檢查點(diǎn)進(jìn)行回滾操作恢復(fù)或者拷貝恢復(fù),系統(tǒng)中其他正常服務(wù)的節(jié)點(diǎn)不會(huì)受到任何影響;(3)一致性消息驅(qū)動(dòng)機(jī)制保證數(shù)據(jù)和信息一致性:當(dāng)系統(tǒng)中的某一個(gè)節(jié)點(diǎn)上數(shù)據(jù)或者信息發(fā)生改變時(shí),該節(jié)點(diǎn)采用消息通知其他節(jié)點(diǎn)修改這些數(shù)據(jù)或者信息,確保系統(tǒng)中所有的相關(guān)節(jié)點(diǎn)的數(shù)據(jù)同時(shí)被刷新.如果刷新失敗,系統(tǒng)將記錄日志,由日志恢復(fù)機(jī)制保證數(shù)據(jù)一致.在本文所述的SSI技術(shù)的支持下,DPFS具有分布式透明性和高可用性的特點(diǎn).

4、配合其他的模塊,例如動(dòng)態(tài)負(fù)載平衡調(diào)度模塊,可以實(shí)現(xiàn)系統(tǒng)動(dòng)態(tài)智能故障恢復(fù).分布式透明性和系統(tǒng)動(dòng)態(tài)智能故障恢復(fù)的技術(shù)可以解決理論上的兩個(gè)難題:系統(tǒng)瓶頸和系統(tǒng)重構(gòu),提供高可用性,實(shí)現(xiàn)永不停頓的系統(tǒng).本文的安排如下:第二章討論分布式并行文件系統(tǒng)和SSI技術(shù)的基本概念、主要需求、關(guān)鍵問(wèn)題和典型系統(tǒng),第三章概要地介紹了DPFS的設(shè)計(jì)與實(shí)現(xiàn).第四章重點(diǎn)討論在DPFS中分布式并行技術(shù)和SSI技術(shù)是如何結(jié)合在一起實(shí)現(xiàn)的.第五章討論了實(shí)現(xiàn)分布式并行SSI技