面向IPTV的分布式文件系統(tǒng)資源定位與調(diào)度模塊設計與實現(xiàn).pdf

1、隨著國家三網(wǎng)融合政策的推進，交互式網(wǎng)絡電視(Internet Protocol Television,IPTV)的重要地位日益顯現(xiàn)，同時龐大的網(wǎng)絡用戶數(shù)也給IPTV帶來巨大的市場前景。傳統(tǒng)的解決方案在處理海量數(shù)據(jù)時的不足卻日益暴露，主要體現(xiàn)在：擴展性差，不能適應系統(tǒng)規(guī)模的動態(tài)變化；效率低下，用戶體驗度偏低；容易出現(xiàn)單點失效問題，一個節(jié)點的故障導致整個系統(tǒng)服務的崩潰，這主要是集中式管理方式所造成的。
　　本文首先對比分析了幾種主流的

2、分布式文件系統(tǒng)，結(jié)合國內(nèi)外研究現(xiàn)狀和發(fā)展趨勢，根據(jù)IPTV應用場景，設計并實現(xiàn)了分層分布式文件系統(tǒng)，重點研究其中的資源定位模塊和資源調(diào)度模塊。
　　在架構(gòu)上廣泛采用分布式管理方式，系統(tǒng)中所有功能都是由一個服務器集群負責，要么采用類似Chord的純分布式集群管理，要么采用Chubby的集群管理方式，這些都可以避免單點故障問題。為了提高元數(shù)據(jù)的可靠性，采用緩存部署方案，即系統(tǒng)從底層存儲服務器的磁盤上讀取元數(shù)據(jù)到緩存服務器的內(nèi)存中，用戶

3、訪問緩存服務器而不是存儲服務器，避免了節(jié)點故障帶來的災難性損失，并且能夠快速恢復。
　　定位模塊的設計采用改進的一致性哈希設計，通過引入位置分組和虛擬節(jié)點技術(shù)，解決了標準的一致性哈希算法無法實現(xiàn)負載均衡和不能體現(xiàn)節(jié)點的異構(gòu)性的問題。定位元數(shù)據(jù)時采用動態(tài)子樹方式，既便于數(shù)據(jù)的快速查詢又使得節(jié)點之間的數(shù)據(jù)遷移變得非常容易，便于實現(xiàn)負載均衡。
　　調(diào)度模塊采用哈希十字鏈表組織緩存數(shù)據(jù)，除了具有哈希自身所具有的快速查詢優(yōu)勢以外，還可