分布式視頻流存儲容錯系統(tǒng)的設計與實現(xiàn).pdf

1、當今，視頻監(jiān)控系統(tǒng)越來越多地應用于日常生活中，它帶來便捷的同時，也引出了海量視頻流數(shù)據(jù)的存儲需求。分布式存儲系統(tǒng)能夠很好的滿足這一需求，而且由于故障發(fā)生的可能性，容錯必須體現(xiàn)在系統(tǒng)的設計中。對比國內外典型的分布式存儲系統(tǒng)架構，不難發(fā)現(xiàn)系統(tǒng)可用性、數(shù)據(jù)可靠性與一致性、系統(tǒng)高效性，往往是此類系統(tǒng)所要解決的問題。因此，本文以此為背景，通過相關知識點與理論的學習，設計并開發(fā)出了分布式視頻流存儲容錯系統(tǒng)，其特點主要有：
　　1.應用 RS糾

2、刪碼；系統(tǒng)在整個存儲空間扁平化的基礎上，提出了數(shù)據(jù)塊與卷的語義，將流式存儲轉換為塊式存儲，并通過具體的糾刪碼方案決定數(shù)據(jù)塊的放置方式，從而使得數(shù)據(jù)的糾刪碼容錯得以實現(xiàn)。
　　2.提出混合冗余容錯策略；系統(tǒng)將被頻繁訪問的元數(shù)據(jù)視為“熱”數(shù)據(jù)，采用副本形式存儲；將視頻流數(shù)據(jù)視為“冷”數(shù)據(jù)，采用糾刪碼方式存儲。從而在加速元數(shù)據(jù)訪問的同時，提高了存儲空間的利用率。
　　3.采用時間戳對比機制；不僅保證了系統(tǒng)各個模塊間數(shù)據(jù)操作的一致性

3、，由于對訪問數(shù)據(jù)量與次數(shù)的減少，因而避免了單點效應。
　　4.實行基于最終一致性的操作方案；系統(tǒng)將多步驟指令視為事務，以非阻塞式方式執(zhí)行指令隊列，使得系統(tǒng)可用性與一致性之間達到了平衡。
　　5.提出文件塊版本號恢復機制與最優(yōu)數(shù)據(jù)恢復模型；通過減少不必要的數(shù)據(jù)恢復和確定最優(yōu)數(shù)據(jù)恢復的順序，使得在很一定程度上提高了數(shù)據(jù)恢復的效率。
　　另外，為了更好地實現(xiàn)可擴展性，系統(tǒng)采用了分層次的設計架構，實現(xiàn)了從網(wǎng)絡到業(yè)務處理，再到文