內容感知存儲系統(tǒng)中的信息檢索關鍵技術研究.pdf

1、隨著信息技術的日益發(fā)展,信息資源呈現(xiàn)出爆炸性增長的態(tài)勢。數(shù)字資源的急劇增長導致有效數(shù)據(jù)通常被淹沒在信息海洋之中,單靠人工或傳統(tǒng)查詢工具將很難迅速定位所需信息。由于信息檢索技術可從大規(guī)模信息系統(tǒng)中快速、準確、全面地獲取有效信息,因此它被認為是解決上述問題的最佳途徑?，F(xiàn)有研究圍繞著提高存儲系統(tǒng)智能化程度、增強異構信息檢索能力和提升查詢結果相關性等方面展開,但是存儲與查詢功能的相對獨立使得存儲系統(tǒng)很難理解所存內容、并依據(jù)感知到的信息進行查詢優(yōu)

2、化操作。為了將信息檢索領域中的相關技術移植并應用于存儲領域,在研究內容感知存儲系統(tǒng)架構的基礎上,探討了該系統(tǒng)中的信息組織、索引和檢索機制,從系統(tǒng)結構角度提供了一種有效融合存儲與檢索功能的整體解決方案。
　　為解決存儲系統(tǒng)缺乏內容感知能力的問題,設計了一種跨越存儲棧的信息擴展與傳遞機制。該機制根據(jù)應用層的具體需求抽取上層語義信息并作為擴展信息保存,然后在傳統(tǒng)的數(shù)據(jù)I/O通道上擴展元數(shù)據(jù)I/O通道實現(xiàn)擴展信息的傳遞,存儲系統(tǒng)通過解析此

3、類擴展信息獲取語義內容,進而實現(xiàn)在存儲系統(tǒng)內部感知和使用上層信息以優(yōu)化系統(tǒng)整體性能的目的。在該擴展傳遞機制的基礎上設計并實現(xiàn)了內容感知網(wǎng)絡存儲原型系統(tǒng)。
　　為充分利用存儲系統(tǒng)感知到的各類信息,為使用者提供高效、便捷的查詢服務,提出了內容感知網(wǎng)絡存儲系統(tǒng)中的兩階段檢索策略。由于存儲系統(tǒng)中的查詢需求主要來自系統(tǒng)管理員對元數(shù)據(jù)的查詢,以及普通用戶對關鍵字內容的查詢。這兩類查詢通過對元數(shù)據(jù)和關鍵字分別建立索引來提升系統(tǒng)查詢速度,但存儲系

4、統(tǒng)自身所具備的特性并沒有被用于優(yōu)化上述查詢過程。所提出的兩階段檢索策略將基于元數(shù)據(jù)和關鍵字的查詢與底層存儲系統(tǒng)的塊相似性查詢相結合,提升了系統(tǒng)的整體查詢效率。
　　為有效衡量索引優(yōu)化操作對系統(tǒng)性能的影響,提出了基于分級存儲的索引分割機制及開銷模型。隨著存儲系統(tǒng)中信息量的不斷增大索引所消耗的空間也在同步增長,有些索引在生成之后幾乎不會被檢索到,因此并非所有索引都擁有相同的訪問頻率。據(jù)此索引優(yōu)化算法按照訪問頻率對索引進行分割和分級存儲

5、,將不常用的索引存放到低速存儲設備上以節(jié)約成本,并分析了索引分割對查詢命中率、索引空間開銷以及查詢時間所造成的影響。
　　為滿足用戶對于相似性查詢的需求,提出了基于內容哈希的數(shù)據(jù)相關圖構建方法。由于存儲系統(tǒng)通常采用層次結構來組織和管理數(shù)據(jù),這種層次化設計思想通過標準的接口在各層間傳遞特定的信息,它隱藏了每一層所不必關心的信息,但也約束和限制了擴展信息在各個層次間的自由流動。所提出的數(shù)據(jù)相關圖構建方法以存儲系統(tǒng)中的重復數(shù)據(jù)塊為橋梁,

6、通過打破層次壁壘在多層信息之間建立起聯(lián)系,生成具備全局特征的完整數(shù)據(jù)相關圖,為將信息檢索領域的相關理論引入存儲系統(tǒng)奠定了基礎。
　　為解決用戶查詢請求過于寬泛或精細時無法得到預期查詢結果的問題,結合數(shù)據(jù)相關圖對兩階段查詢機制中的排序算法進行改進,提出了塊相似性度量算法。該算法將信息檢索中網(wǎng)頁排序算法的核心思想引入存儲系統(tǒng),以重復數(shù)據(jù)刪除計算所得到的重復數(shù)據(jù)塊作為生成數(shù)據(jù)相關圖和衡量數(shù)據(jù)相關度的依據(jù),改進了現(xiàn)有的相似查詢和相關度計算