面向數(shù)據(jù)挖掘工作流的快速數(shù)據(jù)檢索技術(shù).pdf

1、面對海量的數(shù)據(jù)，數(shù)據(jù)挖掘成為當前研究的熱點。在海量數(shù)據(jù)集上進行數(shù)據(jù)挖掘，數(shù)據(jù)挖掘系統(tǒng)的性能成為其應(yīng)用的主要瓶頸，作為數(shù)據(jù)密集型應(yīng)用系統(tǒng)，數(shù)據(jù)檢索是數(shù)據(jù)挖掘系統(tǒng)中最普遍的操作，也是各個數(shù)據(jù)挖掘系統(tǒng)性能的主要瓶頸所在。所以如何在數(shù)據(jù)挖掘系統(tǒng)中對海量數(shù)據(jù)進行高效管理、快速檢索成為高性能數(shù)據(jù)挖掘系統(tǒng)亟待解決的問題。
　　本文首先通過對數(shù)據(jù)挖掘工作流中普遍應(yīng)用的算法的數(shù)據(jù)訪問模式進行了深入的分析，歸納總結(jié)出數(shù)據(jù)挖掘算法中普遍存在的數(shù)據(jù)訪問模

2、式，以此為依據(jù)進行了研究工作。
　　首先，針對數(shù)據(jù)挖掘工作流中數(shù)據(jù)的靜態(tài)特性和訪問的隨機性，本文設(shè)計了pB+Tree(persistent B+Tree)數(shù)據(jù)存儲結(jié)構(gòu)，該存儲結(jié)構(gòu)對數(shù)據(jù)批量構(gòu)建索引，構(gòu)建索引速度快，提高了數(shù)據(jù)存儲的效率，改善了緩存利用率，能夠提高數(shù)據(jù)挖掘應(yīng)用中數(shù)據(jù)檢索的速度。
　　其次，針對數(shù)據(jù)挖掘工作流中的普遍存在的計數(shù)查詢操作，本文提出了AD-Index(All Dimension Index)輔助數(shù)據(jù)檢

3、索結(jié)構(gòu)，該結(jié)構(gòu)能夠高效的完成對數(shù)據(jù)集的計數(shù)查詢操作，減少了數(shù)據(jù)挖掘算法中對數(shù)據(jù)集的掃描次數(shù)，提高了數(shù)據(jù)挖掘工作流的運行效率。
　　此外，為進一步提高數(shù)據(jù)檢索的效率，本文針對兩種數(shù)據(jù)結(jié)構(gòu)分別設(shè)計了緩存和預(yù)取算法，取得了良好的效果。為了驗證算法的有效性，本文對兩種數(shù)據(jù)存儲結(jié)構(gòu)分別進行了模擬對比試驗，試驗證明pB+Tree的存儲檢索效率明顯高于同類存儲結(jié)構(gòu)，AD-Index對數(shù)據(jù)挖掘的算法的加速效果也非常明顯。
　　基于以上的研究