基于MapReduce和Rough集理論的海量數據屬性約簡方法研究.pdf

1、隨著社會網絡化和信息化的迅猛發(fā)展，在許多領域積累了海量的數據，如何降低這些數據的維度，從中選擇出有用的特征，一直是海量數據挖掘的重要研究課題?；赗ough集理論的屬性約簡是一種有效的數據約簡和降維方法，它能在盡可能保證數據分類能力不變的情況下有效降低數據的維度、選擇最有用的特征。然而，經典的Rough集屬性約簡方法對大數據的處理能力有限、效率不高，不能適應海量數據挖掘的應用需求，因此，研究基于Rough集的海量數據屬性約簡，能拓展粗糙

2、集理論的應用，具有重要的研究價值。
　　 云計算的興起，為海量數據挖掘帶來了新的思路，目前云計算技術已成為海量數據挖掘的高效解決方案。采用云計算技術進行海量數據挖掘的關鍵在于設計能運行于云計算平臺的并行數據挖掘算法。本文將目前主流的云計算并行編程模型MapReduce與Rough集的理論相結合，針對海量數據的屬性約簡問題，圍繞并行屬性約簡的關鍵技術進行了研究，取得的研究成果如下:
　　 (1)提出了基于MapReduce

3、和Rough集理論的并行正區(qū)域計算算法。本文在分析正區(qū)域求解過程可并行性的基礎上，結合MapReduce的并行思想，提出了基于MapReduce的并行正區(qū)域計算方法，提高了對大規(guī)模數據集計算正區(qū)域的效率。
　　 (2)提出了基于MapReduce和Rough集理論的并行屬性核計算算法。本文在并行計算正區(qū)域的基礎上，研究了屬性核計算過程中條件屬性之間和判斷每個條件屬性是否為核屬性兩個層面的并行方式，提出了基于MapReduce的并

4、行屬性核計算方法，并通過仿真實驗，驗證了該方法對大規(guī)模數據的高效處理能力。
　　 (3)提出了基于MapReduce和Rough集理論的并行屬性約簡算法。本文在基于MapReduce的并行屬性核計算算法的基礎上，研究了計算屬性重要性過程和判斷屬性集是否是一個約簡的并行性，提出了基于MapReduce的并行屬性重要性計算算法和并行屬性約簡算法。對比實驗結果顯示了該算法的高效性。
　　 (4)設計了一個基于Hadoop云計算