MapReduce框架下模糊粗糙集屬性約簡算法研究.pdf

1、近年來隨著互聯(lián)網的高速發(fā)展，需要處理的數據量急劇增加，從而如何從海量數據中獲取知識成為了人們關注的熱點，知識發(fā)現(xiàn)成為了重要的研究課題。屬性約簡（特征選擇）是有效地獲取知識摒除干擾因素的重要方法之一。在一個數據集（知識庫）中，有著眾多不同的屬性，但并不是每個屬性都有著相同的重要性。有些屬性對于人們決策可能重要一些，有些屬性可能不那么重要，有些屬性還有可能是冗余的、不必要的。由于這些冗余信息的存在，使得人們在獲得知識時會花費掉更多的時間和空

2、間用于處理這些無關信息。屬性約簡的目的是從數據集中去除這些無關信息，解決數據處理中的過擬合、維數災難等問題。屬性約簡是粗糙集理論的重要應用之一，得到了學者們的廣泛關注和研究。但是經典粗糙集模型無法直接對數值型數據進行處理，需要預先對數值數據進行離散化處理，從而可能造成信息損失，影響知識的獲取。在模糊粗糙集模型下，可以直接處理數值型數據。針對基于屬性依賴度的屬性約簡算法中存在的一些缺陷，本文將粒子群算法與模糊粗糙集相結合，并從大數據的角度

3、出發(fā)，利用MapReduce框架，進行模糊粗糙集和穩(wěn)健模糊粗糙集并行屬性約簡的相關研究。本論文的主要研究工作如下:
　　1.將高斯核模糊粗糙集與粒子群算法相結合，構建了基于粒子群算法的高斯核模糊粗糙集屬性約簡算法。由于高斯核模糊粗糙集的特性，在基于屬性依賴度的啟發(fā)式屬性約簡算法中，可能無法獲取最佳屬性組合，甚至無法獲得約簡。因而本文通過將粒子群算法與之結合，克服了該種缺陷，并利用高斯核模糊粗糙集的特性，在不同的核參數選擇下，可得出

4、不同的屬性約簡以滿足分類的要求。采用UCI公用數據集進行實驗，實驗結果表明了該算法具有良好的約簡性能。（第3章）
　　2.基于高斯核模糊粗糙集模型，分析了并行計算模糊粗糙集近似集和屬性依賴度的原理，給出了基于MapReduce框架的高斯核模糊粗糙集下近似集和屬性依賴度并行計算算法，進而給出了基于粒子群算法的高斯核模糊粗糙集屬性約簡并行計算算法。該算法利用MapReduce的特性，直接在Map過程中求得不同分片中對象在該分片中與不同

5、決策類對象的最小距離，而不必對兩兩對象間的關系都進行輸出，從而減少了HDFS的訪問。使得在大數據上計算模糊粗糙集下近似集以及屬性依賴度可行。在UCI公用數據集和人工生成的數據集上進行實驗，實驗結果表明了在大數據環(huán)境下本算法具有良好的并行性能和約簡性能。（第4章）
　　3.在穩(wěn)健模糊粗糙集模型上，利用MapReduce框架，實現(xiàn)了高斯核穩(wěn)健模糊粗糙集并行屬性約簡算法。在該算法中，首先計算數據分片中每一個對象與它的k個鄰近的不同決策類

6、對象的距離，從而求取整個數據集下每一個對象的k個鄰近點，再利用RNN算子求取對象的下近似，進而計算所有候選約簡的屬性依賴度以獲取屬性約簡。以上策略使該算法儲存空間需求較少，且能減少因多次迭代Hadoop平臺中資源調度產生的時間開銷。在UCI公用數據集上對該算法進行了實驗，分析了使用不同參數的RNN算子時的約簡性能和并行性能。實驗結果表明該算法能夠對大數據進行約簡，克服了傳統(tǒng)模型無法獲取約簡的情況。該算法不僅能夠有效地處理噪聲數據，而且具