高維數據降維處理關鍵技術研究.pdf

1、隨著信息科學技術的飛速發(fā)展，信息的表示越來越全面，人們獲取數據越來越容易、關注的數據對象日漸復雜，業(yè)界對數據分析、處理技術的需求最為迫切，特別是對高維數據的分析與處理。高維數據降維一直備受計算機科研相關領域的關注。在這個并行計算、分布式計算火熱的信息化時代，如何使用分布式實現對海量高維數據的分析處理，是當今研究所面臨且亟待解決的挑戰(zhàn)性問題，具有重要的現實應用的意義和研究價值。直接處理高維數據面臨“維數災難”、“算法失效”等困難，一種有效

2、的解決辦法就是對高維數據進行降維。主成分分析（PCA）算法是經典的線性降維技術，算法簡單，具有無線性誤差、無參數限制等優(yōu)點，適用于線性數據，但內存消耗大，計算復雜度高。當PCA用于高維稀疏大數據的降維時，存在內存消耗巨大、處理時間很長，計算特征之間的協(xié)方差矩陣存在很大困難。
　　針對上述問題，本文所做主要工作如下：
　　1）提出基于信息熵的高維稀疏大數據降維算法E-PCA
　　針對PCA算法用于高維稀疏大數據降維時，由

3、于特征維數太高，無法一次性將所有數據特征讀入內存以進行線性變換的問題，采用分塊處理技術進行處理時，耗時太長s，不能滿足實際應用需求，提出基于信息熵的高維稀疏大數據降維算法（E-PCA）。根據特征的信息熵值做特征選擇，大大降低了特征數量，再通過矩陣變換進行特征提取，達到雙重降維的目的。仿真實驗從內存占用、運行時間、降維后的結果維數以及分類準確率四個方面，對PCA和E-PCA進行對比分析，證明E-PCA的高效性。
　　2）提出基于Ma