數(shù)據(jù)預處理中數(shù)據(jù)缺失填補算法的研究與應用.pdf

1、隨著技術的發(fā)展與科學的進步,數(shù)據(jù)量的飛速增長已成為一個不容忽視的問題,面臨堆積如山的數(shù)據(jù),想要獲取有用的信息與知識并非易事。因此數(shù)據(jù)挖掘技術伴隨著人們的需求與科技的進步獲得快速發(fā)展。然而在實際應用時,缺失數(shù)據(jù)的出現(xiàn)對所有數(shù)據(jù)分析技術包括數(shù)據(jù)挖掘都是一個普遍存在卻富于挑戰(zhàn)性的問題。
　　 缺失數(shù)據(jù)的產(chǎn)生因為多種多樣,有主觀上人為的也有客觀上的難以獲取。它們廣泛存在于現(xiàn)實的數(shù)據(jù)集中,對數(shù)據(jù)分析產(chǎn)生嚴重影響:首先,系統(tǒng)丟失了大量的有用

2、信息,明顯削弱了信息與統(tǒng)計的能力;其次,增強了系統(tǒng)的不確定性,使得正常的數(shù)據(jù)分析方法不適用或難于應用；最后,包含缺值的數(shù)據(jù)還會使挖掘過程陷人混亂,導致不可靠的輸出。因此如何正確處理這些缺失數(shù)據(jù)成為數(shù)據(jù)預處理過程中核心問題之一。
　　 缺失填補技術無論是在技術還是理論上都得到了空前的重視,國際上已有大量專家及研究機構對些問題進行深入研究。本文首先論述了缺失數(shù)據(jù)填補的意義及研究現(xiàn)狀,通過分析近年來出現(xiàn)的缺失填補策略,將其分成基于分類

3、、聚類、關聯(lián)的三種填補思想,在此基礎上提出一種新的缺失填補算法。通過對當前幾個開源挖掘工具預處理模塊的研究,設計了一個處理缺失數(shù)據(jù)集的預處理模型,并通過研究基于分類思想及關聯(lián)思想的填補策略,對設計應用于模型中新的缺失填補法,規(guī)則近鄰法進行詳細設計實現(xiàn),通過實驗對其填補的有效性,準確率進行驗證。
　　 實驗用5折交叉驗證法證明算法的有效性；并通過與KNN填補算法進行對比證明該算法在填補準確率上的優(yōu)越性；通過增加缺失比例及改變提取規(guī)