不同缺失值處理技術(shù)的模擬比較.pdf

1、目的：在艾滋病中醫(yī)證候研究領(lǐng)域,數(shù)據(jù)缺失現(xiàn)象普遍存在。數(shù)據(jù)缺失會(huì)增加分析的復(fù)雜性,造成結(jié)果偏倚等一系列的問(wèn)題。探索適合該數(shù)據(jù)庫(kù)的缺失值填充方法是進(jìn)行數(shù)據(jù)分析前迫切需要解決的問(wèn)題。本研究以中醫(yī)證侯現(xiàn)場(chǎng)調(diào)查數(shù)據(jù)為基礎(chǔ),通過(guò)數(shù)據(jù)模擬技術(shù),比較不同的處理方法的優(yōu)劣,探討各自適用性,確定MI法的最佳填補(bǔ)次數(shù),探索不同的缺失模式和缺失機(jī)制下,最為準(zhǔn)確、高效、方便的處理方法。
　　 方法：利用SAS9.1,模擬出完整數(shù)據(jù)集和不同缺失率的數(shù)據(jù)集

2、,對(duì)于完全隨機(jī)缺失和隨機(jī)缺失的連續(xù)變量,采用期望最大化法(expectation maximization,EM)、回歸法、均值填補(bǔ)法、成組刪除法、多重填補(bǔ)法(multiple imputation,MI)進(jìn)行填補(bǔ),比較不同方法處理后的精確度、準(zhǔn)確度以及均值。二分類(lèi)變量,采用成組刪除法和MI中的logistic回歸進(jìn)行填補(bǔ),比較不同方法處理后的回歸系數(shù)以及標(biāo)準(zhǔn)誤。
　　 結(jié)果：⑴連續(xù)變量:本資料的數(shù)據(jù)均為任意缺失模式,隨著填充次

3、數(shù)的增加,填充效率逐漸增加,在MI填充10次時(shí)填充效率均達(dá)到0.95以上。精確度也伴隨著填充次數(shù)的增加而逐漸增加,填充10次后精確度最高。關(guān)于準(zhǔn)確度,缺失20％以下時(shí)。只需較少的填充次數(shù)(3-5次),就能達(dá)到較高的準(zhǔn)確度:缺失率30-40%時(shí),MI填充10次的準(zhǔn)確度相對(duì)較高;缺失50%以上時(shí),準(zhǔn)確度不穩(wěn)定。⑵完全隨機(jī)缺失機(jī)制:缺失10%以下時(shí),任何一種方法處理后,都與完整數(shù)據(jù)集均值一致,MI法的精確度和準(zhǔn)確度最高。缺失20%以上時(shí),采用

4、成組刪除法和MI法效果優(yōu)于其他方法,MI法的精確度高,成組刪除法的準(zhǔn)確度高。⑶隨機(jī)缺失機(jī)制:缺失較少時(shí)(10%-20%),采用MI法準(zhǔn)確度、精確度高于其他方法。缺失30%時(shí),采用成組刪除法處理后的準(zhǔn)確度高,但是精確度較差。缺失較多(缺失率＞40%)時(shí),所有方法填充效果均不佳。⑷二分類(lèi)變量,缺失較少(缺失率＜40%)時(shí),采用成組刪除法簡(jiǎn)單易行、準(zhǔn)確、高效,而MI法程序比較復(fù)雜,需占用較大內(nèi)存和時(shí)間進(jìn)行反復(fù)填補(bǔ),且結(jié)果不如成組刪除法。缺失4