弱可用數(shù)據(jù)上的分類算法研究.pdf

1、隨著科學(xué)技術(shù)的發(fā)展，數(shù)據(jù)規(guī)模不斷增大，尤其是在以計算機和互聯(lián)網(wǎng)為基礎(chǔ)的應(yīng)用中數(shù)據(jù)更是以指數(shù)形式增長。海量數(shù)據(jù)在帶來豐富信息的同時，也帶來許多質(zhì)量問題，如數(shù)據(jù)不完整、不一致、不精確、陳舊等，這些問題嚴(yán)重地制約著數(shù)據(jù)的運用價值。目前，數(shù)據(jù)可用性已經(jīng)引起了人們廣泛的關(guān)注并取得了一定的研究成果。但是這些研究主要集中在數(shù)據(jù)清洗和修復(fù)方面，它們最主要的缺點是執(zhí)行的時間代價較大，無法徹底清除和修復(fù)數(shù)據(jù)，并且由于修復(fù)目標(biāo)與運用之間的不一致，可能使得后續(xù)

2、的處理過程發(fā)生偏斜和錯誤，進(jìn)而得到不可靠的結(jié)論，尤其是在數(shù)據(jù)挖掘中這種現(xiàn)象更為嚴(yán)重。因而，在一定程度上需要容忍可用性較差的數(shù)據(jù)存在并直接基于這些弱可用的數(shù)據(jù)進(jìn)行分析處理。此外，在數(shù)據(jù)挖掘與機器學(xué)習(xí)領(lǐng)域雖然人們提出了許多分類算法，但是所提出的方法通常假定數(shù)據(jù)是高度可用的，很少考慮到數(shù)據(jù)的質(zhì)量問題。為了避免數(shù)據(jù)清洗和修復(fù)可能引入的誤差，也同時將數(shù)據(jù)可用性和分類算法作為一個整體考慮，本文研究弱可用性數(shù)據(jù)上的分類算法。
　　文中主要研究了

3、如何直接在不完整和含有噪聲的數(shù)據(jù)上進(jìn)行分類。針對不完整數(shù)據(jù)，給出了基本完整性度量和基于熵的完整性度量，分別從屬性、元組、類別、數(shù)據(jù)集四個層次度量了訓(xùn)練數(shù)據(jù)的完整性，提出了基于區(qū)間集合和基于信息論的分類算法?；趨^(qū)間集合的方法利用集合作為上下界來刻畫缺失屬性組合所覆蓋的實例，并通過并交差補運算得到分類規(guī)則，最終針對每條分類規(guī)則給出相應(yīng)的置信區(qū)間?；谛畔⒄摰姆椒▽⒎诸愐暈橐粋€不斷減小不確定性的過程，算法首先計算類別的初始不確定性，然后利用