基于CURE算法的相似重復(fù)記錄檢測技術(shù)研究.pdf

1、數(shù)據(jù)清洗在數(shù)據(jù)挖掘中占有越來越重要的地位，相似重復(fù)記錄的檢測是數(shù)據(jù)清洗的核心任務(wù)。對于語義重復(fù)記錄的檢測，至今沒有成熟的算法，本文首先利用本體在語義處理方面的優(yōu)勢，提出了一種基于本體的數(shù)據(jù)清洗系統(tǒng)，從理論上對語義重復(fù)記錄檢測進(jìn)行嘗試。 由于傳統(tǒng)相似重復(fù)記錄檢測算法在處理簇形狀不均勻、相似重復(fù)記錄分布較復(fù)雜的大數(shù)據(jù)集時準(zhǔn)確性不高，本文重點(diǎn)提出利用CURE算法效率較高，可以處理任意形狀的簇，對于孤立點(diǎn)數(shù)據(jù)不敏感的優(yōu)點(diǎn)，將其用于相似重

2、復(fù)記錄的檢測并對CURE算法進(jìn)行改進(jìn)。提出了預(yù)抽樣(pre-sampling)概念，可以有效地確定數(shù)據(jù)集中相似重復(fù)記錄的分布情況，提高隨機(jī)抽樣的準(zhǔn)確性。并針對CURE算法選取代表點(diǎn)的不足，提出了一種基于距離影響因子的代表點(diǎn)選取方法，較好地反映了簇的形狀，提高了代表點(diǎn)選取的合理性。 最后，利用改進(jìn)算法構(gòu)建了相似重復(fù)記錄檢測模型CIMDR，詳細(xì)分析了模型的運(yùn)行過程。理論和實(shí)驗(yàn)表明，與傳統(tǒng)算法相比，改進(jìn)算法在相似重復(fù)記錄檢測方面的準(zhǔn)確