基于投影的高維數(shù)據(jù)異常檢測研究.pdf

1、數(shù)據(jù)挖掘是從大量的數(shù)據(jù)集中提取隱含的、未知的、潛在有用的知識的過程。異常檢測是數(shù)據(jù)挖掘中一個(gè)非常重要的分支，能發(fā)現(xiàn)隱含在數(shù)據(jù)集中的小模式，這種小模式常常隱含著重要信息，在很多應(yīng)用領(lǐng)域有重要的研究價(jià)值。如電信和信用卡交易中的詐騙檢測、天氣預(yù)報(bào)中的災(zāi)害預(yù)報(bào)、網(wǎng)絡(luò)訪問中的入侵檢測等。 在實(shí)際應(yīng)用中經(jīng)常會碰到高維數(shù)據(jù)，如交易數(shù)據(jù)、文檔詞頻數(shù)據(jù)等，因此加強(qiáng)對高維數(shù)據(jù)挖掘的研究有著非常重要的意義。但由于高維數(shù)據(jù)的特殊性，如隨著數(shù)據(jù)維數(shù)的升高

2、，高維索引結(jié)構(gòu)的性能迅速下降；由于高維數(shù)據(jù)的稀疏性，采用LP距離作為數(shù)據(jù)之間的相似性度量，在很多情況下這種相似性的概念已不復(fù)存在等等，這些都給高維數(shù)據(jù)挖掘帶來了極大的困難。 很多常規(guī)聚類算法雖然能進(jìn)行異常檢測，但僅僅將異常點(diǎn)作為聚類的副產(chǎn)品。近幾年，出現(xiàn)了一些專門的異常檢測算法，在理論上和算法應(yīng)用上有一定的突破，但主要針對低維數(shù)值型數(shù)據(jù)集的研究?，F(xiàn)實(shí)世界中，很多數(shù)據(jù)集具有內(nèi)在高維特性，使得這些算法檢測性能急劇下降，而且算法對異常

3、點(diǎn)的解釋相對滯后。 本文針對目前主流的異常檢測算法存在的問題，對異常檢測技術(shù)進(jìn)行了深入研究，指出了這些算法在高維數(shù)據(jù)集應(yīng)用上存在的缺陷，并基于投影思想和頻繁項(xiàng)集的概念，提出了一種新的異常檢測算法OHDHMAP，該算法不僅能較好地解決高維數(shù)據(jù)集的稀疏性問題，也能將數(shù)據(jù)集的類型從數(shù)值型擴(kuò)展到混合型，并且能對異常點(diǎn)作出一定的解釋，有利于區(qū)分異常點(diǎn)和噪聲。實(shí)驗(yàn)表明，該算法具有較好的檢測性能。 本論文針對對異常挖掘的研究，對高維數(shù)