高維分類屬性的子空間聚類算法研究.pdf

1、聚類分析是數(shù)據(jù)挖掘的重要研究內(nèi)容，也是數(shù)據(jù)挖掘研究領(lǐng)域中的一個難點。其中對高維數(shù)據(jù)空間的分析更是研究的熱點。由于“維噩夢”現(xiàn)象的存在，高維數(shù)據(jù)不可能在全維空間密集，并且兩個數(shù)據(jù)點間的距離變得幾乎等同，因此很難再通過距離來區(qū)別數(shù)據(jù)點是否相似，從而絕大多數(shù)傳統(tǒng)聚類算法在處理高維數(shù)據(jù)空間時都無法得到理想的效果。目前，子空間聚類是高維大規(guī)模數(shù)據(jù)聚類的主要解決方法。 在高維數(shù)據(jù)研究領(lǐng)域中，分類數(shù)據(jù)的處理一直是研究者所面臨的巨大挑戰(zhàn)。傳統(tǒng)子

2、空間聚類算法主要針對連續(xù)性數(shù)據(jù)的聚類，難以處理高維分類屬性數(shù)據(jù)集。通過對常用子空間聚類算法分析發(fā)現(xiàn)，在確定簇的子空間時都需要多次掃描數(shù)據(jù)庫，導(dǎo)致了算法的時間效率不高。我們發(fā)現(xiàn)子空間的確定與關(guān)聯(lián)規(guī)則中頻繁模式的挖掘具有相似性，利用頻繁模式增長方法FP-Growth(Frequent Pattern-Growth)只需掃描兩遍數(shù)據(jù)庫就可以得到所有信息，從而找到所有頻繁模式。 本文提出了一種處理高維分類數(shù)據(jù)集的子空間聚類算法(FPSU

3、B)。該算法首先將分類數(shù)據(jù)集轉(zhuǎn)化為事務(wù)數(shù)據(jù)集，將子空間聚類問題轉(zhuǎn)化為尋找最大頻繁項集問題。FPSUB利用壓縮了所有關(guān)聯(lián)信息的FP-Tree(Frequent Pattern-Tree)結(jié)構(gòu)來存儲數(shù)據(jù)集信息，高效的挖掘出所有屬性值的頻繁模式，即子空間，然后利用這些子空間進行對象聚類，還可以根據(jù)用戶需求對聚類結(jié)果進行處理，而無需給定初始簇的數(shù)目。 本文將該算法同其他算法在真實數(shù)據(jù)集上進行了實驗比較，由實驗結(jié)果可以看出FPSUB算法比