基于密度峰值和維度概率模型的混合屬性數(shù)據(jù)聚類(lèi)研究.pdf

1、隨著大數(shù)據(jù)時(shí)代的到來(lái)，人工智能、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)對(duì)現(xiàn)代社會(huì)的影響越來(lái)越深遠(yuǎn)。聚類(lèi)分析作為人類(lèi)認(rèn)識(shí)世界的基本能力，受到了越來(lái)越多科研工作者的重視。由于混合屬性數(shù)據(jù)的普遍存在和其統(tǒng)一距離度量的困難性，混合屬性數(shù)據(jù)聚類(lèi)的研究一直是聚類(lèi)分析研究中的熱點(diǎn)之一。
　　本文對(duì)混合屬性數(shù)據(jù)聚類(lèi)中的相似性度量、聚簇信息表示、自適應(yīng)聚類(lèi)和基于密度峰值和維度概率模型的聚類(lèi)新方法進(jìn)行了深入研究分析，取得了如下研究成果:
　　(1)針對(duì)聚簇信息

2、的表示問(wèn)題，創(chuàng)新性地提出了維度概率模型的概念。本文首先定義了面向數(shù)值屬性數(shù)據(jù)的維度概率分布、維度概率摘要等相關(guān)概念和點(diǎn)簇相似度、簇簇相似度的計(jì)算方法，接著提出了基于該模型的DMPCAH層次聚類(lèi)算法。最后通過(guò)實(shí)驗(yàn)對(duì)比分析發(fā)現(xiàn)，該算法比傳統(tǒng)的K-Means算法和AGNES層次聚類(lèi)算法在聚類(lèi)精度上有了較大的提高，并可實(shí)現(xiàn)聚簇?cái)?shù)目的自動(dòng)確定和離群點(diǎn)的識(shí)別。在此研究基礎(chǔ)上，本文進(jìn)一步將維度概率模型擴(kuò)展到混合屬性數(shù)據(jù)的聚類(lèi)分析中，定義了面向混合屬性

3、數(shù)據(jù)的維度概率模型的相關(guān)概念和相似度計(jì)算方法。基于此模型，結(jié)合最新的密度峰值聚類(lèi)算法，提出了面向混合屬性數(shù)據(jù)的DPKM和DPM聚類(lèi)算法。實(shí)驗(yàn)分析表明，DPKM算法能夠有效進(jìn)行混合屬性數(shù)據(jù)聚類(lèi)，比傳統(tǒng)的K-Prototypes算法聚類(lèi)精度更高;DPM算法利用點(diǎn)簇相似性度量對(duì)DPC聚類(lèi)的數(shù)據(jù)點(diǎn)進(jìn)行重新分配，能夠有效提高原DPC聚類(lèi)算法的聚類(lèi)效果。
　　(2)針對(duì)混合屬性數(shù)據(jù)統(tǒng)一相似性度量的問(wèn)題，本文提出了一種統(tǒng)一距離度量方法（簡(jiǎn)稱(chēng)為U

4、DM距離），并將其用于生成混合屬性數(shù)據(jù)的距離矩陣;接著提出了一種用于混合屬性數(shù)據(jù)聚類(lèi)的DPC M算法，通過(guò)實(shí)驗(yàn)分析表明，在UCI真實(shí)數(shù)據(jù)集中，DPC M算法的聚類(lèi)準(zhǔn)確度比傳統(tǒng)的K-Prototypes算法提高了4％～13％。此外，本文還將此UDM距離度量方法與現(xiàn)有的Gower距離、K-Prototypes距離、OCIL改進(jìn)距離、Goodall距離進(jìn)行了比較研究，從實(shí)驗(yàn)結(jié)果來(lái)看，本文提出的UDM距離方法在所有實(shí)驗(yàn)數(shù)據(jù)集中表現(xiàn)最穩(wěn)定，其時(shí)間

5、復(fù)雜度也比較低，運(yùn)行時(shí)間隨著數(shù)據(jù)點(diǎn)數(shù)的增長(zhǎng)率最慢。
　　(3)針對(duì)混合屬性數(shù)據(jù)集中統(tǒng)一相似性度量方法不夠穩(wěn)定，傳統(tǒng)算法無(wú)法自動(dòng)確定聚簇?cái)?shù)目等問(wèn)題，提出了一種基于密度峰值的混合屬性數(shù)據(jù)自適應(yīng)融合聚類(lèi)框架和一種基于該框架的ACEDP算法。算法首先將數(shù)據(jù)集的數(shù)值屬性子集采用可自動(dòng)確定聚簇?cái)?shù)目的聚類(lèi)算法進(jìn)行聚類(lèi)，其結(jié)果映射為分類(lèi)屬性加入到分類(lèi)屬性數(shù)據(jù)子集中;然后采用基于熵權(quán)值改進(jìn)的Goodall距離度量方法生成新分類(lèi)屬性數(shù)據(jù)集的距離矩陣，