采用ReliefF特征加權(quán)的NIC算法研究.pdf

1、聚類分析是一種非監(jiān)督的機(jī)器學(xué)習(xí)方法。在數(shù)據(jù)集分布情況未知時(shí)，通常分析員會(huì)尋找一種合適的聚類算法將數(shù)據(jù)集人為地劃分成若干類，從而揭示這些數(shù)據(jù)的真實(shí)分布。聚類分析是多元統(tǒng)計(jì)分析的方法之一，其基本原理是在無(wú)先驗(yàn)知識(shí)的情況下，按照物以類聚的原則分析模式矢量之間的距離及離散度，以樣本的距離遠(yuǎn)近劃分類別，相似的樣本盡量歸為一類，而不相似的樣本分布在不同的類。采用這種分析方法可定量地確定研究對(duì)象之間的親疏關(guān)系，從而達(dá)到對(duì)其合理分類分析等目的。

2、　　NIC算法是基于最大化數(shù)據(jù)點(diǎn)與簇之間的互信息的聚類算法，它既不需要提供的數(shù)據(jù)的分布模式，也不需要提供集群內(nèi)分布的參數(shù)模型。而是利用基于kNN熵估計(jì)量的方法來(lái)計(jì)算目標(biāo)函數(shù)。然而，NIC算法假定待分析的樣本中各維特征對(duì)分類的貢獻(xiàn)是均勻的。事實(shí)上，由于構(gòu)成數(shù)據(jù)集中特征數(shù)量的各維特征來(lái)自不同的傳感器，存在量綱差異和精度及可靠性的不同。因此，每個(gè)特征對(duì)聚類的影響是不同的。為了考慮特征矢量中各維特征對(duì)聚類結(jié)果的不同貢獻(xiàn)，本文提出一種基于特征加權(quán)

3、的聚類算法，新算法利用特征加權(quán)技術(shù)ReliefF對(duì)特征進(jìn)行加權(quán)變換，即給特征集中每一特征賦予一定的權(quán)重，并迭代更新權(quán)值，然后根據(jù)權(quán)值大小變化特征集，使得好的特征聚集同類樣本，離散異類樣本。特征加權(quán)后再對(duì)其進(jìn)行聚類分析。算法中使用信息熵來(lái)反應(yīng)特征項(xiàng)對(duì)聚類結(jié)果的重要程度。
　　為驗(yàn)證所提出的基于ReliefF的NIC算法的合理性和有效性，本文進(jìn)行了三組實(shí)驗(yàn)。涉及到了傳統(tǒng)的NIC聚類算法和其他經(jīng)典聚類算法。實(shí)驗(yàn)中將本文提出的加權(quán)NIC算