半監(jiān)督聚類并行化實(shí)現(xiàn)的研究.pdf

1、作為一種重要的數(shù)據(jù)分析方法，聚類分析按照某種相似性度量將樣本對象劃分到不同的聚類中，并要求同一聚類中的樣本相似性盡可能地大，而不同聚類中樣本相似性盡可能地小。同時(shí)，作為一種無監(jiān)督學(xué)習(xí)方法，聚類分析在對樣本進(jìn)行劃分前并不了解樣本的目標(biāo)屬性。但是在許多實(shí)際應(yīng)用中，在獲得大部分未標(biāo)記樣本之外，通常還可以獲得少部分帶有監(jiān)督信息的樣本，半監(jiān)督聚類便是研究如何利用這些少量的監(jiān)督信息來指導(dǎo)未標(biāo)記樣本的聚類過程。
　　半監(jiān)督聚類中通常包含兩種類型

2、的監(jiān)督信息，一種是樣本的類別標(biāo)記，另一種是一對樣本的成對約束關(guān)系，其中樣本的類別標(biāo)記結(jié)合樣本信息可以構(gòu)成Seeds集。為了克服傳統(tǒng)半監(jiān)督聚類算法中監(jiān)督信息使用不充分的問題，本文結(jié)合使用了樣本的類別標(biāo)記和成對約束這兩種監(jiān)督信息指導(dǎo)Kmeans聚類過程，提出一種基于Seeds集和成對約束的半監(jiān)督聚類算法SC-Kmeans（Kmeans based on Seeds set and pairwise constraints）。算法首先利用Se

3、eds集對成對約束規(guī)模進(jìn)行擴(kuò)充，然后根據(jù)Seeds集計(jì)算初始聚類中心，優(yōu)化聚類初始化效果，最后將擴(kuò)充后的成對約束集引入算法中指導(dǎo)樣本的劃分過程，要求樣本在劃分過程中不能違反成對約束條件。
　　同時(shí)，為了獲得更高質(zhì)量的監(jiān)督信息，本文通過對監(jiān)督信息中所含信息量的分析和判斷，將主動(dòng)學(xué)習(xí)算法引入到SC-Kmeans中，設(shè)計(jì)一種主動(dòng)半監(jiān)督聚類算法Active SC-Kmeans。該算法使用最遠(yuǎn)距離優(yōu)先選擇策略對未標(biāo)記樣本提出標(biāo)記請求，選擇與

4、Seeds集中樣本距離最遠(yuǎn)的未標(biāo)記樣本對象進(jìn)行標(biāo)注，能夠通過盡量小的代價(jià)選取出信息含有量較高的監(jiān)督信息，提高SC-Kmeans算法聚類準(zhǔn)確率。
　　針對目前聚類算法處理大規(guī)模數(shù)據(jù)集時(shí)間效率較低的問題，本文利用Spark并行計(jì)算框架，將提出的SC-Kmeans算法實(shí)現(xiàn)并行化處理。根據(jù)SC-Kmeans算法需要頻繁迭代運(yùn)算的特性，應(yīng)用Spark計(jì)算框架基于內(nèi)存的計(jì)算方式，設(shè)計(jì)出SC-Kmeans的并行化算法Spark SC-Kmean