基于Hadoop平臺的譜聚類算法研究.pdf

1、聚類算法是數據挖掘領域中重要技術之一,數據挖掘研究的主要內容是從眾多數據中挖掘出一些有用的和有價值的信息,其技術已經應用到工業(yè)、商業(yè)等眾多領域。然而隨著眾多領域的飛速發(fā)展,其產生的數據量也在不斷的擴大,傳統(tǒng)的技術對數據的處理在時間上和硬件上已經不能滿足日益增長的數據量,如何行之有效的處理海量數據已經成為迫在眉睫的首要任務,因此如何將并行計算方式應用到大數據集上,已成為熱門的研究領域。
　　傳統(tǒng)的并行計算模式和計算方法主要是基于時間

2、并行和空間并行,但是前者對于數據的處理要求較高,并行設計程序比較繁瑣,一般主要用于科學計算領域,而后者對于并行所用的硬件要求很高,價格比較昂貴并且硬件的淘汰速度很快,造成極大的浪費,在數據量急劇增長的今天,迫切需要相應技術解決此問題。
　　Google提出的MapReduce計算模式,因為其封裝了底層復雜的編寫過程,用戶不在為編寫復雜的數據分割程序、任務調度程序、并行處理程序而發(fā)愁,只需關心自己需要解決的問題,從而一經推出就受到了

3、廣泛的關注,美中不足的是其為“閉源”框架。Apache Hadoop在2008年實現(xiàn)了針對MapReduce編程模型的開放源代碼,近些年隨著數據量的不斷增長,Hadoop平臺得到了廣泛應用,本文是在深入了解Hadoop平臺之后,在Linux操作系統(tǒng)上部署Hadoop云計算試驗平臺,通過對聚類算法的深入了解,進行了基于Hadoop平臺的譜聚類算法研究。
　　譜聚類算法與以往的聚類算法相比,其更適合大數據的處理,在面對高維度并且不規(guī)則

4、的數據時不會陷入最優(yōu)解,本文從傳統(tǒng)的譜聚類算法過程入手,分析出其可以并行的部分,主要工作是計算拉普拉斯矩陣的特征值和特征向量,從而結合云計算平臺實現(xiàn)并行處理。在深入熟悉MapReduce編程框架之后,對譜聚類算法進行數據分割和任務并行。實驗數據采用Wikipedia數據和人工合成數據進行實驗測試,通過實驗結果可以顯示出并行之后的譜聚類算法在Hadoop平臺上表現(xiàn)出了良好的效果,大大提高了在單機上處理數據的時間速度,并且在加速比、數據伸縮