基于Hadoop云平臺的分布式支持向量機(jī)研究.pdf

1、支持向量機(jī)(Support Vector Machine, SVM)是Vapnik等人提出的一種基于統(tǒng)計(jì)學(xué)理論的機(jī)器學(xué)習(xí)算法。該算法在建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和最小化結(jié)構(gòu)風(fēng)險原理的基礎(chǔ)上,在解決小樣本、非線性以及高維模式識別問題中都表現(xiàn)出了良好的性能。因此,這種新型的機(jī)器學(xué)習(xí)方法越來越受到各個領(lǐng)域的專家和學(xué)者們的青睞,日益成為數(shù)據(jù)挖掘技術(shù)中解決分類和回歸問題的一個強(qiáng)有力的工具。
　　然而,隨著數(shù)據(jù)集規(guī)模的逐漸增大,SVM算法

2、在訓(xùn)練過程中尋找全局最優(yōu)支持向量的過程變的十分緩慢,并且占用大量的計(jì)算機(jī)軟硬件資源,甚至無法在有效的時間和實(shí)際環(huán)境允許的條件下得到訓(xùn)練模型。
　　云計(jì)算的提出為海量數(shù)據(jù)挖掘技術(shù)的發(fā)展帶來了曙光。憑借云平臺分布式文件系統(tǒng)強(qiáng)大的存儲能力,同時將傳統(tǒng)的數(shù)據(jù)挖掘算法進(jìn)行分布式并行化處理,給海量數(shù)據(jù)挖掘技術(shù)的發(fā)展提供了良好的契機(jī)。
　　本文從Hadoop云平臺的分布式文件系統(tǒng)(HadoopDistributed File System

3、,HDFS)和分布式編程框架MapReduce兩個方面對當(dāng)前最流行的開源云計(jì)算平臺Hadoop進(jìn)行了闡述,同時,對MapReduce計(jì)算框架的內(nèi)部運(yùn)行機(jī)制進(jìn)行了深入剖析,并在Linux環(huán)境下基于Hadoop-1.0.0版本搭建了完全分布式的Hadoop云平臺。
　　Hadoop云平臺依靠HDFS實(shí)現(xiàn)了對大規(guī)模數(shù)據(jù)集的分塊存儲。本文通過讀取hdfs-site.xml配置文件中的dfs.block.size屬性,將數(shù)據(jù)集按照容量大小進(jìn)

4、行了劃分,然后,對分配在datanode節(jié)點(diǎn)上的每個block采用基于MapReduce編程框架的并行SVM算法進(jìn)行并行化訓(xùn)練。
　　傳統(tǒng)的支持向量機(jī)算法在訓(xùn)練過程中的參數(shù)設(shè)置主要依賴于經(jīng)驗(yàn)值的選取。本文在并行SVM算法訓(xùn)練過程中,采用了遺傳算法對支持向量機(jī)的核函數(shù)類型、懲罰因子以及核函數(shù)參數(shù)進(jìn)行了組合優(yōu)化。實(shí)驗(yàn)結(jié)果分析表明,與依賴于經(jīng)驗(yàn)值進(jìn)行參數(shù)設(shè)置的傳統(tǒng)SVM算法相比,采用遺傳算法進(jìn)行參數(shù)組合優(yōu)化的SVM算法的預(yù)測精度得到了比