支持向量機和支持向量域描述的若干問題研究.pdf

1、支持向量機(Support Vector Maclune，SVM)是基于統(tǒng)計學習理論提出的一種新型有監(jiān)督模式識別方法.采用結構風險最小化原則，SVM在最大化分類間隔和最小化分類誤差之間取得折衷，以控制分類器的泛化能力.SVM較好地解決了小樣本、高維數及非線性等實際問題，具有擬合精度高、選擇參數少、推廣能力強和全局最優(yōu)等特點.SVM成為機器學習領域新的研究熱點，并被廣泛應用到模式識別、函數擬合和密度估計等領域，本文針對大規(guī)模樣本集的SVM

2、訓練問題、SVM的集成學習問題、變形SVM問題、支持向量域描述(Support VectorDomain Description，SVDD)的快速訓練問題等進行研究，主要研究工作如下：
　　 1.研究了大規(guī)模樣本集的SVM訓練算法.SVM在訓練大規(guī)模樣本集時面臨著占用內存多、計算代價大的問題，這也成為實際應用的瓶頸問題，基于并行學習中“分而治之”的理念和“支持向量與全體訓練樣本等價”的結論，提出一種同心超球面支持向量機(Hype

3、rsphere Support Vector Machine，HSVM). HSVM以相同層數的兩組同心超球面組對正負兩類樣本進行分割，對分層間隔內的樣本采用SVM訓練，合并所有分層間隔中支持向量的并集以參與最終的SVM訓練.HSVM既保持了SVM的分類精度又降低了SVM的訓練時間。
　　 2.研究了SVM的集成學習算法，運用集成學習的理念構造了一種空間支持向量域分類器(Space Support Vector Domain C

4、lassifier，SSVDC)。選取支持向量域分類器(Support Vector Domain Classifier，SVDC)和K近鄰(K NearestNeighbor，KNN)作為子分類器，SSVDC以選擇集成的策略對兩者的預測結果進行集成.SSVDC首先采用SVDD求得兩類樣本的最小包圍超球，并以超球的描述邊界將訓練樣本劃分為互不相交的幾個區(qū)域；其次計算待測樣本到兩個最小包圍超球球心的距離，根據其與兩個最小包圍超球半徑的大小

5、關系判斷待測樣本所處區(qū)域；最后選擇相應的子分類器得到最終的分類結果。由于子分類器均針對樣本的某個子集進行訓練，SSVDC具有較短的訓練時間。由于根據樣本的分布選取相應的子分類器，SSVDC具有較高的分類精度且其分類精度受核參數變化的影響不大，數值實驗驗證了SSVDC的有效性以及對比SVM和SVDC的優(yōu)越性.
　　 3.研究了變形SVM算法，通過改變原始優(yōu)化問題的函數項、變量或系數得到了一系列變形SVM算法，這在一定程度拓寬了SV

6、M的應用范圍。針對變形SVM中的二次損失函數SVM，構造一種光滑對角加權支持向量機(Smooth DiagonalWeighted Support Vector Machine，SDWSVM)。在線性空間中，直接運用光滑技術得到光滑模型，也即采取Sigmoid函數的積分函數來逼近正號函數形式的松弛。在非線性空間中，先分別利用Lagrange乘子向量來代替分類超平面的權值向量和原。對偶規(guī)劃隱含的分類超平面的權值向量表達式對原規(guī)劃的目標函數

7、進行轉換，再利用光滑技術構造光滑模型。對線性空間和非線性空間中得到的光滑模型，均采用Newton法求解，具有較高的效率。
　　 4.提出了一種約簡支持向量域描述算法(Reduced Support Vector DomainDescription，RSVDD)。SVDD的訓練即為求解一個所含未知數個數等于全體訓練樣本個數的凸二次規(guī)劃，為了提高SVDD的訓練速度，RSVDD對每個樣本定義一種自中心距離比值，定義此值為該樣本到中心的

8、距離與所有樣本的平均中心距離的比值，并以此值作為判斷該樣本成為支持向量的可能性度量。RSVDD選取自中心距離比值較大的部分樣本參與SVDD訓練，從而減少了待解QP的規(guī)模，該算法引入參數少，易于實現且保持了目標類精度。
　　 5.提出了一種信賴支持向量域描述算法(Confdence Support Vector DomainDescription，CSVDD)。由于支持向量往往分布在SVDD的描述邊界附近，基于這個幾何特性，定義了