支持向量機超參數(shù)調節(jié)方法的研究及其在人臉識別中的應用.pdf

1、支持向量機(Support Vector Machine，SVM)是模式識別領域廣泛使用的強有力的分類工具。SVM的特點主要是通過引入核函數(shù)將原始空間中的訓練數(shù)據(jù)轉換到相應的Hilbert特征空間，使輸入空間線性不可分的問題變成普通的線性可分的問題，其中核函數(shù)(包括核參數(shù))起著非常重要的作用。核函數(shù)(包括核參數(shù))的不同意味著獲得的Hilbert特征空間不同，SVM超參數(shù)(包括核參數(shù)和懲罰參數(shù))的選擇直接影響著SVM的泛化性能，因此而得到

2、的最優(yōu)分類面及分類結果也不同。但是SVM超參數(shù)選擇由于缺乏有效的理論分析，致使該問題成為模式識別、機器學習領域長期存在的難題。
　　 SVM作為分類工具已成功應用于人臉識別，但目前人臉識別研究普遍受到不同姿態(tài)、光照等環(huán)境變化因素的制約。研究表明，具有最佳超參數(shù)的SVM模型可以在一定程度上抑制人臉因環(huán)境變化帶來的影響。而SVM最佳超參數(shù)選擇在實際問題中的應用所遭遇的主要困難是SVM超參數(shù)選擇的效率問題。尤其在解決諸如人臉識別這類具

3、有稀疏、超高維特征的分類問題時就顯得更加突出。為此，本文對SVM超參數(shù)調節(jié)方法進行了研究，提出了適用于人臉識別的SVM超參數(shù)優(yōu)化算法，得到了較好的實驗結果。
　　 本文的主要工作是基于均勻設計(Uniform Design，UD)的基本原理，提出用于解決人臉識別問題的SVM超參數(shù)調節(jié)方法。該方法的核心是用UD代替?zhèn)鹘y(tǒng)的網格(Grid)和梯度下降(Gradient Descent)方法，挑選充分均衡分散在整個試驗范圍內且能得到滿意

4、實驗結果的特征點，通過最小化k折交叉驗證誤差界或留一法(Leave One Out，LOO)誤差界獲取SVM最佳超參數(shù)。
　　 本文在研究中發(fā)現(xiàn)，雖然基于UD的SVM超參數(shù)調節(jié)能有效地降低計算復雜度，但由于該方法采用單目標作為評價標準，在解決人臉識別這一實際問題時，SVM的泛化性能還有待改善。因此，本文進一步提出了多目標均勻設計(Multi-Objective Uniform Design，MOUD)優(yōu)化算法。MOUD方法以靈敏

5、度和精確度作為多目標優(yōu)化算法的目標函數(shù)，并以此代替?zhèn)鹘y(tǒng)的單目標作為SVM超參數(shù)調節(jié)的評價標準，該方法結合UD方法搜索整個試驗范圍內均勻散布的試驗點，這樣不僅能有效地降低計算復雜度，還能在一定程度上保證SVM的泛化能力。本文在UCI模擬數(shù)據(jù)集和人臉圖像庫上進行了驗證實驗。結果表明：本文提出的MOUD方法與傳統(tǒng)的SVM超參數(shù)調節(jié)方法相比，能大大降低超參數(shù)調節(jié)的時間且能在一定程度上提高人臉分類識別率。這使SVM超參數(shù)調節(jié)方法在解決高維人臉真實