概率圖上的流形學習.pdf

1、對訓練數(shù)據(jù)的建模是機器學習中的一個核心問題，本文將數(shù)據(jù)建模的兩種經(jīng)典方法——流形學習與統(tǒng)計學習作了結合，相互取長補短。在我們之前一些相關工作的基礎之上，本文基于黎曼流形等方面的背景提出了一個完整的理論框架，設計了兩個互補的優(yōu)化算法，并通過大量的收斂性證明，凸性分析，以及計算復雜性等分析，將算法的外沿和應用范圍作了極大的拓展，同時本文還設計了一套高效靈活的通用概率推斷引擎，稱為YASIE(Yet Another Statistical I

2、nference Engine)，使得所有這些方法可以用類似搭積木的方式進行自由組合。在此基礎上，我們給出了這些方法和工具應用在兩個經(jīng)典的機器學習問題上的實驗結果。對于訓練數(shù)據(jù)大部分沒有標記的半監(jiān)督學習，本文總結的方法能取得尤其好的效果，相關的工作發(fā)表在ACM Multimedia，IEEE TKDE等國際一流會議和雜志上。
　　 流形學習是假定訓練數(shù)據(jù)的本征維度比它們實際的維度要小很多，可能出現(xiàn)的數(shù)據(jù)分布在其所在高維空間中的一

3、個低維的子流形上。而流形學習的任務是要用給出的有限個樣本來推測流形的結構，計算并逼近一些對應的真實流形相應的幾何性質(zhì)．如低維子流形嵌入，切空間，拉普拉斯算子等。現(xiàn)有的流形學習通過在樣點數(shù)據(jù)之間建立一個鄰接關系圖，并由這個圖的結構誘導出一個朋于優(yōu)化圖上每個節(jié)點的標記的目標涵數(shù)。它的特點是高度非參數(shù)，對于數(shù)據(jù)間的結構的把握高效精準，恰到好處，并且常?？梢宰C明用圖結構離散地計算得到的結果在樣本數(shù)足夠多時能收斂到連續(xù)的情況。但它的問題存于應對多

4、模態(tài)，具有復雜數(shù)據(jù)結構的輸入訓練數(shù)據(jù)時，顯得力不從心。數(shù)據(jù)的結構上的關系不能得到有效地建模，并且很難應用先驗信息。此外，為適應動態(tài)變化的數(shù)據(jù)而提出的在線學習的需求常常很難用流形學習得到滿足。另一方面，統(tǒng)計學習通過使用具有一定分解形式的聯(lián)合概率分布來建模給出的數(shù)據(jù)，得利于統(tǒng)計學深厚的積累，對于上述流形學習所遇到的問題能有比較好的解決方案。但它的問題在于模型通常是高度參數(shù)化的，它能否很好地擬合給出的數(shù)據(jù)依賴于參數(shù)形式指定地是否準確，對于數(shù)據(jù)

5、分布在比較復雜的流形上的情況，同樣捉襟見肘。
　　 本文從兩個不同的途徑結合兩種學習方法，一種是把流形學習誘導出的目標函數(shù)添加到統(tǒng)計學習的優(yōu)化準則中，作為一個正則項。本文大部分成形的工作基于這個思路。另一個途徑是用統(tǒng)計學習的一個基本工具——概率圖模型，直接去建模用于流形學習的鄰接關系圖，使得它所反應的概率依賴關系在概率圖上得到直接的表達，從而更自然得融入到原有的統(tǒng)計學習中去。并且我們可以證明：(ⅰ)部分流形正則項可以用一定形式的