流形學習理論與算法研究.pdf

1、本文從學習結果應當有利于人們對數(shù)據(jù)集內(nèi)部結構認知的思想出發(fā)，深入分析了非監(jiān)督學習的特征提取任務和數(shù)據(jù)拓撲結構描述任務對流形學習模型與算法的要求，并討論了現(xiàn)有主要流形學習理論和算法與這些要求的相容性。對于非監(jiān)督特征提取任務，提出了流形學習理論與算法應當遵循的兩個準則：“重構誤差最小化”準則與“相似性保持”準則，以保證人們通過提取的特征，能夠正確地理解數(shù)據(jù)集的內(nèi)在性質(zhì)。以這兩個準則為標準，澄清了非監(jiān)督特征提取任務中過擬合與欠擬合的概念，提出

2、了對特征提取算法的評價標準，并深入地分析了現(xiàn)有多種主要流形學習理論和算法存在的問題，指出目前尚無滿足此二準則的流形學習理論模型。對于數(shù)據(jù)拓撲結構描述任務，研究指出，為使人們能夠正確且直觀地認知數(shù)據(jù)集的拓撲結構，拓撲結構學習模型與算法應當具有較強的拓撲結構生成能力，且在其學習結果與數(shù)據(jù)集的拓撲結構之間建立起對應關系。根據(jù)此標準，分析并比較了現(xiàn)有的多種拓撲結構學習理論與算法，發(fā)現(xiàn)這些理論與算法無法很好地實現(xiàn)上述要求，從而在準確并直觀地表達數(shù)

3、據(jù)的拓撲結構方面存在缺憾。為解決當前流形學習理論與算法中存在的上述問題，開展了以下幾個方面的研究： (一)基于非監(jiān)督特征提取任務的“重構誤差最小化”準則與“相似性保持”準則，提出了“相似性保持主曲線”的概念，證明了其存在性，研究了其微分性質(zhì)并將其推廣到高維情形。相似性保持主曲線理論的意義在于其在保持數(shù)據(jù)之間相似關系不變的條件下，取得對數(shù)據(jù)的最佳逼近，因此是特征提取任務的最優(yōu)一維特征提取模型。相似性保持主曲線及其高維推廣的理論完善

4、了流形學習理論，可以做為特征提取任務下流形學習算法的理論目標，具有重要的理論意義。提出了相似性保持主曲線的一個學習算法。在仿真數(shù)據(jù)集與真實數(shù)據(jù)集上的試驗結果表明了該學習算法的有效性，從而驗證了相似性保持主曲線理論的合理性。 (二)針對現(xiàn)有嵌入流形學習方法在面臨一些具有強非線性性質(zhì)的數(shù)據(jù)集時出現(xiàn)欠擬合現(xiàn)象的問題，提出了一種新的嵌入算法--“全局拉普拉斯特征映射”算法。與LLE等局部方法相比，該算法在考慮數(shù)據(jù)集的局部信息的同時，還考

5、慮了數(shù)據(jù)集的全局信息；而與ISOMap等全局方法相比，該算法以一種更加靈活的方式來處理數(shù)據(jù)的全局信息，從而避免了ISOMap方法拘泥于保持全局流形距離帶來的局限。在一些具有強非線性性質(zhì)的數(shù)據(jù)集上的實驗結果表明，該算法獲得了低于大多數(shù)甚至所有其他參測嵌入方法的重構誤差。 (三)以使人們能夠直觀地認知數(shù)據(jù)集的拓撲結構為目的，提出了數(shù)據(jù)集的“主拓撲”與“拓撲圖”的概念。數(shù)據(jù)的主拓撲概念表征數(shù)據(jù)最顯著的拓撲特征，而拓撲圖則是對主拓撲的簡