基于流形學習的高維空間分類器研究.pdf

1、隨著各種數(shù)據(jù)采集設備的出現(xiàn)，大量高維的原始數(shù)據(jù)在預處理后才能被用于后續(xù)的各種操作，如聚類、分類、野值檢測等。維數(shù)約簡是數(shù)據(jù)預處理的步驟之一。其目的是在減少數(shù)據(jù)維數(shù)的同時，盡量減少或去除次要的冗余信息，并且保留或增強有意義的信息。因為現(xiàn)實世界中的數(shù)據(jù)多是非線性的，利用線性降維技術(如主成分分析，PCA)在映射到低維空間時，并不能保持高維空間的幾何結(jié)構和關系。流形學習是一類新近出現(xiàn)的非線性維數(shù)約簡算法，認為很多數(shù)據(jù)集是偽高維的，有時包含上千

2、特征的數(shù)據(jù)點可以描述為幾個潛在參數(shù)的函數(shù)。換句話說，數(shù)據(jù)點實際上采樣于嵌入到高維空間里的低維流形。流形學習算法試圖確定這些參數(shù)，并發(fā)現(xiàn)數(shù)據(jù)的低維表示。 對流形學習問題的研究有著非常重要的實際意義，在模式分析、數(shù)據(jù)挖掘、圖像處理等領域都有著廣泛的應用。流形學習在分類和聚類方面的研究尚在初始階段，有很多問題尚待解決。本論文研究幾種代表性的流形學習算法，尤其是等距特征映射算法。分析了各種流形學習算法的優(yōu)缺點，并對流形學習若干關鍵問題進

3、入了深入分析和改進，側(cè)重于流形學習中的距離度量、固有維數(shù)、核化等幾個關鍵問題。本文的主要內(nèi)容包括： (1)譜圖理論是流形學習的基礎，本文根據(jù)譜圖理論，充分考慮數(shù)據(jù)的局部結(jié)構，提出了一種基于近鄰自適應尺度的改進譜聚類算法。其基本思想是根據(jù)數(shù)據(jù)點的近鄰分布，對每個點設置一個近鄰自適應尺度，代替標準譜聚類算法中的全局統(tǒng)一尺度。近鄰自適應尺度簡化了參數(shù)的選取，使得新算法對密度的變化不敏感，對離群點有一定的魯棒性，同時比標準譜聚類更適合任

4、意形狀的數(shù)據(jù)分布。然后，將改進的譜聚類算法成功地應用到顏色量化中。 (2)如何自動確定高維數(shù)據(jù)的固有維數(shù)，是流形學習難點之一。極大似然估計(MLE)是一種新近出現(xiàn)的維數(shù)估計方法，實現(xiàn)簡單，選擇合適的近鄰能取得不錯的結(jié)果。但當近鄰數(shù)過小或過大時，均有比較明顯的偏差。其根本原因是沒有考慮每個點對固有維數(shù)的貢獻是不同的。本文充分考慮了數(shù)據(jù)集的分布信息，提出了一種自適應極大似然估計(AMLE)。實驗證明，無論在模擬數(shù)據(jù)集還是真實數(shù)據(jù)集上

5、，AMLE較MLE在估計準確度上均有很大的提高。對近鄰數(shù)的變化也不甚敏感。 (3)等距特征映射(Isomap)是一種有代表性的流形學習算法，該算法高效、簡單，但計算復雜度較高?；诮鐦它c的L-Isomap減少了計算復雜度，但對于界標點的選取，大都采用隨機的方法，致使該算法不穩(wěn)定。本文考慮到樣本點和近鄰點相對位置，將對嵌入流形影響較大的樣本點賦予較高的權重。然后根據(jù)權重大小選擇界標點，同時考慮界標點之間的相對位置，使得選出的界標點

6、不會出現(xiàn)過度集中的現(xiàn)象，近似直線分布的概率也大大降低，從而保證了算法的穩(wěn)定性。實驗結(jié)果表明，該算法在界標點數(shù)量較少的情況下，比L-Isomap穩(wěn)定，且對缺失數(shù)據(jù)的不完整流形，也能獲取和Isomap相差不大的結(jié)果。 (4)高維數(shù)據(jù)中最常見的是圖像數(shù)據(jù)，如何度量圖像數(shù)據(jù)之間的距離是一項有挑戰(zhàn)性的工作。本文提出一種基于圖像距離的等距特征映射：IMD-Isomap。因為圖像距離考慮了圖像的空間分布信息，實驗結(jié)果表明IMD-Isomap比

7、IsomaP的可視化效果更好，尤其在添加噪聲的情況下。然后，結(jié)合泛化回歸神經(jīng)網(wǎng)絡，設計出一種分類器。結(jié)果表明，該分類器對噪聲表現(xiàn)出一定的魯棒性，均比KNN、Isomap或Eigenface的分類效果好。 (5)Isomap是無監(jiān)督的學習算法，本身不具備樣本外測試能力，因而不能直接用于分類。核Isomap是Isomap的改進，利用核技巧獲得了泛化特性。將類別標記信息集成到距離中，得到了加權距離。該距離使得同類點間的距離更近，不同類