基于稀疏學(xué)習(xí)的圖像維數(shù)約簡(jiǎn)和目標(biāo)識(shí)別方法研究.pdf

1、在科學(xué)研究的很多領(lǐng)域,如人臉識(shí)別、生物信息學(xué)、信息檢索等,所獲取的數(shù)據(jù)往往具有很高的維數(shù)。這使得研究人員面臨維數(shù)災(zāi)難問(wèn)題。由于高維空間中過(guò)高的計(jì)算代價(jià)限制了很多技術(shù)在實(shí)際問(wèn)題中的使用。當(dāng)訓(xùn)練樣本數(shù)小于特征維數(shù)時(shí),模型估計(jì)的性能也會(huì)大大下降。如何從高維數(shù)據(jù)中學(xué)習(xí)到一個(gè)符合實(shí)際應(yīng)用需求的有效低維表示已經(jīng)成為模式識(shí)別、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、計(jì)算機(jī)視覺(jué)等領(lǐng)域的研究熱點(diǎn)。
　　在實(shí)踐中,人們通常使用維數(shù)約簡(jiǎn)來(lái)處理維數(shù)災(zāi)難問(wèn)題。在過(guò)去幾十年中,

2、人們提出了各種各樣的維數(shù)約簡(jiǎn)方法。然而很多流行的維數(shù)約簡(jiǎn)方法都存在著一定的局限性,比如主分量分析(PCA)是一種很好的數(shù)據(jù)表示方法,但由于沒(méi)有利用類(lèi)標(biāo)信息,對(duì)分類(lèi)問(wèn)題來(lái)說(shuō)并不是一個(gè)很可靠的方法。由于利用了類(lèi)標(biāo)信息,線(xiàn)性判別分析(LDA)在分類(lèi)問(wèn)題上比PCA更有效,但它至多只能提取K-1個(gè)特征(K是類(lèi)別數(shù))且面臨小樣本問(wèn)題。流行的局部結(jié)構(gòu)保持方法如局部保持投影(LPP)存在需要人工定義近鄰圖的問(wèn)題。最近提出的稀疏結(jié)構(gòu)保持方法稀疏保持投影(

3、SPP)計(jì)算復(fù)雜度非常高。因此,本論文以稀疏學(xué)習(xí)為工具,提出了一系列有監(jiān)督和半監(jiān)督維數(shù)約簡(jiǎn)方法以更快速更有效的學(xué)習(xí)高維數(shù)據(jù)的低維表示和一個(gè)魯棒的目標(biāo)識(shí)別方法,并將所提方法成功應(yīng)用于人臉識(shí)別、文本分類(lèi)、遙感目標(biāo)識(shí)別等實(shí)際問(wèn)題。所取得的主要研究成果包括:
　　1.提出了兩種新的高效的維數(shù)約簡(jiǎn)方法:快速稀疏保持投影(FSPP)和快速Fisher稀疏保持投影(FFSPP),它們以保持高維數(shù)據(jù)中的稀疏表示結(jié)構(gòu)為目的。已有的稀疏保持投影方法中

4、的稀疏表示結(jié)構(gòu)是通過(guò)求解n(樣本數(shù))個(gè)耗時(shí)的l1范數(shù)優(yōu)化問(wèn)題來(lái)獲得的,所提的FSPP通過(guò)逐類(lèi)PCA分解構(gòu)造字典并基于該字典通過(guò)矩陣向量乘來(lái)學(xué)習(xí)稀疏表示結(jié)構(gòu),這樣可以大大降低學(xué)習(xí)稀疏表示結(jié)構(gòu)的計(jì)算復(fù)雜度。FFSPP通過(guò)將Fisher約束加入到FSPP的模型中以達(dá)到同時(shí)考慮稀疏表示結(jié)構(gòu)和判別效率的目的,這進(jìn)一步提升了FSPP的判別能力。所提出的兩個(gè)方法的求解最后都可歸結(jié)為一個(gè)廣義特征值問(wèn)題。在公共人臉數(shù)據(jù)庫(kù)和標(biāo)準(zhǔn)文本數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果驗(yàn)證了

5、所提方法的可行性和有效性。
　　2.提出了一種新的用于人臉識(shí)別的維數(shù)約簡(jiǎn)方法稀疏正則判別分析(SRDA),其目的是同時(shí)尋找一個(gè)最優(yōu)判別子空間并保持?jǐn)?shù)據(jù)的稀疏表示結(jié)構(gòu)。具體來(lái)說(shuō),SRDA首先通過(guò)逐類(lèi)PCA分解構(gòu)造一個(gè)級(jí)聯(lián)字典,并基于所構(gòu)造的字典通過(guò)矩陣向量乘快速學(xué)習(xí)稀疏表示結(jié)構(gòu)。然后 SRDA通過(guò)使用學(xué)習(xí)到的稀疏表示結(jié)構(gòu)來(lái)正則化線(xiàn)性判別分析以達(dá)到同時(shí)考慮稀疏表示結(jié)構(gòu)和判別效率的目的。最后通過(guò)求解一個(gè)廣義特征值問(wèn)題獲得數(shù)據(jù)的最優(yōu)嵌入。

6、在公共人臉數(shù)據(jù)庫(kù)上的廣泛實(shí)驗(yàn)驗(yàn)證了所提方法的可行性和有效性。
　　3.針對(duì)單標(biāo)記圖像人臉識(shí)別問(wèn)題,提出了一種基于子空間類(lèi)標(biāo)傳播和正則判別分析的半監(jiān)督維數(shù)約簡(jiǎn)方法(SLPRDA)。首先,基于子空間假設(shè)設(shè)計(jì)了一種類(lèi)標(biāo)傳播方法,將類(lèi)標(biāo)信息傳播到無(wú)類(lèi)標(biāo)樣本上。然后,在傳播得到的帶類(lèi)標(biāo)數(shù)據(jù)集上使用正則判別分析對(duì)數(shù)據(jù)進(jìn)行維數(shù)約簡(jiǎn)。最后,在低維空間使用最近鄰方法對(duì)測(cè)試人臉完成識(shí)別。另外,為了提高所提方法處理非線(xiàn)性數(shù)據(jù)的能力,基于核方法推導(dǎo)出了所

7、提方法的非線(xiàn)性版本。在公共人臉數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)驗(yàn)證了所提方法的可行性和有效性。
　　4.提出了一種新的半監(jiān)督維數(shù)約簡(jiǎn)方法,雙線(xiàn)性回歸(DLR),以處理單標(biāo)記圖像人臉識(shí)別問(wèn)題。DLR在尋找最優(yōu)判別子空間的同時(shí)盡可能的保持?jǐn)?shù)據(jù)潛在的稀疏表示結(jié)構(gòu)。具體來(lái)說(shuō),首先提出了一個(gè)子空間類(lèi)標(biāo)傳播方法(SALP)來(lái)將類(lèi)標(biāo)信息傳播到無(wú)類(lèi)標(biāo)樣本上,這一過(guò)程主要通過(guò)線(xiàn)性回歸(LR)完成。然后,基于傳播得到的帶類(lèi)標(biāo)數(shù)據(jù)集,通過(guò)線(xiàn)性回歸(LR)構(gòu)造一個(gè)稀疏表示

8、正則項(xiàng)。最后,為了同時(shí)考慮判別有效性和對(duì)稀疏表示結(jié)構(gòu)的保持,DLR使用之前構(gòu)造的稀疏表示正則項(xiàng)對(duì)線(xiàn)性判別分析進(jìn)行正則化,在公共人臉數(shù)據(jù)庫(kù)上的大量實(shí)驗(yàn)驗(yàn)證了所提方法的有效性。
　　5.針對(duì)含有殘缺圖像的遙感圖像目標(biāo)識(shí)別問(wèn)題,提出了一種基于旋轉(zhuǎn)擴(kuò)展和稀疏表示的目標(biāo)識(shí)別方法(RETSRC)。首先對(duì)訓(xùn)練集進(jìn)行旋轉(zhuǎn)擴(kuò)展,使得測(cè)試圖像能近似用訓(xùn)練集稀疏表示,然后通過(guò)求解一個(gè)l1范數(shù)最小化問(wèn)題得到測(cè)試圖像相對(duì)于訓(xùn)練集的一個(gè)稀疏表示,進(jìn)而根據(jù)不同