基于積分算子譜分析的核方法模型選擇.pdf

1、核方法模型選擇是核方法理論研究和實(shí)際應(yīng)用的關(guān)鍵問(wèn)題。已有的核方法模型選擇工作缺乏對(duì)再生核希爾伯特空間(RKHS)的精確刻畫(huà)和描述，核方法模型選擇缺乏可解釋性；核方法模型選擇準(zhǔn)則大多基于模型復(fù)雜度，但模型復(fù)雜度難以表示與度量；缺乏理論堅(jiān)實(shí)且實(shí)現(xiàn)簡(jiǎn)單的核方法模型選擇準(zhǔn)則和算法。
　　積分算子包含核函數(shù)在輸入空間上的全部信息，是當(dāng)前核方法學(xué)習(xí)理論研究的重要工具。由于積分算子可由譜分解線(xiàn)性表征，因此本文基于積分算子譜分析，深入RKHS的顯

2、式結(jié)構(gòu)和積分算子理論本源，研究核方法模型選擇理論與方法。具體內(nèi)容如下：
　　1.提出積分算子空間顯式構(gòu)造方法。提出兩種RKHS顯式構(gòu)造方法：框架核RKHS構(gòu)造方法和近似高斯核RKHS構(gòu)造方法。首先，基于框架理論和泰勒展開(kāi)，給出框架核和近似高斯核構(gòu)造方法。然后，顯式描述框架核和近似高斯核對(duì)應(yīng)積分算子的特征值與特征函數(shù)，并構(gòu)造其對(duì)應(yīng)的RKHS和特征映射，由此精確刻畫(huà)核方法假設(shè)空間的結(jié)構(gòu)，增強(qiáng)核方法的可解釋性。
　　2.提出譜模型

3、選擇泛化理論。定義兩種新的模型復(fù)雜度：譜穩(wěn)定性和譜比率，并利用所提模型復(fù)雜度建立泛化誤差界。具體地，在顯式積分算子空間中，研究譜穩(wěn)定性對(duì)核學(xué)習(xí)算法輸出假設(shè)的影響，進(jìn)而建立基于譜穩(wěn)定性的泛化誤差界；刻畫(huà)譜比率與局部Rademacher復(fù)雜度的關(guān)系，建立收斂率可達(dá)O(1/n)的泛化誤差界。
　　3.提出譜模型選擇準(zhǔn)則和算法。基于譜模型選擇泛化誤差理論，通過(guò)最小化泛化誤差理論界，給出譜穩(wěn)定性和譜比率模型選擇準(zhǔn)則。進(jìn)一步，將譜模型復(fù)雜度融