若干高維模型變量選擇和模型重建問題的研究.pdf

1、在過去的幾十年內(nèi)，隨著網(wǎng)絡的日趨發(fā)達和計算機存儲功能的日益強大，人們可以搜集到金融市場，基因表達，組合化學和其他許多領域內(nèi)的很多大型數(shù)據(jù)集。這些數(shù)據(jù)集通常具有很高的維數(shù)(大p，小n)。如果直接利用這幾萬或幾十萬甚至更多的變量來建模的話，成本會非常高，而且預測效果也會很差。變量選擇就是一種從這些變量中選擇重要的相關變量來達到穩(wěn)健建模的技術。
　　 本文主要考察了兩個方面的問題：變量選擇和模型糾偏。一方面，研究了一種流行的變量選擇方

2、法Dantzig選擇器的模型選擇的相合性，接著又研究了適應的Dantzig選擇器的大樣本性質(zhì)。二者都是在高維線性模型的背景下研究的。另一方面，對于有偏的子模型，通過在模型中添加一個非參項來調(diào)整子模型，從而部分地糾正了子模型的偏。
　　 關于高維變量選擇問題，已經(jīng)有很多種處理的方法。Dantzig選擇器，作為一種有效的變量選擇方法，是由Candes and Tao(2007)提出來的，這種方法現(xiàn)在已經(jīng)成為一種非常流行的變量選擇方法

3、。但是它的大樣本性質(zhì)，除了Dicker and Lin(2009)以外，幾乎沒有別的文獻研究過。Dicker and Lin(2009)研究了在隨機設計，變量個數(shù)p是固定的情形下，Dantzig選擇器的模型選擇相合性。在論文的第二章中，考慮的是在固定設計的假設下，得到了無論p足固定的還是大于n的時候，Dantzig選擇器的模型選擇相合性。考慮如下的線性模型正如在上面的第二章中證明的，只要潛在的真模型滿足不可表示條件，Dantzig選擇器

4、就具有相合性，但是當不可表示條件不成立的時候，模型選擇的相合性就不再滿足了。此外，Dantzig估計也達不到Fan and Li(2001)和Fan and Peng(2004)里給出的oracle性質(zhì)。發(fā)現(xiàn)Dantzig選擇器的懲罰方式有些不公平，因為所有大小的系數(shù)懲罰的程度都是一樣的。因此，在第三章中，給不同大小的系數(shù)施加不同程度的懲罰，給出了一種加權的Dantzig選擇器，這也就是所謂的適應的Dantzig選擇器。對于適應的Dan

5、tzig選擇器，研究了它在稀疏高維線性模型下的，對于不同大小的p的漸近性質(zhì)。證明了只要能得到一個合理的初始估計，在適當?shù)臈l件下，而無需滿足不可表示條件，適應的Dantzig選擇器具有oraclc性質(zhì)，不管p以多項式的速度還是以指數(shù)的速度趨于無窮。即適應的Dantzig選擇器的解β(ADS)滿足下面兩條：
　　 第三章的最后，對于p≤n和p>n分別給出了都給出了恰當?shù)某跏脊烙嬜鳛檫m應的Dantzig選擇器的權重.
　　 在

6、實際應用中，重要變量通常是依據(jù)于實際經(jīng)驗被選出來的。例如，在醫(yī)學上，尋找某種癌癥的致病基因都是取決于臨床試驗，這種做法通常是不可能把所有與癌癥有關的基因都選出來的。此外，在某些情況下，既使我們使用一種模型選擇相合的變量選擇方法，例如Dantzig選擇器，在一次選擇中，也不可能保證總能成功的選出真模型.因此，在實際應用中，子模型通常都是有偏的。如果就用這個有偏的子模型來做預測或控制的話，肯定得不到好的結果.因此，糾正或者減小子模型的偏是一

7、件非常必要也是非常有意義的事情。在第四章中，對子模型進行重新建模，使得新的模型是可識別的并且無偏的。這里不再考慮線性模型，而是考慮一類更廣泛的模型一部分線性模型.它的定義為Y=β'X+γ'Z+g(T)+ε其中Yi響應變量y的獨立同分布的觀測值，(Ti，X'i，Z'i)是協(xié)變量(T，X'，Z’)的觀測值，β=(β1，…，βp)’是一個p維的未知參數(shù)向量，γ=(γ1，…，γq)’是一個q維的未知參數(shù)向量，g(·)是一個未知函數(shù).為了避免維數(shù)

8、災難問題，簡單的假設T是一維的，ε'is是獨立同分布的誤差項滿足E(ε|X，Z，T)=O，D(ε|X，Z，T)=σ2.這里γ的維數(shù)q可能很高甚至隨著樣本量的增大趨于無窮。假設Z是相對來說不太相關的變量因此被從全模型中剔除掉了。記所得到的子模型為Y=β'X+g(T)+η.這樣的一個子模型是有偏的，因為剔除掉的Z的系數(shù)γ中的分量只是相對較小，而非全為零。為了解決此問題，利用非參調(diào)整的方法得到一個局部無偏的子模型。調(diào)整后的子模型形如Y=β'X