部分線性模型中差分估計與SCAD的比較及帶有異常點的非負變量選擇.pdf

1、變量選擇在現(xiàn)代統(tǒng)計學中占有越來越重要的地位，近年來由Tibshirani提出來的LASSO方法受到了極大的關(guān)注。LASSO中懲罰函數(shù)的方法已經(jīng)被用于各種模型中來解決實際問題。本文的研究主要分為兩個部分：首先是在部分線性回歸模型中比較了差分估計和SCAD，主要為了研究變量選擇估計在其他更復雜的模型中的表現(xiàn)，研究其優(yōu)劣性；其次是在線性模型中討論了LASSO式懲罰函數(shù)在更復雜的數(shù)據(jù)集中的運用，將懲罰函數(shù)的思想運用到帶有異常點的數(shù)據(jù)中，使懲罰函

2、數(shù)思想的方法運用到更加實際的模型及數(shù)據(jù)集。
　　本研究主要內(nèi)容包括：⑴部分線性回歸模型中改進的差分估計與SCAD的比較：本文考慮了部分線性回歸模型中回歸參數(shù)向量估計的問題，提出了具有更好性質(zhì)的壓縮差分估計，并且研究了它的漸近性質(zhì)以及其風險函數(shù)。本部分還將 SCAD的懲罰函數(shù)運用到模型中得到SCAD估計，然后通過Monte Carlo模擬了壓縮差分估計和SCAD估計的相關(guān)結(jié)果，并對它們之間的優(yōu)劣進行了比較。從我們的模擬結(jié)果中可以發(fā)現(xiàn)

3、，在樣本量較小的時候，SCAD估計的效果并不如成熟的差分估計和本文提出的壓縮估計；但隨著樣本量的增加，SCAD估計的效果卻越來越好。SCAD與眾差分估計的比較將用表格和箱線圖的形式展現(xiàn)出來。⑵在線性模型中研究帶有異常點的非負變量選擇的研究：本部分在SROS估計的基礎(chǔ)上，介紹了SROS估計的相關(guān)性質(zhì)：SROS估計是幾乎回歸等變的；SROS估計與ROS估計具有相同的失效值，并且ROS估計具有最大的失效值。在此基礎(chǔ)上提出了非負SROS估計，并

4、證明了在非負SROS不可忽略條件下，非負SROS是具有變量選擇相合性的。在模擬部分，在三種不同的數(shù)據(jù)集中，通過殘差平方和對比參數(shù)值分別比較了LTS估計，ROS估計，LAD-lasso估計，SROS估計以及非負SROS估計的效果。通過模擬可以發(fā)現(xiàn)，本文提出的非負SROS估計，在要求參數(shù)為非負的情況下，具有比較好的表現(xiàn)，模擬出的參數(shù)值也是這幾個估計中最為接近真實值的。另外，在比較的過程中可以看到LAD-lasso估計也具有可取的優(yōu)勢。具體的