面向大規(guī)模數(shù)據(jù)分析與分類的正則化回歸算法.pdf

1、隨著互聯(lián)網技術的飛速發(fā)展及數(shù)據(jù)收集成本的不斷降低，大數(shù)據(jù)時代已經來臨。大規(guī)模數(shù)據(jù)分析是指對規(guī)模巨大的數(shù)據(jù)進行分析，從中獲得有利于對個體或者群組進行辨識的對象，大規(guī)模數(shù)據(jù)分析技術的社會及市場需求也變得十分緊迫。降維是對數(shù)據(jù)預處理及進一步分析的有效方式，通常采用變量選擇或者函數(shù)變換等途徑來描述關鍵的數(shù)據(jù)結構（如局部性，判別性等等），因而在回歸分析、機器學習、數(shù)據(jù)挖掘和模式識別等領域占據(jù)著十分重要的地位。數(shù)據(jù)降維往往能夠提供對數(shù)據(jù)更加本質和深

2、刻的理解，因而廣泛用于特征匹配、模型解釋、數(shù)據(jù)表示等。在過去二十年中，回歸方法因模型直觀和理論豐富等特點受到了廣泛的關注，分片逆回歸(SIR)由于它在降維方面的有效性也吸引了很多研究者。然而，SIR的兩個缺點限制了它進一步的應用。第一，在高維數(shù)情況下SIR的計算復雜度較高。第二，在改進特征選擇和模型解釋能力方面，投影子空間的稀疏性沒有很好的挖掘出來。另一方面，怎樣從足夠的輔助數(shù)據(jù)集中挖掘判別信息，去改進機器智能系統(tǒng)的理解和分析能力，在大

3、數(shù)據(jù)時代是一個更加值得深入研究的課題。并且它有非常廣泛的應用空間，包括圖像分類、視頻檢索、金融數(shù)據(jù)聚類或預測。在圖像識別方面，比如，圖像分辨率的差異容易導致訓練集與測試集的數(shù)據(jù)特征有較大的差異，為直接數(shù)據(jù)降維（如主成分分析）帶來了性能上的困難;同一個對象在不同尺度或者不同視角下的觀測結果，往往能夠提供優(yōu)勢互補的數(shù)據(jù)描述。領域自適應的任務是提取每個領域的判別特征并且同時提高目標域的分類性質。遷移學習的方法提供了一些可能的方法來解決上面提到

4、的問題。用目標域中非常少的有標簽的數(shù)據(jù)并同時借助于源域中大量的有標簽的數(shù)據(jù)去學習領域自適應，期望用遷移源域中的判別信息去提高目標域的分類特性。
　　本研究主要內容包括：⑴提出了一個基于相關熵和分類回歸的模型。在回歸系數(shù)中使用一個光滑的懲罰項替代了稀疏的限制，使得基于回歸模型的分類算法在應用中更加靈活。更加具體的學術貢獻如下：在特征譜空間中求解判別式回歸系數(shù)，減小數(shù)據(jù)分析的計算復雜度；引入回歸系數(shù)的稀疏約束，增強高維數(shù)據(jù)分析模型解的

5、解釋性；針對例外點和噪音數(shù)據(jù)，設計快速，穩(wěn)健的分類算法。用高維面部圖像和基因微陣列數(shù)據(jù)去評估新的算法，并且和其他一些先進的方法做了對比新方法獲得了有競爭力的結果。⑵提出基于低秩表示和依條件轉換的遷移學習方法（LRCT），為了減少實際中可能的限制，包括計算的復雜性，和進一步提升分類的性能。受低秩表示方法及其成功應用的啟發(fā)，LRCT希望找到一組特征表示，以合適的方式表達出數(shù)據(jù)局部和光滑特性的變換投影矩陣，用最小重構誤差把非均勻的數(shù)據(jù)投影到一

6、個共享子空間上。新方法的創(chuàng)新點主要體現(xiàn)在通過一些概率假設建立了一個中間域(I)，然后在中間域I和目標域T之間求得有效的低秩表示。⑶在因果關系框架下研究條件分布不匹配問題，建立從中間域I到目標域T之間的低秩表示關系，并由此學習領域自適應特征。因此新的方法從依條件不變的特征中去利用低秩結構；在數(shù)值優(yōu)化問題上，本文重新參數(shù)化密度比(density ratio)函數(shù)，把這個參數(shù)化的方程轉化成經典的二次規(guī)劃問題，然后用選擇優(yōu)化策略的方法求解新的目