排序?qū)W習(xí)中的領(lǐng)域自適應(yīng)研究.pdf

1、隨著監(jiān)督式機(jī)器學(xué)習(xí)技術(shù)在各個領(lǐng)域的廣泛應(yīng)用，研究人員逐漸意識到，訓(xùn)練數(shù)據(jù)的缺乏是阻礙學(xué)習(xí)模型快速部署的關(guān)鍵因素之一。最近幾年，如何解決訓(xùn)練數(shù)據(jù)缺乏的問題，已經(jīng)成為機(jī)器學(xué)習(xí)，自然語言處理，信息檢索、多媒體等領(lǐng)域的研究熱點。
　　 排序?qū)W習(xí)是信息檢索的關(guān)鍵問題之一。目前，基于監(jiān)督的機(jī)器學(xué)習(xí)技術(shù)被認(rèn)為是解決排序?qū)W習(xí)的最佳選擇。如同傳統(tǒng)監(jiān)督式學(xué)習(xí)技術(shù)，目標(biāo)領(lǐng)域缺乏訓(xùn)練數(shù)據(jù)也是排序?qū)W習(xí)正在面臨的實際問題。針對排序?qū)W習(xí)，我們研究了如何利用其

2、他相關(guān)領(lǐng)域的已有訓(xùn)練數(shù)據(jù)，學(xué)習(xí)出適用于目標(biāo)領(lǐng)域的模型，即領(lǐng)域自適應(yīng)。
　　 本文的主要貢獻(xiàn)有以下幾個方面：
　　 1.提出了基于文檔權(quán)重的排序?qū)W習(xí)自適應(yīng)框架。首先，利用領(lǐng)域分隔超平面估計源領(lǐng)域文檔對目標(biāo)領(lǐng)域的重要性；然后，把這些文檔權(quán)重轉(zhuǎn)換成文檔對權(quán)重；最終，文檔對權(quán)重可以集成到基于文檔對的排序?qū)W習(xí)算法中。
　　 2.研究了著名的排序?qū)W習(xí)算法RankBoost的領(lǐng)域自適應(yīng)問題。在基于文檔權(quán)重的排序自適應(yīng)框架下，提

3、出了三種基于文檔權(quán)重的RankBoost算法，并分別對它們進(jìn)行了理論分析和試驗比較。
　　 3.提出了直接在查詢層次估計源領(lǐng)域查詢對目標(biāo)領(lǐng)域重要性的方法。在排序?qū)W習(xí)中，查詢是帶有相關(guān)性標(biāo)簽的文檔集合，是排序?qū)W習(xí)的基本對象。我們分別從兩個不同的角度進(jìn)行查詢權(quán)重估計：(1)將查詢壓縮成特征向量，然后采用傳統(tǒng)的權(quán)重估計方法進(jìn)行查詢權(quán)重估計。(2)對每個源領(lǐng)域的查詢，把它依次和目標(biāo)領(lǐng)域查詢進(jìn)行比較；通過集成這些兩兩比較的結(jié)果，估計源領(lǐng)域

4、查詢對于目標(biāo)領(lǐng)域的重要程度。
　　 4.提出了基于主動學(xué)習(xí)的排序?qū)W習(xí)自適應(yīng)算法。為了獲得目標(biāo)領(lǐng)域特有的排序知識，采用主動學(xué)習(xí)技術(shù)，選擇少量目標(biāo)領(lǐng)域具有信息量的查詢進(jìn)行標(biāo)注。這些查詢可以彌補(bǔ)源領(lǐng)域所缺失的目標(biāo)領(lǐng)域排序知識，同時，利用這些目標(biāo)查詢評估源查詢對目標(biāo)領(lǐng)域的重要性權(quán)重，從而充分利用源領(lǐng)域的訓(xùn)練數(shù)據(jù)。
　　 5.將領(lǐng)域自適應(yīng)技術(shù)應(yīng)用在語義實體識別中，提出了利用領(lǐng)域獨立特征來增強(qiáng)領(lǐng)域自適應(yīng)能力的方法。傳統(tǒng)實體識別僅僅使

5、用短文本特征，當(dāng)訓(xùn)練文檔和測試文檔在風(fēng)格上稍有差異時，性能便有明顯下降。為解決該問題，我們設(shè)計了一個CRF與SVM的組合框架，通過該框架，短文本特征與領(lǐng)域獨立特征可以有效的集成，最終獲得的識別模型能夠更好地適用于目標(biāo)領(lǐng)域。
　　 針對不同的應(yīng)用場景，本文研究了排序?qū)W習(xí)中的領(lǐng)域自適應(yīng)問題。在目標(biāo)領(lǐng)域沒有標(biāo)注數(shù)據(jù)的場景下，我們從樣本權(quán)重的角度，研究了基于權(quán)重的排序?qū)W習(xí)領(lǐng)域自適應(yīng)；在目標(biāo)領(lǐng)域存在少量標(biāo)注預(yù)算的場景下，我們研究了基于主動