面向異源數據的機器學習算法研究.pdf

1、數據同源是傳統(tǒng)機器學習依賴的基本假設，即訓練數據和測試數據服從相同分布。但現實環(huán)境中同源數據十分稀缺，有限的同源數據無法訓練出有效機器學習模型，這就是同源數據稀缺問題。解決同源數據稀缺問題的一個方法是人工構造同源數據，但這種方法成本過高。解決同源數據稀缺問題的另一個有效方法是整合分布不同的異源數據來進行機器學習模型的訓練，因此面向異源數據的機器學習算法十分重要。
　　根據樣本空間是否相同，異源數據可以分為同構異源數據和異構異源數據

2、。為了解決同源數據稀缺問題，可以將無標注的樣本通過眾包方式收集標注。每個參與眾包的標注者被視作一個數據源，那么收集到的數據就是同構異源數據。面向這種同構異源數據的機器學習算法稱為群智學習算法。根據求得目標分類器的步驟，群智學習算法分為二階段方法和直接方法。個人分類器方法是群智學習直接方法中的代表方法，該算法擁有凸形式的目標函數但對模型參數分布做了強假設。本文提出一種非參數化的群智學習算法。該算法通過組合優(yōu)化目標構造出凸形式的目標函數，并

3、且沒有對模型參數的分布做任何假設。
　　另一種整合異源數據的方法是其他領域的數據來幫助目標領域的模型訓練過程。不同領域的數據的樣本空間和分布均不同，因此是異構異源數據。面向這種同構異源數據的機器學習算法稱為遷移學習。根據遷移的方式不同遷移學習可以分為基于樣本權重、基于特征表示以及基于模型參數三類遷移方法。本文研究并提出一種基于模型的遷移方法和一種基于模型和樣本共同遷移的方法。這兩種遷移方法均能利用輔助領域的數據改善目標領域的模型效