基于半監(jiān)督結構化學習的跨語言詞性標注研究.pdf

1、自然語言處理技術在當今信息時代取得了巨大的成功,人們的生活方方面面都離不開自然語言處理技術。隨著人們文化交流的需要,對一些小語種也有自然語言處理需求,往往這些語言的標注資源稀缺,限制了自然語言技術在這些語言上的發(fā)展。人們嘗試使用將標注資源豐富的語言信息映射到標注資源稀缺的語言上的跨語言映射的方法。
　　本文使用多種半監(jiān)督結構化學習的技術,借助雙語平行語料的詞對齊關系,研究跨語言詞性標注任務。本文首先把跨語言學習問題定為半監(jiān)督結構化

2、問題,使得所有的跨語言學習問題都納入到這個框架下。然后,本文提出了跨語言直接詞性標注的方法,根據詞對齊關系將源語言的詞性直接傳遞到目標語言,考慮了在沒有目標語言標注數據和有少量目標語言標注數據情況下的算法。同時,研究了詞對齊過濾方法,使用兩種詞對齊過濾融合的方法,使得跨語言映射準確率得到提高。本文又提出了協(xié)同學習在跨語言詞性標注的框架,將協(xié)同學習推廣到結構化學習上,研究了序列標注模型的置信度計算的問題以及詞對齊種類對跨語言詞性標注的影響

3、。實驗結果表明使用一對一對齊策略和基于片段的數據更新更新方法,可以得到較好的結果。最后,本文采用標簽傳播算法,根據詞上下文信息構建詞相似度圖,減少由跨語言直接映射引發(fā)的噪聲問題。在此過程中使用奇異值分解技術對詞特征進行降維,以減少特征稀疏問題造成的影響。最后將標簽傳播過程估計的詞性分布作為約束加入到馬爾科夫隨機場中。實驗結果表明,我們提出的協(xié)同學習方法和標簽傳播算法在跨語言詞性標注任務上都取得了成功,比直接映射和用少量目標語言標注數據的