基于平行語料庫的無監(jiān)督中文詞性標注研究.pdf

1、伴隨著計算機綜合能力的日益強大和互聯(lián)網(wǎng)的迅猛發(fā)展,自然語言處理已經成為信息處理領域一個引人注目的研究熱點。詞性標注是自然語言處理的重要內容,也是自然語言處理工作的一個非常有用的預處理過程,它的準確程度將直接影響到后續(xù)的一系列分析處理任務的效果。
　　 本文首先探索了基于單語料庫的無監(jiān)督中文詞性標注。本文提出了一種基于條件隨機場(CRFs)模型的無監(jiān)督的中文詞性標注方法,主要思路為:(1)利用詞典對獲得的已分好詞的生文本進行詞性標

2、注；(2)采用已定義的規(guī)則對未登錄詞進行標注,獲得初始標注語料；(3)利用CRFs對語料進行迭代標注,逐步優(yōu)化標注結果。關于特征的選擇,本文在探索了適用于無監(jiān)督詞性標注的上下文特征的基礎上,提出了詞語類別的特征,用于特征模板。本文以賓州中文樹庫為實驗語料,考查了不同規(guī)模的標注數(shù)據(jù)對模型性能的影響,實驗結果表明,本文提出的無監(jiān)督詞性標注方法提高了中文詞性標注的性能。
　　 在此基礎上,考慮到在詞性標注過程中,往往很難根據(jù)詞(其是兼

3、類詞)的上下文信息判斷其詞性,從而產生歧義,本文提出了基于平行語料庫的中文無監(jiān)督詞性標注。主要思路為:(1)半自動構造了一個中英平行雙語語料庫；(2)使用GIZA++工具對詞語進行雙向對齊,并進行修訂；(3)對英文語料庫進行詞性標注,以獲得中文詞語對應的英文單詞的詞性,并將其作為一個特征加入到特征模板。本文在多個語料上分別進行了實驗,實驗結果表明,通過獲取句子對應的英文詞性,能夠進一步提高中文詞性標注的性能,說明了本文提出的無監(jiān)督方法對