層進式漢日單詞級對齊研究.pdf

1、在自然語言處理的諸多領(lǐng)域的研究中，雙語語料庫的重要作用逐漸顯現(xiàn)出來。在不同的應(yīng)用中，需要不同粒度的雙語對齊的語料庫和相應(yīng)的雙語對齊技術(shù)。雙語語料庫的對齊技術(shù)按粒度可以分為篇章級對齊、段落級對齊、句子級對齊、短語級對齊和單詞級對齊等。
　　 對于基于實例的機器翻譯而言，單詞級對齊的雙語語料庫是不可或缺的資源。可以說，單詞級對齊的雙語語料庫的質(zhì)量和數(shù)量直接決定了基于實例的機器翻譯系統(tǒng)的性能。由于人工構(gòu)建單詞級對齊的雙語語料庫的代價十

2、分高昂，本文著眼于單詞級對齊的雙語語料庫的自動構(gòu)建，探討漢日雙語自動詞對齊技術(shù)。
　　 本文的主要貢獻在于：
　　 (1)綜述、分析了當(dāng)前主要詞對齊方法及其不足，提出了層進式漢日詞對齊模型。該模型層次利用漢語單詞和日語單詞之間的聯(lián)系，在保證高準(zhǔn)確率的同時，詞對齊結(jié)果的召回率逐步提高；
　　 (2)分析了詞對齊任務(wù)針對雙語字典解釋性釋義的不適應(yīng)性、針對分詞粒度差異的不適應(yīng)性，提出了相應(yīng)的適應(yīng)性改良方案。實驗表明，作

3、者對上述若干不適應(yīng)性的分析依據(jù)充分，提出的改良方法效果非常明顯；
　　 (3)針對對齊沖突問題，我們提出了基于錨點的沖突消解方法和基于Chunk對齊的沖突消解方法，分別利用錨點對齊信息和Chunk邊界進行詞對齊沖突消解；
　　 (4)針對助詞的混淆對齊問題，我們提出了基于錨點的助詞對齊模型，獲得了很高的準(zhǔn)確率。
　　 (5)利用Chunk對齊可以使詞對齊局部化這一性質(zhì)，我們提出了基于Chunk對齊的局部詞對齊調(diào)整