命名實體識別研究及其應用.pdf

1、本文主要介紹一個基于統(tǒng)計的英文命名實體識別系統(tǒng)以及所采用的模型和它的實際應用。命名實體識別是信息抽取的一種形式，它的主要任務(wù)是將文本中的詞分為人名、地名、組織名等類型。該任務(wù)對于搜索引擎，問答系統(tǒng)有相當重要的作用，也是更加復雜的信息抽取任務(wù)的基礎(chǔ)。 對命名實體識別系統(tǒng)來說，有兩個重要的問題。一是系統(tǒng)的性能，二是系統(tǒng)的可擴展性。一個性能良好的命名實體識別系統(tǒng)對基于其上的各種自然語言處理應用有著相當重要的作用?？蓴U展性要求命名實體識

2、別系統(tǒng)能以盡量小的代價適應不同的語料與任務(wù)甚至不同的語言，．并保持良好的性能。本文提出了解決這兩個問題一些方法。 我們分別采用最大熵和條件隨機場這兩種基于統(tǒng)計的模型建立了系統(tǒng)。利用一些文本上易于獲取的特征，包括文本中單詞的詞匯信息，詞性標記和短語標記，局部上下文，命名實體詞典和語料特有的結(jié)構(gòu)信息。系統(tǒng)在CoNLL會議命名實體識別特別興趣組所提供的英文語料上進行了一系列實驗。實驗表明，基于這兩種統(tǒng)計模型的命名實體識別系統(tǒng)可以較好的

3、對英文語料進行識別。條件隨機場模型相對于最大熵在使用同樣特征的情況下取得了相對更好的效果。 在此基礎(chǔ)上，我們利用未標注語料針對第二個問題做了進一步的實驗。在完全只利用未標注語料和詞典來產(chǎn)生標注語料進行訓練的情況下，命名實體識別系統(tǒng)取得了一個可以接受的結(jié)果。證明當對命名實體類別進行擴展時，在沒有標注語料的情況下，類似的方法可以有效的減少人工標注工作，并用于建立一個擴展類型的命名實體識別系統(tǒng)。 最后，我們將命名實體識別系統(tǒng)應