基于DBpedia Spotlight的高效命名實體識別方法研究.pdf

1、近些年，隨著關聯(lián)數據的發(fā)展，大量不同領域的知識庫以RDF的形式發(fā)布出來，規(guī)模愈來愈大，內容愈來愈豐富。命名實體識別作為信息提取領域的子任務，能夠構建知識庫與自然語言文本之間的橋梁，利用知識庫中的語義為關鍵字提取，機器翻譯，主題檢測與跟蹤等任務提供支撐。因此，如何有效地提高命名實體識別的性能成為許多研究工作的焦點。
　　本文基于開源命名實體識別系統(tǒng)DBpedia Spotlight提出了一套命名實體識別優(yōu)化方案。該方案包括三個部分，

2、首先針對系統(tǒng)使用的一元語言模型設計并實現(xiàn)編輯擴展的框架，增強了系統(tǒng)的靈活性，同時基于該框架提出了使用訓練集和候選集對模型進行擴展的方法，通過人工生成候選集驗證了方法的有效性；其次，通過考慮上下文單詞與實體的相關性，提出了點互信息率的概念，并使用其作為閾值對系統(tǒng)的上下文模型進行特征選擇，舍棄掉上下文中與實體相關度較低的單詞，在大幅度降低模型空間的同時提高了系統(tǒng)標注的準確率和召回率；最后，考慮到文本內部通常會有一個中心主題，本文使用維基百科

3、文章之間的鏈接為實體和文本構建主題向量，通過計算候選集中實體與文本主題之間的相似度，對系統(tǒng)的標注結果進行二次消歧，進一步地提高了系統(tǒng)標注的準確率。
　　另外，中文作為世界上使用人口最多的語言，設計和實現(xiàn)一個中文命名實體識別系統(tǒng)是非常必要的。本文以DBpedia Spotlight為基礎，分析并克服中文語言為命名實體識別任務帶來的挑戰(zhàn)，使用中文維基百科數據構建一元語言模型，設計并實現(xiàn)了中文命名實體識別系統(tǒng)，為用戶提供REST服務訪問