面向層次發(fā)類標簽的詞性標注系統(tǒng).pdf

1、作為自然語言處理的基本操作,詞性標注能提供關于單詞及其鄰近成分的大量有用信息,因此常常是組成復雜應用的模塊之一。詞性標注任務是文本理解、文本生成等自然語言處理領域的重要基礎,經過多年的發(fā)展,被認為是相對成熟的一個領域。然而,隨著互聯(lián)網的發(fā)展和信息的日益增多,出現(xiàn)了大量的不規(guī)則的短語文本,如層次分類標簽。另一方面,目前的詞性標注工具均建立在常規(guī)長句的基礎上,在短語文本上的性能并不理想。正是在這種前提下,本文深入研究了面向層次分類標簽的詞性

2、標注算法。
　　 本文介紹了詞性標注的核心技術和研究方法,包括四種經典的詞性標注模型和算法。通過手工標注,我們成功分析出層次分類標簽同長句文本之間的六個主要差異,找到了傳統(tǒng)的詞性標注工具性能不佳的根本原因,并指出了兩個有待解決的關鍵問題:路徑信息和專有名詞。
　　 在此基礎上,本文提出了基于最大熵模型的詞性標注算法。為了把路徑信息集成到輸入中,我們引入了一個新的標記PATH,同時還添加了三類利用該路徑信息的特征。針對層次

3、分類標簽中大量的專有名詞,我們從WordNet和Wikipedia出發(fā),分別構造出一個詞典和一個數據庫,然后以二值特征的形式引入到最大熵模型中去。在分類目錄Dmoz上,這些改進取得了非常顯著的性能提升,從而表明了該方法的有效性。
　　 層次分類標簽上的詞性標注可以應用到自動網頁分類系統(tǒng)中。當前的網頁分類系統(tǒng)過于依賴于人工標注的網頁以作為訓練語料。我們設計出這樣一個系統(tǒng),在沒有語料的條件下,巧妙地利用分類標簽的詞性標注信息和搜索引