基于語料庫的數量名短語識別.pdf

1、數量名結構在現(xiàn)代漢語中是一種常見的短語結構，傳統(tǒng)語言學領域對量詞及數量短語進行過比較充分的研究，但調查規(guī)模比較小，并且側重于語法意義的研究。漢語教學、漢語研究、漢語信息處理都需要更大規(guī)模地調查研究數量名短語的形式特征。對數量名短語的計算機自動識別還沒有見到過成果報道，但這是進行大規(guī)模調查的前提條件。數量名短語的自動識別和形式特征調查對用統(tǒng)計方法處理漢語將起到很重要的作用。 本文的研究主要包括兩部分。一部分是對順序的“數·量·名”

2、、量詞重疊的數量名結構等常見的數量名短語形式自動識別方法的研究；一部分是在大規(guī)模的語料中對這些數量名短語形式的特征(包括句法功能特征、線性特征及線性鄰接特征)進行調查研究。第一部分采用統(tǒng)計與規(guī)則結合的辦法：計算機軟件在基本保證查全率的條件下進行盡量準確的自動檢索，人在此基礎上進行篩選，其后進行統(tǒng)計數據的提取和規(guī)則總結。第二部分利用第一部分的研究成果，直接識別出數量名短語并通過檢索模塊發(fā)現(xiàn)分布特征。 我們在240萬字的當代新聞小說

3、語料上進行自動識別的試驗和測試。由于搭配詞典數目有限，我們采用了基于n個后字匹配的后退算法來發(fā)現(xiàn)更多的量名搭配。從準確率看，盡管引入了搭配概率和邊界概率等統(tǒng)計數據，還是難以徹底解決多個名詞的搭配沖突；相比而言，句法規(guī)則在提高精確率方面有較好表現(xiàn)。其他數量名短語的自動識別可以達到接近實用的準確水平。 對于數量名短語形式的句法功能特征、線性特征及線性鄰接特征進行的調查研究，也建立在200多萬字規(guī)模的新聞語料文本的基礎上，這在以前的傳