中文自動分詞系統(tǒng)的研究.pdf

1、中文自動分詞系統(tǒng)是利用計算機(jī)對中文文章進(jìn)行自動分詞、識別的計算機(jī)應(yīng)用系統(tǒng),它包括基本的自動分詞方法、歧義處理和命名實體的識別等基本模塊,其各部分相互依賴,共同決定該系統(tǒng)的質(zhì)量、價值和應(yīng)用水平.中文自動分詞方法分為機(jī)械分詞方法和非機(jī)械分詞方法.最大正向匹配法、逆向最大匹配法和逐詞遍歷法是三種最基本的機(jī)械分詞方法.另外八種機(jī)械分詞法只是在基本分詞方法的基礎(chǔ)上采用了一些技巧,它們不是純粹意義的機(jī)械分詞方法.專家系統(tǒng)方法是一種基于規(guī)則的分詞方法

2、,而神經(jīng)元網(wǎng)絡(luò)方法則將人工神經(jīng)網(wǎng)絡(luò)的基本原理應(yīng)用于計算機(jī)漢語分詞.根據(jù)國內(nèi)外對自動分詞方法的研究和一些實用系統(tǒng)的設(shè)計,該文給出了自動分詞系統(tǒng)的理論模型CWSM:M(F,W,T,K)的概念,即機(jī)械分詞方法+分詞詞典+漢語言文本+知識庫,并介紹了自動分詞系統(tǒng)的評價標(biāo)準(zhǔn).分詞過程中歧義的產(chǎn)生主要是由計算機(jī)分詞產(chǎn)生的特有歧義、自然語言中的二義性歧義和由分詞詞庫大小引起的歧義等三類組成.歧義字段可從三個方面進(jìn)行分類.從分詞的切分結(jié)果可分為兩類:真

3、歧義和偽歧義;從切分歧義所需的知識層次,可分為三類:語法歧義、語義歧義和語用歧義;從歧義字段的結(jié)構(gòu)可分為交集型歧義字段和多義型歧義字段.交集型歧義字段的切分可采用基于統(tǒng)計的方法和基于規(guī)則(詞性)方法.對多義型歧義字段的處理分別從句法歧義、語義歧義和語用歧義三個方面進(jìn)行.中文信息處理中,處理的最多的就是名詞.特別是對專有名詞的處理是中文自動分詞中的又一個難點.該文分析了中文姓名中姓和名的各自特點,給出了中文姓名的自動識別技術(shù).對地名的識別