基于局部Viterbi算法的中文分詞研究與應(yīng)用.pdf

1、中文分詞是中文信息處理領(lǐng)域的基礎(chǔ)課題，也是中文信息處理發(fā)展的瓶頸之一，其中對歧義字段的處理是影響分詞精度的關(guān)鍵，國內(nèi)外許多研究人員在這一領(lǐng)域都進行了深入的研究，但就目前現(xiàn)狀來看，仍不能滿足實際應(yīng)用的需要。
　　 本文針對分詞中的三個方面——詞典結(jié)構(gòu)、歧義處理、地名識別——進行了深入的研究。在詞典結(jié)構(gòu)方面，通過對詞典中各個詞語進行統(tǒng)計，最終形成以詞首為唯一索引，與之可能成詞的字符有序無重復(fù)索引的網(wǎng)格數(shù)據(jù)結(jié)構(gòu)。通過逐級索引的結(jié)構(gòu)，可

2、以大大提高遍歷詞典的速度；在歧義處理方面，對N-Best最優(yōu)路徑和Viterbi算法的模型進行深入研究并結(jié)合本文的具體應(yīng)用作出相應(yīng)改進，主要體現(xiàn)在改進了Viterbi算法對全路徑的逐一計算，而是先通過前向最大匹配與逆向最大匹配對待分詞文本進行預(yù)處理并獲得粗分結(jié)果集，其次，利用Viterbi算法對此粗分結(jié)果集進行詞頻信息統(tǒng)計，降低了算法復(fù)雜度并提高了算法效率，同時，根據(jù)Viterbi計算出的最優(yōu)路徑達到了消除歧義的目的；在地名識別方面，由

3、于地名識別依據(jù)多個地名詞典進行匹配，因此本文所設(shè)計的中文分詞系統(tǒng)，在對待分詞文本進行粗分處理時，標記了可能為地名的詞語，而不是對所有詞語均啟動地名識別模塊，從而在一定程度上使得地名處理與分詞速率達到一個比較理想的均衡狀態(tài)；
　　 在系統(tǒng)測試階段，本文針對普通文本、地名文本、綜合文本分別進行了分詞正確率測試與分詞速率測試，其中普通文本的分詞平均正確率與分詞平均速率分別為95.6％和1234.6k/s，地名文本的分詞平均正確率與分詞