基于統(tǒng)計(jì)的漢語(yǔ)分詞在機(jī)械產(chǎn)品設(shè)計(jì)中的應(yīng)用.pdf

1、漢語(yǔ)分詞是自然語(yǔ)言理解中的一個(gè)主要組成部分，同時(shí)也是文本挖掘，機(jī)器翻譯，信息檢索的基礎(chǔ)。由于漢語(yǔ)分詞問(wèn)題本身的復(fù)雜性，故而尋求準(zhǔn)確有效的漢語(yǔ)分詞方法成為自然語(yǔ)言理解的主要研究?jī)?nèi)容之一。本文設(shè)計(jì)了基于統(tǒng)計(jì)和語(yǔ)義分析相結(jié)合的分詞模型，將其應(yīng)用在產(chǎn)品的設(shè)計(jì)過(guò)程中。通過(guò)該模型將用戶以自然語(yǔ)言形式描述的需求進(jìn)行切分，將切分結(jié)果經(jīng)過(guò)自然語(yǔ)言理解系統(tǒng)的其余模塊的處理轉(zhuǎn)化成為計(jì)算機(jī)能夠識(shí)別的概念設(shè)計(jì)要求。
　　 本文分析了現(xiàn)有漢語(yǔ)分詞的方法及其

2、主要存在的問(wèn)題，研究了基于語(yǔ)料庫(kù)的分詞方法及其關(guān)鍵技術(shù)，結(jié)合現(xiàn)有的分詞方法，提出將機(jī)械分詞、語(yǔ)料庫(kù)統(tǒng)計(jì)分詞和語(yǔ)義分析相結(jié)合的分詞模型，并將此分詞模型嵌入到某領(lǐng)域漢語(yǔ)理解系統(tǒng)之中。機(jī)械分詞階段，利用改進(jìn)的最大匹配法，以求盡量得出所有的切分形式并用有向圖的形式表現(xiàn)出來(lái)，并且找出分詞中的歧義字段，對(duì)其進(jìn)行消除歧義。語(yǔ)料庫(kù)統(tǒng)計(jì)階段，先將歧義字段中的各種常見(jiàn)搭配組合利用語(yǔ)料庫(kù)統(tǒng)計(jì)方法統(tǒng)計(jì)，統(tǒng)計(jì)其共現(xiàn)度和搭配情況，并把搭配情況反饋到統(tǒng)計(jì)詞典中，實(shí)現(xiàn)