基于條件隨機場模型的文本分類研究.pdf

1、隨著電子文本信息的與日俱增，如何有效地對該類信息進行組織和管理，是現代信息技術所面臨的問題。
　　 文本分類作為其中的一種重要的技術手段，已逐漸成為信息研究領域的一個主要方向。而中文分詞作為影響中文文本分類效果的一個重要因素，也是研究的熱點問題。
　　 由于在句中，中文詞語間沒有天然的間隔，要抽取它們作為信息就須先進行分詞。中文分詞方法大致分為基于詞典的分詞方法與基于統(tǒng)計的分詞方法兩類。
　　 基于詞典的分詞方法

2、具有相對較快的切分速率，但在分詞過程中存在著切分歧義的問題；基于統(tǒng)計的方法具有較高的準確度，但切分速率較慢。通過對兩者的分析，文中提出了一種結合條件隨機場統(tǒng)計模型的詞典分詞方法。該方法利用條件隨機場模型對可能產生歧義的位置進行標注，以此來處理歧義問題，提高分詞效果?；谠摲椒ǖ姆衷~系統(tǒng)融合了兩者的特點，既具有一定的速度，又具有較高準確度。文中介紹了該系統(tǒng)的實現與試驗，在試驗中發(fā)現不足并加以改進。
　　 對于文本分類，其定義為：將