利用非廣延最大熵模型進行文本分類.pdf

1、在線資源的迅速增長、互聯(lián)網信息量的急劇增加使得人們從信息匱乏的時代過渡到了信息極為豐富的時代。面對日益膨脹的、異構的信息資源，如何快速、準確地從海量信息中尋找到所需的相關內容變得十分棘手。因此，研究利用計算機進行自動文本分類成為自然語言處理和人工智能領域中一項具有重要應用價值的課題。目前文本分類領域中已經存在多種具有良好分類效果的理論技術，本文主要介紹如何利用非廣延熵模型進行文本分類。非廣延熵模型建立在最大熵模型的基礎上，最大熵模型是一

2、項概率分布估計技術，它的基本思想是擬合所有已知事實，保持未知事件的未知狀態(tài)，已被廣泛應用于語言建模、詞性標注、文本分割等自然語言處理領域。
　　 本文在最大熵模型的基礎上提出了兩個用于文本分類的擴展模型。第一個模型利用非廣延熵代替香農熵作為最大熵模型中的目標函數，以期簡化分類器的表達形式，稱之為非廣延熵模型；第二個模型在非廣延熵模型的基礎上引入實體間的高階約束，試圖通過增加文本中單詞間的共現關系約束提高文本分類的正確率，稱為帶有

3、高階約束的非廣延熵模型。成功建模后利用拉格朗日乘子法求解模型，得到分類器的表達形式并進行參數估計，最終得到文本分類器。
　　 本文選用20 Newsgroups作為語料庫進行文本分類，并進行了兩組分類器性能評價對比實驗。第一組對比實驗比較基于本文提出的兩個擴展模型的文本分類器，實驗結果表明在非廣延熵模型中添加高階約束后文本分類的正確率有一定程度的提高；第二組對比實驗比較兩個非廣延熵模型和最大熵模型，實驗結果表明本文提出的兩個擴展