基于聚類的主題模型短文本分類方法研究.pdf

1、隨著互聯(lián)網(wǎng)即時通訊技術的發(fā)展和普及，手機短信、即時信息、基于互聯(lián)網(wǎng)和手機短信的客戶評論、新聞評論等短文本形式的信息大量出現(xiàn)，短文本信息處理領域的重要應用所迫切需求，使得短文本分類成為一個重要的研究方向。
　　 短文本自身的長度短，所包含的特征信息少，描述能力弱，所以傳統(tǒng)的文本方法都不適用于短文本分文?，F(xiàn)階段一種可行的方案是利用其他的有用信息來擴充短文本來輔助分類，以彌補短文本的固有缺陷。
　　 根據(jù)短文本的這種特性，按照

2、這種可行方案，本文考慮利用訓練集文本自身之間的相互關聯(lián)關系來擴充特征，而主題模型能夠很好的建立主題與特征詞之間的關系，提出了一種基于聚類的主題模型短文本分類方法。該方法的基本思想是：先通過聚類的方法把同一類別中的短文本訓練集聚成一些小簇類；我們可以把每一小簇類中的短文本看成是同一個主題，根據(jù)主題在類別中的概率分布以及詞語在主題中的概率分布，隨機生成新的具有較強描述能力的長文本；最后用生成的長文本作為訓練集對測試集的短文本進行分類。