基于聚類分析的網(wǎng)絡論壇熱點話題檢測.pdf

1、話題檢測技術作為話題檢測與追蹤的重要組成部分，目的是要解決從文本信息流中自動識別各個未知的話題，并且能夠在線發(fā)現(xiàn)新話題。在話題檢測技術中，熱點話題檢測是為了識別特定時間段內(nèi)報道頻繁、適時、重要的話題。傳統(tǒng)的話題檢測技術大多面向新聞網(wǎng)站語料進行所有話題的檢測，而本文主要研究面向網(wǎng)絡論壇的熱點話題檢測。
　　本文對網(wǎng)絡論壇的文本組織形式進行深入分析，重點研究面向網(wǎng)絡論壇話題檢測的文本預處理方法和網(wǎng)絡論壇熱點話題檢測算法，取得了以下幾個

2、方面的研究成果：
　　(1)提出一種基于文檔樹的帖子信息抽取算法。通過研究常用的信息抽取算法，并分析了網(wǎng)絡論壇帖子的頁面結(jié)構，給出了帖子文檔樹的構建方法和帖子信息抽取的規(guī)則描述。實驗結(jié)果表明，該算法能夠有效地提取帖子內(nèi)容信息和結(jié)構特征。
　　(2)提出一種面向網(wǎng)絡論壇短文本的特征選擇算法。針對網(wǎng)絡論壇短文本的特點，提出了基于TF*PDF的特征選擇算法。實驗結(jié)果表明，相對于傳統(tǒng)的特征提取方法，本文的算法能夠得到更好的網(wǎng)絡論壇短

3、文本聚類效果。
　　(3)提出一種基于時間線分析的增量聚類算法。與傳統(tǒng)的聚類算法相比，該算法在文本聚類的過程中結(jié)合了話題生存周期模型。實驗結(jié)果表明，該算法能夠有效地優(yōu)化話題檢測的結(jié)果集，提高話題檢測的質(zhì)量。
　　(4)提出一種基于話題關注度和用戶參與度的熱度評分算法。通過在熱度評分算法中融入了話題關注度和用戶參與度的計算，有效地與文本聚類算法進行結(jié)合。實驗結(jié)果表明，該算法能夠綜合評估話題熱度，形成熱點話題排序。
　　基