網(wǎng)絡輿情資訊系統(tǒng)中的自動文本摘要技術研究.pdf

1、輿情資訊系統(tǒng)定向爬取互聯(lián)網(wǎng)上的新聞、論壇、微博等文本數(shù)據(jù)，過濾、排序、并形成自動文摘提供給決策層用戶，提升其信息獲取效率，并滿足其對輿情資訊的搜集、監(jiān)控及預警等需求。自動文本摘要是輿情資訊系統(tǒng)中的核心技術之一，它試圖從文本中提取出最重要的部分，形成簡明扼要的文摘。由于爬蟲獲取的資訊包含大量垃圾及無關文本，將對輿情系統(tǒng)中包括自動文本摘要在內的后續(xù)文本處理構成極大的負面影響。為此，面向輿情資訊系統(tǒng)的實際需求，本文聚焦于輿情系統(tǒng)中垃圾文本過濾

2、方法以及節(jié)錄式摘要自動生成算法的研究。
　　首先，針對輿情資訊系統(tǒng)原始數(shù)據(jù)包含大量垃圾文本的問題，我們通過分析垃圾文本產(chǎn)生的原因，對垃圾文本進行分類，綜合運用黑/白名單過濾方法、貝葉斯分類器過濾方法，提出一種多層垃圾文本過濾方法，降低輿情系統(tǒng)中文本處理的錯誤率，并基于不同數(shù)據(jù)源中的相似文本數(shù)量，進行資訊內容的重要性排序。
　　其次，節(jié)錄式摘要的本質是從原始文本中提取一定數(shù)量的重要句子，因此句排序是節(jié)錄式自動摘要的算法。一種直

3、觀的無監(jiān)督方法是通過構建詞或句關聯(lián)網(wǎng)絡，再使用PageRank計算詞或句的排序分值，最終獲得句的重要性排序分值。本文將詞和句重要性排序相融合，考慮詞與句之間的相互影響，提出詞句協(xié)同排序的自動摘要算法，在句關聯(lián)網(wǎng)絡上融入詞對句子排序分值的影響，而詞的重要性由包含其句子的排序分值所決定。在句排序結果基礎上，提出基于冗余度的句選擇方法，進一步提升自動摘要質量。算法在10篇中文文本和1067篇英文文本上的的實驗表明，相比于只構建句網(wǎng)絡的算法和D