基于云計算的微博輿情監(jiān)控系統(tǒng)研究.pdf

1、目前，社會中的很多熱點話題往往都是從微博開始傳播，如何從微博中發(fā)現(xiàn)熱點話題并對熱點話題做輿情分析，是非常有現(xiàn)實意義的工作。本文針對微博輿情的特點，研究了微博輿情監(jiān)控系統(tǒng)的實現(xiàn)方法。介紹Hadoop平臺處理大數(shù)據(jù)的優(yōu)勢和原理，實現(xiàn)了數(shù)據(jù)采集、文本模型表示、話題發(fā)現(xiàn)以及輿情分析的功能。本文的主要工作和研究內容如下：
　　第一，本文在數(shù)據(jù)采集模塊采用新浪微博API和網絡爬蟲技術相結合實現(xiàn)微博數(shù)據(jù)采集?；谖⒉崴言~檢索實現(xiàn)相關微博的定位

2、，能夠在短時間內獲取大量領域相關的微博數(shù)據(jù)。
　　第二，在熱點話題發(fā)現(xiàn)方法的改進上，采用了基于新詞發(fā)現(xiàn)的微博文本主題發(fā)現(xiàn)方法，將其分為三個步驟：中文分詞、LDA主題建模、主題聚類。在中文分詞環(huán)節(jié)，加入了新詞發(fā)現(xiàn)模塊，提高了分詞準確率。在建立文本模型時，采用LDA主題模型，提高了話題發(fā)現(xiàn)的準確率。
　　第三，為了提高LDA建模的準確度，在構建文本模型前加入文本分類模塊，解決了原有的話題發(fā)現(xiàn)方法在應用于微博文本時精度不高以及將同