網(wǎng)絡輿情信息挖掘系統(tǒng)的研究.pdf

1、隨著科技的迅速發(fā)展，網(wǎng)絡已成為中國公眾表達民意、討論公共事務、參與經(jīng)濟社會及政治生活以及進行輿論監(jiān)督的重要公共平臺，伴之而來的是政府有關部門對網(wǎng)絡輿情的管理問題，如何能夠及時發(fā)現(xiàn)輿情熱點、正確引導民意走勢是當前急需解決的難點。 輿情挖掘技術就是在這種背景下應運而生的，傳統(tǒng)的信息挖掘技術分為互聯(lián)網(wǎng)內容挖掘、日志挖掘、超鏈接拓撲結構挖掘三種。隨著信息多元化的增長，輿情信息的挖掘往往是針對受限領域和面向特定主題的，而單一挖掘(如Pag

2、eRank，HITS)引擎的召回率和精確率都是很低的，顯然已經(jīng)不能滿足用戶對特定主題更深入的挖掘需求。因此，本文中將Web內容挖掘與超鏈接挖掘相結合，將文本相似度計算技術引入到PageRank算法當中，構成了基于余弦相似度計算技術的Cosine Similarity PageRank(CSP)算法。經(jīng)過多次實驗比較，發(fā)現(xiàn)CSP算法在優(yōu)化整個網(wǎng)絡的PageRank值上有更明顯的效果。 本文以CSP算法為核心，構建了包含挖掘模塊、挖

3、掘策略管理模塊、用戶管理模塊、故障管理模塊四大模塊的網(wǎng)絡信息挖掘系統(tǒng)，系統(tǒng)主要完成網(wǎng)頁郵件等網(wǎng)絡媒介的輿情挖掘、文本分類、概念聚類、相似度分析、自動文摘、優(yōu)化排序等任務。系統(tǒng)在經(jīng)過主題確立、優(yōu)化初始種子等挖掘策略后獲得輿情資源，并通過文本分析技術進行特征提取，生成輿情信息文摘，接著采用文本分類技術來進行文檔自動分類，將分類后的文檔進行概念聚類，產(chǎn)生概念空間，然后采用神經(jīng)網(wǎng)絡算法建立具有聯(lián)想功能的語義索引，最后為用戶提供基于概念空間的檢索