中文微博子話題構建技術研究與實現(xiàn).pdf

1、微博作為新興的信息交流媒體，報道了社會、政治、經(jīng)濟和文化等各領域的大部分新聞事件。在微博平臺中，用戶難以在短時間內(nèi)閱讀完每天產(chǎn)生的大量微博，話題成為微博信息組織的重要方式。以話題的方式組織主題相關的微博，一定程度上緩解了微博數(shù)目巨大的問題，但是在一個話題中仍然包含數(shù)目巨大的微博。在話題中往往包含多個關系密切的子話題，如何將話題組織為子話題的形式成為一個亟待解決的問題。本文進一步細化組織話題，通過構建子話題和提取子話題標簽來展示話題的內(nèi)容

2、。本文綜合運用微博的內(nèi)容信息和主題向量構建子話題，并考慮了地點、人物等因素對子話題構建的影響。在提取子話題標簽時，研究了一種基于隨機游走模型的LabelRank子話題標簽提取算法。
　　本研究主要內(nèi)容包括：⑴在微博數(shù)據(jù)預處理方面，本文首先過濾信息量較小或者不包含人物和地點名詞等無意義的微博，然后利用正則表達式對微博數(shù)據(jù)進行清洗，如刪除URL鏈接和“@用戶”等，最后利用維基百科的簡繁體對應表對文本中的繁簡體進行了統(tǒng)一。⑵研究了一種基

3、于微博內(nèi)容和主題向量的子話題構建方法。本文方法考慮了地點、人物等因素對子話題構建的影響，通過構建人物向量、地名向量、核心詞向量和微博內(nèi)容的主題向量綜合判斷微博文檔之間的相似度，實驗證明，本文研究的方法能有效的構建話題下的子話題，相比只構建主題模型的方法F1值提高了4.2％，歸一檢測錯誤開銷降低了8.6%，且對主題內(nèi)容相近難以區(qū)分的子話題在區(qū)分上十分有效。⑶研究了一種LabelRank子話題標簽提取算法，該算法通過構建基于LDA的詞共現(xiàn)加

4、權圖，采用隨機游走模型對圖中的核心詞進行排序，并選取計算結果中的Top-K個核心詞作為子話題的標簽，實驗證明 LabelRank算法能夠有效的提取子話題標簽。⑷在輿情監(jiān)控系統(tǒng)YHPODS的框架內(nèi)，實現(xiàn)了區(qū)域話題的子話題構建模塊。子話題構建模塊采用了Cassandra分布式集群和關系數(shù)據(jù)庫Oracle的雙策略存儲機制，實現(xiàn)了基于中國地名庫的區(qū)域話題微博采集算法、IP地址與地理位置映射算法和基于微博內(nèi)容與主題向量的子話題構建算法，取得了很好