基于微博的熱點話題發(fā)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)信息技術(shù)的發(fā)展，互聯(lián)網(wǎng)數(shù)據(jù)及資源大幅增加，并呈現(xiàn)出海量特性。為了有效地管理和利用這些海量分布的信息，基于內(nèi)容的信息檢索和數(shù)據(jù)挖掘近年逐漸成為倍受關(guān)注的領(lǐng)域。其中，基于語義的文本主題分析在近年來成為信息檢索和文本挖掘的熱點研究方向，其主要任務(wù)是根據(jù)文本中已知的“文檔-單詞”分布生成“文檔-主題”和“主題-單詞”兩個分布，從而提取出文檔中隱含的主題信息。主題分析模型在文本分類聚類、信息組織與管理、熱點話題挖掘等領(lǐng)域都有著廣泛的應(yīng)用。

2、
　　近年來，隨著Web2.0的興起，社會網(wǎng)絡(luò)，比如人人網(wǎng)、Facebook、Twitter、新浪微博等非常流行，逐漸成為人與人聯(lián)系的重要方式。社交網(wǎng)絡(luò)中80％以上的數(shù)據(jù)為自然語言文本，海量的用戶產(chǎn)生數(shù)據(jù)(UGC)，充斥著網(wǎng)絡(luò)空間。為了使用戶能更快捷，更方便地了解熱門話題并參與到當前話題的討論之中，對微博熱點話題的挖據(jù)顯得非常重要。但是因為社會網(wǎng)絡(luò)中的文本有其自身的特點，傳統(tǒng)的針對長文本的主題分析模型并不能取得很好的效果。社會網(wǎng)絡(luò)

3、中的文本有幾個顯著特點:高維性、稀疏性、不規(guī)范性、主題分布不均。換言之，微博中每分鐘都會有大量的消息文本產(chǎn)生，這些消息文本很可能產(chǎn)生上萬維的向量，這對于主題分析模型來說太耗時，導(dǎo)致效率低下;而對于長文本來說，它的關(guān)鍵詞少，特征稀疏，很難抽取有效特征，更難以挖掘特征相互之間的關(guān)聯(lián)性;用語不規(guī)范和流行語多，是網(wǎng)絡(luò)文本的最大特點，也為這類主題挖掘帶來了諸多難點;另外，發(fā)布的消息主題類型完全依賴于用戶自己的興趣，在微博中，絕大多數(shù)消息都是關(guān)于日

4、常生活的，比如天氣，心情等，因此僅僅根據(jù)單詞出現(xiàn)的次數(shù)來判斷其是否為熱點話題相關(guān)的單詞的做法不足可取。
　　用傳統(tǒng)的主題分析方法對微博中的文本進行熱點話題挖掘，一方面識別不出熱點話題相關(guān)的信息，會導(dǎo)致準確率較低;另一方面，文本太多，使得主題分析效率很低。近年來，有很多針對微博中熱點話題挖掘進行的研究。鑒于微博中文本存在的特點及針對該文本進行熱點話題挖掘所存在的問題，本文首先對，利用外部數(shù)據(jù)集進行了深入地探討;另外，利用微博中自身屬

5、性也是一個研究方向，微博中的屬性包括發(fā)布時間，標簽，轉(zhuǎn)發(fā)數(shù)和評論數(shù)等，這些屬性對于熱點話題挖掘非常有用，本文探討了如何對此加以利用，提高熱點話題的預(yù)測準確率。本論文的貢獻如下:
　　1)根據(jù)基于實體的相似性算法將每個用戶所發(fā)布的相似消息合并為一個文檔，增加文檔信息;然后將多個外部數(shù)據(jù)集作為知識背景，用LDA(Latent Dirichlet Allocation)模型對數(shù)據(jù)集進行熱點話題挖掘。
　　2)提出一個新的主題分析模