面向微博的新詞發(fā)現(xiàn)和話題檢測技術研究.pdf

1、隨著互聯(lián)網技術的發(fā)展和移動終端服務的普及，微博這一新型社交媒體得到了迅速的發(fā)展，受到了個人、企業(yè)和政府的青睞。如今，許多新聞和熱點話題都是通過微博發(fā)表并傳播的，如何從大量微博中及時發(fā)現(xiàn)重要的信息對個人、企業(yè)，甚至政府都有具有重要意義。因此，本文研究了面向微博的新詞發(fā)現(xiàn)和話題檢測技術，主要研究內容如下:
　　(1)研究了針對微博的數(shù)據(jù)采集方法。
　　詳細介紹了傳統(tǒng)數(shù)據(jù)采集方法和基于微博API的數(shù)據(jù)采集方法的原理，分析了這兩種方

2、法在采集微博數(shù)據(jù)方面的優(yōu)缺點。最后，結合微博網頁結構的特征，提出了一種適合微博的數(shù)據(jù)采集方法，并且用該方法采集了300萬條微博數(shù)據(jù)，為微博話題檢測提供了豐富的語料資源。
　　(2)研究了面向微博的新詞發(fā)現(xiàn)方法。
　　詳細介紹了新詞發(fā)現(xiàn)的國內外研究現(xiàn)狀，介紹了新詞發(fā)現(xiàn)領域中常用到的統(tǒng)計量和算法，分析了各種新詞發(fā)現(xiàn)方法的原理和優(yōu)缺點。最后，通過計算詞內部結合度和詞邊界自由度發(fā)現(xiàn)新詞，并用該方法參加了COAE2014的相關評測，取

3、得了較好的成績。
　　(3)研究了面向微博的話題檢測方法。
　　詳細介紹了微博話題檢測的國內外研究現(xiàn)狀，介紹了話題檢測領域中常用到的聚類算法和相似度計算方法，介紹了LDA主題模型的原理。最后，提出了基于LDA模型和多層聚類的話題檢測方法。該方法首先用LDA模型對微博語料建模，提取微博語義信息;然后，結合微博的時序性，改進了傳統(tǒng)Single-Pass算法，將改進的Single-Pass聚類和層次聚類相結合進行話題檢測。