基于LDA模型的微博話題與事件檢測(cè).pdf

1、當(dāng)前，我們處在一個(gè)瞬息萬(wàn)變的互聯(lián)網(wǎng)時(shí)代。近幾年來(lái)，以 SNS、微博、微信等為代表的新型網(wǎng)絡(luò)社交工具迅速崛起，各自擁有了數(shù)量巨大的用戶群體。微博憑借著實(shí)時(shí)性強(qiáng),內(nèi)容簡(jiǎn)練（140字以內(nèi)）和發(fā)布方式多樣等優(yōu)點(diǎn)，已經(jīng)成為網(wǎng)上信息發(fā)布和傳播的主要平臺(tái)之一。微博在短時(shí)期內(nèi)就能夠聚集大量的文本數(shù)據(jù)，如何在這些雜亂、無(wú)序的微博文本數(shù)據(jù)中快速地提取出精煉的、有價(jià)值的話題，是一項(xiàng)艱巨的任務(wù)，需要對(duì)現(xiàn)有的話題檢測(cè)技術(shù)進(jìn)行發(fā)展和提高。
　　本文提出了一種

2、基于LDA-SP（LatentDirichlet Allocation-Single Pass）的微博話題檢測(cè)算法。首先分析了話題檢測(cè)的基本流程，闡述了各個(gè)環(huán)節(jié)使用技術(shù)的基本原理和實(shí)現(xiàn)細(xì)節(jié)。針對(duì)在傳統(tǒng)話題檢測(cè)中，以向量空間模型作為文本模型表示存在著維度過(guò)高、語(yǔ)義表現(xiàn)缺失等缺點(diǎn)，本文改進(jìn)了傳統(tǒng)方法，采用潛在狄利克雷分配模型對(duì)微博文本建模，采用Single-Pass算法作為微博話題檢測(cè)中聚類的實(shí)現(xiàn)方法，將兩者結(jié)合使用。對(duì)照實(shí)驗(yàn)的結(jié)果表明，本

3、文提出的算法在解決了預(yù)設(shè)話題數(shù)的缺點(diǎn)的同時(shí)，還保證了話題檢測(cè)的精度。
　　本文提出了一種微博事件的同一性計(jì)算方法。該方法用來(lái)區(qū)分微博數(shù)據(jù)集中具有相似內(nèi)容的不同事件。由于這種“難分”問(wèn)題的存在，主題模型無(wú)法對(duì)相似內(nèi)容的不同事件進(jìn)行分辨。本文首先考慮兩條語(yǔ)義上相似的微博，然后計(jì)算它們?cè)跁r(shí)間、地點(diǎn)等事件特征上的同一性評(píng)分，從而推斷出它們是否表述同一個(gè)事件。將此方法與Single-Pass算法相結(jié)合，最后引入微博數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)表明，