針對私人微博的自動摘要形成研究.pdf

1、自2007年以來,微博這種通訊形式風(fēng)靡全球。微博具有上手門檻低、交流及時、發(fā)布便捷等優(yōu)勢,在全球得以普及和發(fā)展。近年來微博的發(fā)展態(tài)勢強(qiáng)勁,已成為人們生活中不可或缺的一部分。在國內(nèi),網(wǎng)民的微博用戶數(shù)量激增,每日發(fā)布的博文條數(shù)多達(dá)上億條,產(chǎn)生了大量的微博數(shù)據(jù)。大多數(shù)的微博內(nèi)容隨意,評論較多且口語化嚴(yán)重。如何在浩如煙海各型各色的微博數(shù)據(jù)中找到符合個人興趣并能夠提供有效信息的微博數(shù)據(jù),成為了伴隨著微博發(fā)展帶來的一個巨大的問題。
　　本文以

2、新浪微博為數(shù)據(jù)來源,以個人微博一個歷史時間段內(nèi)所發(fā)表的所有微博數(shù)據(jù)為單位進(jìn)行研究。經(jīng)過對自動文摘技術(shù)與微博數(shù)據(jù)特點(diǎn)的研究,并且結(jié)合文本表示、聚類算法等主題進(jìn)行了探討,設(shè)計且實現(xiàn)了一個從獲取數(shù)據(jù)到數(shù)據(jù)處理到最終自動摘要形成的完整系統(tǒng)。這個過程中主要經(jīng)歷了以下步驟:獲取數(shù)據(jù)、對數(shù)據(jù)進(jìn)行預(yù)處理、文本表示、特征選擇、相似度計算改進(jìn)、聚類算法改進(jìn)及算法實現(xiàn)和形成綜合自動摘要。本論文主要工作有:
　　首先,通過新浪微博開放平臺獲取微博原始數(shù)據(jù)

3、。
　　其次,對微博數(shù)據(jù)進(jìn)行分析研究,結(jié)合私人微博文本特點(diǎn)把微博數(shù)據(jù)與評論內(nèi)容合并成偽文檔進(jìn)行分詞等一系列預(yù)處理工作。接下來,將分詞后的文本轉(zhuǎn)化成數(shù)據(jù)格式。文本模型把數(shù)據(jù)從文本形式轉(zhuǎn)化成了數(shù)學(xué)的表示,反映了數(shù)據(jù)之間的關(guān)系,并在此基礎(chǔ)上采用文本相似度的計算方法。
　　然后,聚類算法采用了K-means聚類算法。K值的指定一直都是K-means聚類算法的最大的問題,通常需要通過經(jīng)驗進(jìn)行判斷。中心點(diǎn)的選取也是一個較大的問題,通常中

4、心點(diǎn)最好具有代表性,選取不同中心點(diǎn)的位置對算法結(jié)果的準(zhǔn)確性也有較大影響。我們對此進(jìn)行了改進(jìn),使得改進(jìn)后的算法能夠自適應(yīng)地獲取K的值,并選取中心點(diǎn)。
　　最后,根據(jù)微博的內(nèi)容時效性和流行度,確定聚類簇中各個微博的權(quán)重,先得到每個聚類中的摘要,最終結(jié)合各個聚類簇形成最終針對私人微博的摘要。論文的最后通過實驗驗證,對論文提出的聚類算法改進(jìn)進(jìn)行了分析和實驗。相比于原先的算法準(zhǔn)確率和適用性有所提高。通過整個系統(tǒng)開發(fā)實現(xiàn)了私人微博摘要的形成。