微博自動(dòng)分類方法研究及應(yīng)用.pdf

1、微博是近幾年興起的一種網(wǎng)絡(luò)交流與信息分享平臺(tái),中國(guó)微博網(wǎng)民注冊(cè)用戶已經(jīng)超過3億,由于微博自身的傳播性質(zhì)以及信息內(nèi)容產(chǎn)生的速度,每個(gè)用戶都越來越需要應(yīng)對(duì)信息泛濫的考驗(yàn),同時(shí)每個(gè)用戶微博主頁(yè)上的信息雜亂無章,平臺(tái)本身沒有設(shè)置為微博進(jìn)行自動(dòng)分類的功能,使用戶不能第一時(shí)間查看自己最關(guān)注的、最感興趣的微博。本文將對(duì)微博文本進(jìn)行分類研究,并在此基礎(chǔ)上，結(jié)合微博用戶興趣對(duì)微博分類進(jìn)行應(yīng)用分析。
　　首先通過對(duì)國(guó)內(nèi)外文本分類領(lǐng)域的研究現(xiàn)狀和研究成

2、果進(jìn)行分析,總結(jié)微博分類與文本分類兩者之間異同點(diǎn),并針對(duì)這些異同點(diǎn)進(jìn)行對(duì)比分析,從而找出解決微博文本分類中存在問題的方法。然后通過對(duì)大量的微博數(shù)據(jù)進(jìn)行觀察分析,歸納總結(jié)微博的類型、文本結(jié)構(gòu)以及微博編輯的語(yǔ)言特點(diǎn),并在此基礎(chǔ)上對(duì)微博文本的相關(guān)要素進(jìn)行定義及完成對(duì)微博數(shù)據(jù)模型的構(gòu)建,接下來設(shè)計(jì)了微博數(shù)據(jù)的收集與存儲(chǔ)策略,并最終確定微博文本的分詞方法。其次通過分析四大門戶網(wǎng)站內(nèi)類別的分布情況,基于四大門戶網(wǎng)站內(nèi)的頻道欄目信息以及新浪微博平臺(tái)內(nèi)

3、的類別層次結(jié)構(gòu)對(duì)微博文本的類別體系進(jìn)行定義與說明,在此類別體系的基礎(chǔ)上利用網(wǎng)頁(yè)文本構(gòu)建相應(yīng)類別的類別特征模式庫(kù),并根據(jù)特征庫(kù)內(nèi)的結(jié)構(gòu)及詞匯特點(diǎn),設(shè)計(jì)特征庫(kù)調(diào)整算法用以剔除不同特征庫(kù)內(nèi)的重復(fù)詞及不相關(guān)的詞匯,以使每個(gè)特征庫(kù)內(nèi)包含的特征詞與類別名稱一致。最后通過提出一種微博文本特征詞與特征庫(kù)內(nèi)特征詞相匹配的分類算法對(duì)微博進(jìn)行自動(dòng)類別標(biāo)識(shí),利用微博數(shù)據(jù)來驗(yàn)證分類算法的有效性和可行性,并在分類算法的基礎(chǔ)上結(jié)合用戶使用微博的興趣來對(duì)微博分類進(jìn)行應(yīng)