基于Hadoop的微博熱點(diǎn)話題情感分類(lèi)系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，社交網(wǎng)絡(luò)逐漸成為一種快速便捷的信息分享和交互平臺(tái)。作為當(dāng)前國(guó)內(nèi)社交網(wǎng)絡(luò)巨頭之一，新浪微博熱門(mén)話題的討論提升了微博用戶的參與感和活躍程度，形成了一個(gè)和用戶關(guān)系密切相關(guān)的傳播網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)在一定程度上反映了微博信息的傳播方式和情感傾向。因此，對(duì)該網(wǎng)絡(luò)的調(diào)研和對(duì)某話題的情感分類(lèi)是一個(gè)很有意義的研究課題。然而，由于數(shù)據(jù)量巨大，分析處理通常需要較長(zhǎng)的時(shí)間開(kāi)銷(xiāo)，現(xiàn)有傳統(tǒng)技術(shù)和方法難以有效完成大規(guī)模微博數(shù)據(jù)的處理，而本文討論

2、的Hadoop平臺(tái)可以為大規(guī)模微博數(shù)據(jù)處理提供有效的技術(shù)手段，實(shí)現(xiàn)較快的微博熱點(diǎn)話題情感分類(lèi)。
　　首先，本文對(duì)Hadoop平臺(tái)及其兩大核心組件MapReduce并行計(jì)算框架和HDFS分布式文件存儲(chǔ)系統(tǒng)予以研究討論，并闡述了樸素貝葉斯分類(lèi)算法的原理和工作流程。在計(jì)算特征詞的概率矩陣時(shí)，經(jīng)典的TFIDF方法將數(shù)據(jù)集作為一個(gè)整體來(lái)考慮，影響了情感分類(lèi)結(jié)果。故本文中研究了訓(xùn)練集中的數(shù)據(jù)在類(lèi)中和類(lèi)間的分布偏差，提出了針對(duì)TFIDF的改進(jìn)方

3、案，給出樸素貝葉斯分類(lèi)并行化的總體流程以及具體算法。其次，為觀察集群負(fù)載能力和改進(jìn)算法的分類(lèi)準(zhǔn)確率情況，文中使用測(cè)試數(shù)據(jù)集設(shè)計(jì)多組實(shí)驗(yàn)對(duì)其進(jìn)行情感分類(lèi)，在分類(lèi)過(guò)程中的不同階段分別觀察了系統(tǒng)各節(jié)點(diǎn)在不同數(shù)據(jù)集情況下的負(fù)載能力，證實(shí)了Hadoop集群處理大數(shù)據(jù)的可擴(kuò)展性和優(yōu)越性。同時(shí)也測(cè)試了貝葉斯分類(lèi)器并行化之后的準(zhǔn)確性，實(shí)驗(yàn)表明，改進(jìn)后的貝葉斯分類(lèi)器分類(lèi)準(zhǔn)確率相比較經(jīng)典樸素貝葉斯分類(lèi)器有明顯改善，且在一定范圍內(nèi)，隨著數(shù)據(jù)集容量的不斷增大，