基于Web的事件檢測與評(píng)價(jià)系統(tǒng)的研究分析.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展社交網(wǎng)絡(luò)的流行，網(wǎng)絡(luò)中存在海量用戶數(shù)據(jù)，但是這些數(shù)據(jù)以半結(jié)構(gòu)化形式呈現(xiàn)，目前新聞網(wǎng)站每天產(chǎn)生大量數(shù)據(jù)。提取出網(wǎng)絡(luò)中有效數(shù)據(jù)并對(duì)事件的檢測以及該事件中用戶的態(tài)度分析成為熱門研究問題。
　　本文主要針對(duì)中文網(wǎng)站及微博作為研究對(duì)象，實(shí)現(xiàn)在中文網(wǎng)站中快速獲取有效數(shù)據(jù)并通過事件發(fā)現(xiàn)算法進(jìn)行新事件檢測，針對(duì)微博用戶評(píng)論實(shí)現(xiàn)當(dāng)前話題下用戶態(tài)度分析。詳細(xì)工作如下：
　　(1)對(duì)于海量數(shù)據(jù)下半結(jié)構(gòu)化網(wǎng)頁數(shù)據(jù)快速提取有效文本內(nèi)容

2、，本文提出了基于博弈論的有效文本抽取算法。首先通過標(biāo)簽分塊后形成博弈策略兩個(gè)玩家尋找納什均衡確定潛在文本塊，實(shí)驗(yàn)表明本文提出方法優(yōu)于基于DOM樹分析算法和基于視覺分割算法，尤其在效率上。因此對(duì)于屏幕閱讀等及時(shí)應(yīng)用可以使用該方法。
　　(2)本文提出了基于TextRank算法從文本中提取關(guān)鍵詞作為特征向量。首先將文本進(jìn)行分詞操作，分詞后通過TextRank算法提取出權(quán)值較大的60個(gè)特征向量然后進(jìn)行單遍聚類用以檢測新事件。實(shí)驗(yàn)通過對(duì)比