分布式微博信息采集平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)、社交網(wǎng)絡(luò)和移動(dòng)網(wǎng)絡(luò)的高速發(fā)展，對(duì)于海量數(shù)據(jù)的收集、分析、應(yīng)用和預(yù)測(cè)已經(jīng)成為各個(gè)領(lǐng)域的研究熱點(diǎn)。目前，對(duì)海量數(shù)據(jù)的采集主要是整個(gè)網(wǎng)絡(luò)范圍的采集，比如各種搜索引擎，或者是單機(jī)模式的采集，這樣的數(shù)據(jù)采集方案沒有針對(duì)性或者性能較差。因此，分布式的垂直采集方案由此產(chǎn)生。
　　本文設(shè)計(jì)并實(shí)現(xiàn)了基于分布式模型的微博數(shù)據(jù)采集系統(tǒng)。數(shù)據(jù)采集采用模擬瀏覽器登陸后抓取頁面以及解析頁面的設(shè)計(jì)方案，考慮到可擴(kuò)展性，系統(tǒng)架構(gòu)采用Master/

2、Slave的分布式模型。整個(gè)系統(tǒng)包括控制節(jié)點(diǎn)和工作節(jié)點(diǎn)兩大部分。1)控制節(jié)點(diǎn)負(fù)責(zé)任務(wù)調(diào)度、任務(wù)狀態(tài)檢測(cè)和爬取數(shù)據(jù)的存儲(chǔ)，其中任務(wù)調(diào)度模塊采用基于優(yōu)先級(jí)的FIFO算法實(shí)現(xiàn)，任務(wù)狀態(tài)通過周期性的心跳機(jī)制檢測(cè)，而數(shù)據(jù)存儲(chǔ)采用批量數(shù)據(jù)存儲(chǔ)方案。2)工作節(jié)點(diǎn)主要負(fù)責(zé)任務(wù)執(zhí)行、任務(wù)狀態(tài)匯報(bào)和任務(wù)申請(qǐng)。任務(wù)執(zhí)行使用HTTPClient工具進(jìn)行頁面數(shù)據(jù)抓取，然后使用XQuery模板對(duì)目標(biāo)數(shù)據(jù)進(jìn)行解析。任務(wù)狀態(tài)匯報(bào)基于工作節(jié)點(diǎn)周期性地向控制節(jié)點(diǎn)匯報(bào)本地任