基于元搜索的輿情信息采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)越來(lái)越成為人們獲取信息資源、表達(dá)思想看法的重要途徑，民眾針對(duì)熱門(mén)人物或事件所持有的態(tài)度、信念和價(jià)值觀的表達(dá)，在互聯(lián)網(wǎng)上匯聚成不可忽視的輿論力量，網(wǎng)絡(luò)輿情監(jiān)測(cè)系統(tǒng)應(yīng)運(yùn)而生。
　　社會(huì)事件的關(guān)鍵是人，通過(guò)人物抓取相關(guān)社會(huì)事件和輿論資源，以提供給相關(guān)部門(mén)作為決策依據(jù)，是輿情監(jiān)控系統(tǒng)發(fā)展的一個(gè)重要方向。本人在北京市微普科創(chuàng)科技有限公司實(shí)習(xí)之際，參與了公司面向知名人士的輿情監(jiān)控系統(tǒng)《校友大數(shù)據(jù)》的設(shè)計(jì)開(kāi)發(fā)工作。在

2、項(xiàng)目中，本人主要負(fù)責(zé)輿情信息采集子系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)工作。
　　輿情信息采集技術(shù)的基礎(chǔ)是互聯(lián)網(wǎng)搜索技術(shù)，這就使得它和搜索引擎在設(shè)計(jì)思路、技術(shù)實(shí)現(xiàn)上，有著許多相同之處，通過(guò)研究搜索引擎技術(shù)，可以為輿情信息采集提供寶貴經(jīng)驗(yàn)。本人在項(xiàng)目之初，為獲得較好的采集廣度和準(zhǔn)確性，研究了搜索引擎基本原理，對(duì)比了現(xiàn)有搜索引擎技術(shù)，特別研究了元搜索引擎關(guān)鍵技術(shù)，最終確定項(xiàng)目的技術(shù)架構(gòu)，并吸收全文搜索引擎索引的優(yōu)點(diǎn)來(lái)實(shí)現(xiàn)輿情信息采集系統(tǒng)。具體改進(jìn)包括:

3、r>　　(1)在查詢(xún)轉(zhuǎn)換上，分析了非定向采集和定向采集站點(diǎn)的查詢(xún)規(guī)則和頁(yè)面結(jié)構(gòu)，實(shí)現(xiàn)了精準(zhǔn)采集;
　　(2)基于對(duì)輿情信息系統(tǒng)存儲(chǔ)特殊性的考量，在對(duì)元搜索引擎改進(jìn)方面，建立了元搜索引擎的網(wǎng)頁(yè)數(shù)據(jù)庫(kù);通過(guò)實(shí)驗(yàn)對(duì)比Lucene內(nèi)存倒排索引來(lái)進(jìn)行方案優(yōu)選，建立了MySQL倒排索引數(shù)據(jù)庫(kù)，更好地實(shí)現(xiàn)了站內(nèi)全文搜索功能;
　　(3)在元搜索消重策略選擇上，通過(guò)對(duì)現(xiàn)有方案的對(duì)比分析，優(yōu)選出適合本系統(tǒng)的標(biāo)題和正文關(guān)鍵詞結(jié)合的向量空間算法，

4、得到最佳消重策略;
　　(4)在輿情信息結(jié)果排序方面，基于對(duì)輿情監(jiān)控系統(tǒng)展現(xiàn)層興趣排序的需求，從元搜索引擎排序技術(shù)中得到啟發(fā)，借用并改進(jìn)了HITS算法，使得排序結(jié)果更大程度上滿(mǎn)足用戶(hù)需求，并通過(guò)實(shí)驗(yàn)驗(yàn)證了設(shè)計(jì)的合理性。在實(shí)現(xiàn)興趣排序的同時(shí)，通過(guò)結(jié)合垂直搜索思想解決了HITS算法存在的主題漂移問(wèn)題，最終通過(guò)系統(tǒng)測(cè)試來(lái)證明了改進(jìn)排序算法的優(yōu)越性;
　　(5)在定向采集上，本人通過(guò)對(duì)貼吧結(jié)構(gòu)的分析，建立了貼吧概念模型，結(jié)合輿情采集

5、需求，建立出概念模型，最終確定系統(tǒng)物理模型。
　　最終通過(guò)項(xiàng)目開(kāi)發(fā)實(shí)現(xiàn)了本系統(tǒng)，并在系統(tǒng)運(yùn)行數(shù)據(jù)的基礎(chǔ)上設(shè)計(jì)測(cè)試并進(jìn)行統(tǒng)計(jì)分析，最終驗(yàn)證了設(shè)計(jì)的合理性，具體包括:
　　(1)系統(tǒng)采集新聞信息覆蓋超出傳統(tǒng)搜索引擎的17％，證明了采集系統(tǒng)使用元搜索引擎的優(yōu)越性;
　　(2)在HITS算法改進(jìn)之后，頁(yè)面排序中的首頁(yè)點(diǎn)擊率提高13％，前三頁(yè)總點(diǎn)擊率從67％上升到了83％，說(shuō)明通過(guò)結(jié)合用戶(hù)興趣能夠提供給用戶(hù)更好的搜索結(jié)果，減少了