分布式社會網絡分析支撐系統(tǒng)研究與應用.pdf

1、隨著互聯網的快速發(fā)展,SNS網站的興起,人們越來越多地通過網絡進行溝通、交流以及形成人際關系,由此產生了大量的用戶數據。如何從海量的用戶數據中取得更深層次的有用信息,進而挖掘其中的潛在內容,如網絡輿論擴散模型、網絡用戶群體屬性及商業(yè)價值等,是當前的重要研究方向和挑戰(zhàn)。傳統(tǒng)的社會網絡分析工具和算法通常都是基于單機的,在處理大規(guī)模數據集的時候往往會面臨存儲和處理能力不足等的問題。而且,原始輸入數據和社會網絡結構描述都是無結構或半結構化的數據

2、,傳統(tǒng)關系數據庫并不善于處理此種類型的數據,從而在利用傳統(tǒng)社會網絡分析工具和算法處理大規(guī)模數據集時變得更加困難。
　　 本文提出了基于HBase的分布式社會網絡分析支撐系統(tǒng)的解決方案,用于幫助用戶在對海量數據進行社會網絡分析時,收集萃取數據,構建可分析的社會網絡,對網絡內的個體或個體間關系進行分析,以得出這個社會網絡的一些特征數據。系統(tǒng)主要功能包括獲取社會網絡分析所需的數據,從數據中抽取網絡關系,分布式社會網絡構建,網絡圖存儲和

3、分布式社會網絡分析算法的設計,完整實現了進行社會網絡分析的過程。
　　 該解決方案通過融合HBase分布式體系結構和社會網絡分析流程,建立了基于模塊的多層次體系結構。系統(tǒng)模塊間采用松耦合設計,不同模塊完成不同的功能,在不改變系統(tǒng)功能前提下對任意模塊的內部修改不影響其他模塊的工作。在構建社會網絡時,系統(tǒng)通過開源爬蟲從互聯網,特別是社會化網站中獲取構建社會網絡相關的數據,并從非結構或半結構化的原始輸入數據中抽取出相關的社會網絡關系,

4、然后利用MapReduce分布式構建社會網絡,包括網絡合并、邊屬性計算等。在支撐系統(tǒng)的存儲層設計了基于HBase的圖存儲系統(tǒng),并針對社會網絡結構的特性設計了圖存儲結構,負責存儲構建完成的社會網絡,向上層應用提供各種所需圖數據。在進行社會網絡分析時,通過圖表述系統(tǒng)將社會網絡抽象為一幅圖,然后對圖中的節(jié)點和邊進行處理,圖表述系統(tǒng)向分布式社會網絡分析算法提供圖數據接口和預處理功能。最后,在支撐系統(tǒng)的基礎上,本文以節(jié)點度、節(jié)點強度及聚類系數分析