基于Hadoop平臺(tái)的通信數(shù)據(jù)分布式查詢算法的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、數(shù)據(jù)是信息的載體，隨著信息化的不斷發(fā)展，數(shù)據(jù)在現(xiàn)代社會(huì)生活中承擔(dān)著越來(lái)越重要的角色。社會(huì)網(wǎng)絡(luò)分析就是利用圖論、數(shù)據(jù)挖掘等技術(shù)手段從社會(huì)網(wǎng)絡(luò)數(shù)據(jù)集中尋找有用的信息。由于社會(huì)網(wǎng)絡(luò)分析所處理的數(shù)據(jù)通常是很龐大的。因而對(duì)數(shù)據(jù)處理的能力要求很高。 大規(guī)模通信社會(huì)網(wǎng)絡(luò)數(shù)據(jù)分析與可視化系統(tǒng)是一個(gè)專(zhuān)門(mén)處理通信數(shù)據(jù)集的社會(huì)網(wǎng)絡(luò)分析工具。它提供了社會(huì)網(wǎng)絡(luò)分層擴(kuò)展等一系列數(shù)據(jù)分析與可視化的基本操作。對(duì)于該系統(tǒng)來(lái)說(shuō)，圖的分層擴(kuò)展涉及到在海量數(shù)據(jù)中進(jìn)行查

2、詢，因而對(duì)數(shù)據(jù)查詢效率有著很高的要求。采用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)Oracle或SQLServer等雖然能夠滿足復(fù)雜條件的查詢，但在處理TB級(jí)的大規(guī)模原始數(shù)據(jù)集時(shí)就顯得力不從心。同時(shí)，在網(wǎng)絡(luò)分層擴(kuò)展時(shí)要用到廣度優(yōu)先搜索算法，需要在海量原始數(shù)據(jù)中進(jìn)行遍歷操作，這在關(guān)系數(shù)據(jù)庫(kù)中的效率是很低的。 以上情況就迫切需要我們解決數(shù)據(jù)查詢和處理中存在的瓶頸。在分析了現(xiàn)有分布式存儲(chǔ)系統(tǒng)與云計(jì)算平臺(tái)的基礎(chǔ)上，本文提出了一種基于Hadoop平臺(tái)的分布式數(shù)

3、據(jù)存儲(chǔ)和查詢改進(jìn)方案。本文重點(diǎn)闡述了通信數(shù)據(jù)分布式存儲(chǔ)與查詢?cè)贖adoop平臺(tái)上的實(shí)現(xiàn)。據(jù)Hbase數(shù)據(jù)庫(kù)的特色設(shè)計(jì)了通信社會(huì)網(wǎng)絡(luò)數(shù)據(jù)模型。實(shí)現(xiàn)了基于Hbase數(shù)據(jù)庫(kù)上的條件查詢。并對(duì)設(shè)計(jì)好的數(shù)據(jù)模型進(jìn)行了優(yōu)化。最后在Hadoop數(shù)據(jù)服務(wù)平臺(tái)上實(shí)現(xiàn)了面向軟件客戶端的數(shù)據(jù)訪問(wèn)服務(wù)。設(shè)計(jì)了適合通信社會(huì)網(wǎng)絡(luò)數(shù)據(jù)特色的Map/Reduce算法。通過(guò)Map和Reduce函數(shù)實(shí)現(xiàn)了數(shù)據(jù)的并行查詢和處理。在數(shù)據(jù)查詢過(guò)程中，還將數(shù)據(jù)遍歷過(guò)程放在Redu