面向大數(shù)據(jù)處理的Hadoop與MongoDB整合技術(shù)研究.pdf

1、伴隨著數(shù)據(jù)種類的增多和數(shù)據(jù)規(guī)模的增大，NoSQL技術(shù)與MapReduce并行處理思想越來越受到重視。MongoDB作為NoSQL數(shù)據(jù)庫的典型代表，支持對海量數(shù)據(jù)進(jìn)行索引和查詢，Hadoop作為MapReuce的開源實(shí)現(xiàn)，為海量數(shù)據(jù)處理提供了強(qiáng)大的并行計(jì)算框架，本文致力于將 MongDB與 Hadoop整合到一個(gè)平臺(tái)，搭建了一個(gè)基于MongoDB與Hadoop的整合體系Mongo-Hadoop，其目的是為了綜合利用MongoDB與Hado

2、op的優(yōu)點(diǎn)，更好地應(yīng)對大數(shù)據(jù)處理中的存儲(chǔ)、計(jì)算和查詢。
　　本文首先對Hadoop與MongoDB的框架結(jié)構(gòu)以及工作機(jī)理進(jìn)行了深入研究，對比分析了Hadoop與MongoDB各自的優(yōu)勢與不足以及兩者之間的一些共性，總結(jié)出了兩個(gè)問題：在數(shù)據(jù)計(jì)算方面，MongoDB MapReduce存在很大的局限性,不能滿足復(fù)雜的數(shù)據(jù)分析計(jì)算。在數(shù)據(jù)存儲(chǔ)方面，HDFS作為Hadoop的底層分布式文件系統(tǒng)，為數(shù)據(jù)的高吞吐量而設(shè)計(jì)，卻不能實(shí)現(xiàn)對數(shù)據(jù)的高

3、效查詢。針對第一個(gè)問題，本文實(shí)現(xiàn)了Hadoop與 MongoDB整合的中間連接件 Mongo-Hadoop connector，通過此插件能夠?qū)崿F(xiàn)Hadoop MapReduce對MongoDB中數(shù)據(jù)的高效處理。通過本文實(shí)驗(yàn)驗(yàn)證，在兩個(gè)節(jié)點(diǎn)的集群上，Hadoop MapReduce的性能平均是MongoDB MapReduce的5倍。針對第二個(gè)問題，本文實(shí)現(xiàn)了Hadoop與MongoDB的整合框架，并提出四種不同的整合方案來應(yīng)對大數(shù)據(jù)處

4、理的不同需求。
　　Mongo-Hadoop是對MongoDB與Hadoop的整合，為實(shí)現(xiàn)兩者更好的兼容性，集群部署和參數(shù)配置顯得尤為重要。本文對MongoDB集群與Hadoop集群中的各個(gè)角色進(jìn)行了深入分析，從節(jié)點(diǎn)資源利用、數(shù)據(jù)本地化、可擴(kuò)展性等方面考慮，總結(jié)出了Mongo-Hadoop集群的部署策略，同時(shí)對影響 Mongo-Hadoop運(yùn)行方式和性能的部分參數(shù)作了深入研究，并對影響整體性能的關(guān)鍵參數(shù)作了調(diào)優(yōu)。
　　最后，