基于Hadoop平臺的大數(shù)據(jù)遷移與查詢方法研究及應用.pdf

1、高效的數(shù)據(jù)管理系統(tǒng)對于數(shù)據(jù)應用管理非常重要，然而數(shù)據(jù)規(guī)模的持續(xù)增長、數(shù)據(jù)類型的不斷變化、非結構化數(shù)據(jù)成為存儲和處理對象等因素，逐漸動搖了傳統(tǒng)關系數(shù)據(jù)庫的主導地位，僅僅使用傳統(tǒng)關系數(shù)據(jù)庫已經(jīng)不能很好地解決上述問題，不能滿足經(jīng)濟有效的存儲、分析和訪問數(shù)據(jù)。
　　Hadoop由于對底層存儲和并行處理透明化，同時擁有高性能的集群計算和存儲能力，在分布式計算和大量數(shù)據(jù)處理方面脫穎而出。然而使用Hadoop平臺對大數(shù)據(jù)進行處理，并實現(xiàn)高效率查

2、詢，需要對Hadoop與關系型數(shù)據(jù)庫之間進行數(shù)據(jù)的遷移，將數(shù)據(jù)導入到Hadoop中進行分析處理，使用Hadoop來優(yōu)化數(shù)據(jù)庫核心工作效率及數(shù)據(jù)庫性能、完成不斷更新的查詢需求。
　　本文在討論研究Hadoop平臺相關架構及數(shù)據(jù)交換原理的基礎上，對基于Hadoop平臺的數(shù)據(jù)遷移提出了MapReduce技術的實現(xiàn)方案，MapReduce可以實現(xiàn)更優(yōu)的并發(fā)性，從而可以體現(xiàn)優(yōu)化數(shù)據(jù)轉換的能力。
　　首先深入分析MapReduce工作機

3、制，及Hadoop三種常用的作業(yè)調(diào)度器。在此基礎上，對MapReduce的作業(yè)調(diào)度器進行優(yōu)化設計，將公平調(diào)度器與優(yōu)先權（高響應比優(yōu)先）調(diào)度算法相結合，提出了基于優(yōu)先權的公平調(diào)度器的改進算法，同時以TaskTracker的負載均衡監(jiān)聽器輔助進行調(diào)度工作。
　　然后分析HBase和Hive各自的工作機制，對Hive-HBase相結合的數(shù)據(jù)查詢方法進行探討，設計了一個基于Hive-HBase的數(shù)據(jù)查詢方案。
　　最后，搭建實驗環(huán)境

4、對基于Hadoop平臺的數(shù)據(jù)遷移及數(shù)據(jù)查詢進行實驗與分析，對比基于不同調(diào)度算法的遷移性能，以及對比原系統(tǒng)與Hive-HBase相結合的查詢方案二者進行數(shù)據(jù)查詢的效率。
　　經(jīng)過實驗分析，驗證了本文構建基于Hadoop平臺包括數(shù)據(jù)遷移和查詢的完整數(shù)據(jù)處理的方案是可行的。數(shù)據(jù)遷移過程中對調(diào)度算法的優(yōu)化提高了數(shù)據(jù)遷移性能，同時，使用Hadoop平臺對大數(shù)據(jù)進行處理與傳統(tǒng)關系數(shù)據(jù)庫相比，在查詢效率上體現(xiàn)其優(yōu)勢。因此，本文在對大數(shù)據(jù)進行處理