基于Hadoop的數據庫中高效數據存取技術研究.pdf

1、隨著數據量的爆炸式增長，傳統的關系型數據庫管理系統已經無法應對大數據時代數據處理的要求，人們迫切的需要一種能夠對海量數據進行存儲和運算的工具，Hadoop在這種環(huán)境下應運而生。作為一個分布式系統，Hadoop能夠很好的利用集群來實現對海量數據的存儲和運算。目前Hadoop憑借其高可靠性、高擴展性和高容錯性等優(yōu)點已然成為了大數據處理的行業(yè)標準。Hadoop設計之初是用來處理大規(guī)模聚集任務的，這種任務往往需要處理全部的數據，所以使用Hado

2、op對數據進行處理時，會掃描全部的數據。但是隨著時間的發(fā)展，人們使用Hadoop執(zhí)行的任務種類越來越多，許多任務不需要處理全部的數據，比如選擇查詢任務，在這種情況下Hadoop依然采用原來的數據處理方式，這就造成了Hadoop的數據存取效率低下的問題。面對這個問題，本文借鑒傳統關系型數據庫的經驗，為Hadoop引入索引機制從而改變Hadoop掃描數據的處理方式，進而提高Hadoop的數據存取效率。
　　本文首先分析了Hadoop的

3、關鍵組成部分HDFS和MapReduce，然后基于這部分的分析提出了兩種索引方案：基于數據塊的全局索引和集群上的分布式索引?；跀祿K的全局索引方案首先介紹了分布式有序表的概念，然后從索引的格式、索引文件的存儲、索引的創(chuàng)建和索引的使用四個方面論述了全局索引的實現。集群上的分布式索引方案首先分析了分布式索引的組織形式并對全局索引和局部索引進行了對比，然后詳細闡述了在HDFS集群上分布式索引的實現過程，最后分析了該方案下系統的容錯性。