云環(huán)境下海量數據查詢處理與分析技術研究.pdf

1、近年來，隨著數據量的急劇增長，數據處理技術也同步獲得非常巨大的發(fā)展。有別于過去傳統(tǒng)的數據查詢分析技術，借助于云計算技術的海量數據查詢處理與分析技術有其本質特征。目前，云環(huán)境下的海量數據查詢處理與分析技術仍處于不成熟階段，但其先進性和實用價值已無可置疑。因此，研究云環(huán)境下的海量數據查詢處理與分析技術具有重要意義。
　　現有的研究已經解決了大部分簡單的查詢處理問題，對于一些更為復雜的查詢處理分析問題，要么不能解決，要么效率不高。本文圍

2、繞云環(huán)境下海量數據的k近鄰連接查詢，和kMeans聚類分析進行研究，主要研究工作如下：
　?。?）根據云環(huán)境下大規(guī)模數據查詢處理分析的特點，提出了一種適用于多個具有依賴關系的MapReduce任務的計算框架——基于數據流的計算框架。由于MapReduce任務均需要讀寫分布式文件系統(tǒng)，導致MapReduce不能有效表達多個任務之間依賴關系。該框架將數據處理過程不再按照單任務建模，而是作為一種數據流圖來處理，減少了多個具有依賴關系Ma

3、pReduce任務之間的文件存儲。重新組合任務提高運行效率。
　?。?）k-近鄰連接（kNN Join）查詢是空間數據庫中一種常用操作，隨著數據呈爆炸式增長，設計分布式k-近鄰連接查詢算法成為了目前急需解決的問題。由于現有的分布式kNN Join查詢算法都包括了多輪串行的MapReduce任務，因此提出了一種基于數據流計算框架上高效的kNN Join算法，利用空間填充曲線(z曲線)將多維數據映射為一維數據，從而將k-近鄰連接查詢轉

4、化為一維范圍查詢。
　　（3）傳統(tǒng)的集中式kMeans算法已不能適應當前的數據規(guī)?！，F有分布式kMeans算法是基于MapReduce計算框架而且沒有考慮到初始聚類中心的影響。因此，在基于數據流框架基礎上,提出了一種高效的kMeans算法。該算法采用了基于多次采樣的方式確定初始聚類中心實現負載均衡降低算法迭代次數。
　　（4）對Hive進行了改進和擴充，針對空間數據查詢處理分析的復雜性，云環(huán)境下大規(guī)模數據查詢處理與分析出現的