基于云平臺的ARGO海洋環(huán)境觀測數(shù)據(jù)檢索與插值.pdf

1、云平臺技術的快速發(fā)展使人們越來越關注大數(shù)據(jù)(Big data)。如果想要分析大型數(shù)據(jù)集就需要通過像Hadoop中的并行計算模型MapReduce那樣的框架為成百、成千甚至上萬臺電腦分配工作,所以大數(shù)據(jù)分析通常會和云平臺緊密的結合在一起。從技術上來講,大數(shù)據(jù)與云計算的關系可以描述為一枚硬幣的正反兩面那樣密不可分。很顯然,大數(shù)據(jù)是無法用單臺計算機來進行處理,而是必須要采用分布式計算架構。這個架構最大的特色就是能夠對海量數(shù)據(jù)進行分析,但是只有

2、依靠云計算技術中的分布式數(shù)據(jù)庫技術、分布式處理技術、云存儲技術以及虛擬化技術才能夠實現(xiàn)這個架構。
　　隨著云計算技術的發(fā)展,開源云平臺Hadoop顯然已成世界上最重要的云計算技術之一,Hadoop中的并行計算模型MapReduce也應用在分布式計算中。此框架對海量數(shù)據(jù)進行分割然后分配到多個節(jié)點上,接著對每一個節(jié)點進行并行計算,將得出的結果歸并后進行輸出。下一階段計算的輸入就是上一階段計算的輸出,因此可以想象到一個與樹狀結構類似的分

3、布式計算結構,在每一個不同階段都會產出不同的結果,同時在分布式集群的資源下并行和串行進行結合的計算也可以很好地得以高效的處理。
　　對ARGO海洋環(huán)境觀測數(shù)據(jù)進行分析,有利于保護海洋環(huán)境和預防海洋氣候災害,與此同時ARGO海洋環(huán)境觀測數(shù)據(jù)也屬于典型的大數(shù)據(jù),但ARGO數(shù)據(jù)分析軟件很少。所以本文針對ARGO海洋環(huán)境觀測數(shù)據(jù)數(shù)據(jù)量大、離散分布等特點,為了能夠高效的研究ARGO海洋環(huán)境觀測數(shù)據(jù),我們需要將ARGO海洋環(huán)境觀測數(shù)據(jù)的分布與

4、其它空間現(xiàn)象分布模式進行比較,也就是說我們需要將離散分布的ARGO海洋環(huán)境觀測數(shù)據(jù)轉換成為連續(xù)的數(shù)據(jù)曲面,因此本文主要工作是研究基于Hadoop平臺來對ARGO海洋環(huán)境觀測數(shù)據(jù)進行插值與檢索。由于采用不同的方法進行插值會產生不同的計算效率,本文主要實現(xiàn)了兩種插值方法:一種方法是通過分布式計算模型MapReduce的Map過程對ARGO海洋環(huán)境觀測數(shù)據(jù)區(qū)域分塊,在Reduce過程中,計算每個ARGO數(shù)據(jù)點的近鄰點,然后分別對每一塊的ARG

5、O海洋環(huán)境觀測數(shù)據(jù)分別進行插值計算,從而得出插值后連續(xù)的數(shù)據(jù)曲面。由于采用這種方法會對一個ARGO海洋環(huán)境觀測數(shù)據(jù)區(qū)域中的所有點進行檢索,就需要遍歷整個ARGO海洋環(huán)境觀測數(shù)據(jù)區(qū)域中的所有點,但是對于像ARGO海洋環(huán)境觀測數(shù)據(jù)這種大量記錄,很顯然這種方法檢索效率很低,因此提出了第二種方法:在第一種方法的基礎之上進行改進,通過KD樹近鄰算法找到每個塊的每個數(shù)據(jù)的近鄰點來建立索引表,然后直接根據(jù)索引表來計算插值,這種方法減少了搜索點的數(shù)量,