大規(guī)?？臻g數(shù)據(jù)的高性能查詢(xún)處理關(guān)鍵技術(shù)研究.pdf

1、對(duì)地觀(guān)測(cè)、GIS和傳感器網(wǎng)絡(luò)等空間數(shù)據(jù)獲取技術(shù)的革命性進(jìn)步、存儲(chǔ)器價(jià)格的顯著下降以及人們希望從空間數(shù)據(jù)中獲取知識(shí)等客觀(guān)需求，催生了大數(shù)據(jù)，空間數(shù)據(jù)管理技術(shù)迎來(lái)了大數(shù)據(jù)時(shí)代。傳統(tǒng)的并行計(jì)算和空間數(shù)據(jù)庫(kù)技術(shù)在應(yīng)對(duì)容量大、類(lèi)型多樣的空間查詢(xún)處理和分析挑戰(zhàn)時(shí)，遇到了可擴(kuò)展性差、支持類(lèi)型單一等困難。近年來(lái)，Map Red uce技術(shù)異軍突起，通過(guò)集群上的分布式并行計(jì)算獲得良好的系統(tǒng)性能，并以高度的可擴(kuò)展性，滿(mǎn)足不斷增長(zhǎng)的數(shù)據(jù)量的處理需求，成為大數(shù)

2、據(jù)分析的主流技術(shù)之一。因此，結(jié)合MapRed uce技術(shù)進(jìn)行大規(guī)?？臻g數(shù)據(jù)的高性能查詢(xún)處理成為一種發(fā)展趨勢(shì)。最近以來(lái)，這一方向已經(jīng)引起國(guó)內(nèi)外學(xué)者的注意，開(kāi)展了初步研究并取得了一定的成果，但為了取得更好的查詢(xún)效果并滿(mǎn)足實(shí)際應(yīng)用需求，在關(guān)鍵空間查詢(xún)算法設(shè)計(jì)及性能優(yōu)化等方面均存在進(jìn)一步探索的巨大空間。本文從實(shí)際需求出發(fā)，借鑒傳統(tǒng)的并行空間查詢(xún)算法和空間數(shù)據(jù)庫(kù)技術(shù)，結(jié)合MapRed uce并行計(jì)算模型的特點(diǎn)，從以下四個(gè)方面對(duì)大規(guī)模空間數(shù)據(jù)的高性

3、能查詢(xún)處理技術(shù)開(kāi)展了研究：
　　1．并行計(jì)算模型抽象與空間數(shù)據(jù)建模
　　為指導(dǎo)MapRed uce框架下并行空間查詢(xún)算法的設(shè)計(jì)，對(duì)并行計(jì)算模型和數(shù)據(jù)存儲(chǔ)模型進(jìn)行了研究。首先，利用無(wú)依賴(lài)并行和串行同步計(jì)算的形式化定義抽象了MapRed uce并行編程模型，采用分階段方法對(duì)各個(gè)階段的代價(jià)模型進(jìn)行分析；其次，針對(duì)MapRed uce框架下空間數(shù)據(jù)的存儲(chǔ)需求，在分析空間數(shù)據(jù)信息模型和空間數(shù)據(jù)對(duì)象-關(guān)系存儲(chǔ)模型的基礎(chǔ)上，設(shè)計(jì)了空間數(shù)據(jù)

4、的key-va lue存儲(chǔ)模型并進(jìn)行了實(shí)現(xiàn)。
　　2．空間數(shù)據(jù)索引的并行構(gòu)建
　　針對(duì)大規(guī)?？臻g數(shù)據(jù)R-樹(shù)索引的構(gòu)建需求，提出了基于Hilbert曲線(xiàn)和隨機(jī)采樣的并行空間劃分函數(shù)生成方法，利用生成的空間劃分函數(shù)，使得大規(guī)?？臻g數(shù)據(jù)的R-樹(shù)索引構(gòu)建符合MapRed uce無(wú)依賴(lài)并行和串行同步的計(jì)算抽象，并設(shè)計(jì)了并行處理階段的算法，最后從負(fù)載均衡、構(gòu)建效率和構(gòu)建質(zhì)量等方面實(shí)驗(yàn)驗(yàn)證算法的可行性和高效性；其次，針對(duì)大規(guī)模批量遙感影像

5、瓦片金字塔索引的構(gòu)建需求，基于全球瓦片金字塔模型，提出一種基于分辨率和空間范圍自動(dòng)匹配的瓦片金字塔索引的生成方法，詳細(xì)設(shè)計(jì)了Map階段瓦片并行生成和Red uce階段瓦片并行合并處理方法，并提出了一種過(guò)濾優(yōu)化方法，最后實(shí)驗(yàn)驗(yàn)證了算法的高效性和可擴(kuò)展性。
　　3．空間數(shù)據(jù)的并行連接聚集查詢(xún)
　　在面向大規(guī)?？臻g數(shù)據(jù)的空間連接查詢(xún)上，用戶(hù)經(jīng)常需要連接查詢(xún)中的統(tǒng)計(jì)聚集信息。對(duì)此，提出了MapRed uce框架下兩種不同條件下的并行

6、連接聚集算法。首先，針對(duì)非索引條件下的并行空間連接聚集問(wèn)題，提出了一種MapRed uce框架下的過(guò)濾合并(Map-Reduce-Filter-Merge，MRFM)方法，Map階段利用空間網(wǎng)格將整個(gè)空間連接聚集任務(wù)劃分為無(wú)關(guān)聯(lián)的任務(wù)子集，Red uce階段則對(duì)每個(gè)任務(wù)執(zhí)行部分聚集的空間連接聚集操作，F(xiàn)ilte r階段對(duì)單次分配空間對(duì)象的連接聚集結(jié)果進(jìn)行過(guò)濾操作，然后Merge階段對(duì)多次分配空間對(duì)象的連接聚集結(jié)果進(jìn)行合并。其次，將R-樹(shù)

7、索引引入到空間連接聚集操作中，利用分布式R-樹(shù)來(lái)索引大規(guī)?？臻g數(shù)據(jù)并生成任務(wù)集，然后利用任務(wù)連通圖進(jìn)行任務(wù)劃分，使其符合無(wú)依賴(lài)并行計(jì)算模型，并設(shè)計(jì)了Map和Red uce階段的并行處理算法，比非索引的空間連接聚集操作更加自然，并且性能得到提升。
　　4．空間數(shù)據(jù)的并行k近鄰連接查詢(xún)
　　MapRed uce框架下處理 k近鄰連接查詢(xún)的核心在于數(shù)據(jù)的劃分，現(xiàn)有方法主要采用數(shù)據(jù)塊的劃分方法，但執(zhí)行時(shí)間隨數(shù)據(jù)規(guī)模的增長(zhǎng)呈平方項(xiàng)增長(zhǎng)