分布式并行環(huán)境下林地落界數據快速統計技術研究.pdf

1、林地管理是森林資源管理的基礎，國家為了進一步提升森林資源的整體監(jiān)測和管理水平，在《全國林地保護利用規(guī)劃綱要（2010-2020年）》的指導下，開展全國林地“一張圖”建設。其中整合了近期高分辨率遙感數據、林地落界數據、基礎地理數據以及林業(yè)相關數據，形成了涉及各級（縣、省、國家）微觀或至宏觀管理與應用需要的多尺度多業(yè)務類型的海量數據，僅林地落界小班數據已達6738.88萬條。隨著林地數據呈指數增長，面臨體量如此巨大、數據類型繁多、高速變化、

2、價值密度低的空間數據，當前系統中采用的數據模型和統計技術對支持海量數據多維快速統計的局限性表現得越來越突出。因此本文在分布式并行環(huán)境下，對林地落界數據統計的數據模型和快速統計技術進行研究。
　　本文針對林地“一張圖”系統中面臨的海量數據動態(tài)統計的問題，以多維數據模型、并行計算、數據挖掘等理論和技術為基礎，通過對多維統計模型、并行數據優(yōu)化部署、并行統計計算、統計結果匯集與緩存管理這四個關鍵技術的研究，形成了一個高效、快速的森林資源數

3、據統計技術體系，并通過設計實驗對相關技術點進行驗證，實驗結果表明文章提出的數據模型和技術適合林地落界數據多維動態(tài)統計的需求。本文所做研究如下:(1)林地落界統計應用需求和數據特點分析，提出了分布式并行環(huán)境下林地落界快速統計技術體系，并對體系中涉及的多維統計模型、并行數據優(yōu)化部署、并行統計計算、統計結果匯集與緩存管理內容給出了解決思路。(2)林地落界數據多維統計模型研究。通過對林地落界數據特點和統計尺度分析，建立基于星型模型的林地落界數據

4、立方體，構建因子組合模型，并在基礎上結合統計尺度，構建因子組合統計模型，實現不同尺度下的林地落界數據多維屬性統計和空間統計。(3)林地落界數據優(yōu)化部署研究。通過對林地落界統計粒度的劃分與分配、索引體系研究，解決統計粒度在分布式并行環(huán)境下的管理問題。對林地落界統計任務的內涵進行分析，確定把維表在各節(jié)點復制，對林地落界事實表進行劃分的數據劃分思路。結合應用場景的特點，提出了基于Hilbert空間填充曲線的動態(tài)網格空間數據劃分算法，從而確定林

5、地落界統計粒度的大小。在此基礎上，提出了基于任務量和圖著色理論的空間數據部署方案。并基于統計特征，提出了基于GTMPR-tree(Graphy-Coloring theory based Multi-tiers Parallel R-tree)的多層索引體系。并通過測試表明以縣為單位的空間數據粒度存儲單位更適合并行快速統計的需求，且通過變異系數(C.V)衡量通過任務量改進的基于圖著色的空間部署方案，結果表明改進的算法使得數據在各節(jié)點的分

6、布更為均衡，均衡度提高了2倍多。(4)林地落界數據并行統計計算研究。通過給出統計任務粒度的大小，并行統計計算模型，以及提出基于GTMPR-tree的任務劃分模型，解決了統計任務資源調度的問題。(5)統計結果匯集和緩存管理研究。針對影響統計效率的統計結果和緩存，給出了基于靜態(tài)緩存表和動態(tài)語義緩存的二級緩存機構和混合緩存管理策略，進一步提出了基于相關性分析的緩存優(yōu)化模型和基于評價機制的統計更新模型，來優(yōu)化統計緩存。通過實驗給出了潛在的有價值