12353.云計算下基于貝葉斯分類的氣象數(shù)據(jù)挖掘研究

1、（二○二○一四年五月碩士學位論文碩士學位論文分類號分類號:學校代碼學校代碼::1012810128UDC:學號:2004114720041147分類號分類號:學校代碼學校代碼::1012810128UDC:學號:2011110008020111100080類別：全日制碩士研究生全日制碩士研究生題目：云計算下基云計算下基于貝葉斯分類的氣象數(shù)于貝葉斯分類的氣象數(shù)據(jù)挖掘研究據(jù)挖掘研究英文題目：文題目：ResearchofResearchofM

2、eteorologicalDataeteorologicalDataMiningBasedonCloudComputingMiningBasedonCloudComputingandBayesandBayes研究生研究生：張晨陽張晨陽學科名稱：學科名稱：計算機應用技術計算機應用技術指導教師：指導教師：劉利民劉利民教授教授馬志強馬志強副教授副教授內蒙古工業(yè)大學碩士學位論文摘要隨著數(shù)據(jù)庫技術和計算機網(wǎng)絡的高速發(fā)展，氣象部門在日?？蒲泻凸芾砘?/p>

3、動中收集積累了海量的氣象信息資料。利用數(shù)據(jù)挖掘技術，分析觀測到的氣象信息資料，發(fā)現(xiàn)潛在其中的特點和規(guī)律，對于提高氣象數(shù)據(jù)利用率，進一步完善氣象預測有重要意義。傳統(tǒng)的數(shù)據(jù)存儲與挖掘方法在處理海量氣象數(shù)據(jù)時，在性能與準確率方面均無法獲得令人滿意的效果。云計算帶來了更高效的分布式計算與存儲，它的出現(xiàn)為解決這一問題提供了可能。本文在分析了當下氣象數(shù)據(jù)存儲與挖掘存在的問題，發(fā)掘海量氣象數(shù)據(jù)實際存儲的需求，給出了云計算環(huán)境下的海量氣象數(shù)據(jù)存儲與挖掘

4、方案。針對傳統(tǒng)數(shù)據(jù)庫存儲海量氣象數(shù)據(jù)能力不足的問題，研究與設計基于Hadoop分布式文件存儲系統(tǒng)與數(shù)據(jù)倉庫工具Hive的氣象數(shù)據(jù)中心，并通過實驗驗證了本文數(shù)據(jù)中心在處理海量氣象數(shù)據(jù)方面存在明顯的優(yōu)勢，能夠滿足業(yè)務部門的查詢統(tǒng)計需求。在此數(shù)據(jù)中心的基礎上，本文給出了Hadoop平臺下基于貝葉斯分類的海量氣象數(shù)據(jù)挖掘方案。整個挖掘過程主要分為數(shù)據(jù)離散化、數(shù)據(jù)約減、數(shù)據(jù)分類三個步驟，論文在分析了MapReduce計算模型與粗糙集、貝葉斯分類的

5、基礎上，結合氣象數(shù)據(jù)特點，給出了基于MapReduce的計算等價類的數(shù)據(jù)約簡算法與樸素貝葉斯分類算法，最后利用氣象日值數(shù)據(jù)以降雨量為決策屬性進行了實驗，實驗從分類準確率與算法加速比兩個方面對分類器的精度與效率進行了測試，通過實驗可以證明本文的分布式海量氣象數(shù)據(jù)挖掘方案在分類精度與效率方面較傳統(tǒng)樸素貝葉斯分類均有一定提高。本課題所研究的基于Hadoop平臺的海量氣象數(shù)據(jù)存儲與挖掘方案，在一定程度上解決了傳統(tǒng)的數(shù)據(jù)存儲與挖掘方法在處理海量氣