智能電網(wǎng)中數(shù)據(jù)處理技術(shù)的應(yīng)用研究.pdf

1、隨著智能電網(wǎng)建設(shè)的不斷發(fā)展和深入推進(jìn)，積累的電網(wǎng)數(shù)據(jù)呈指數(shù)級(jí)增長。如何從這些歷史數(shù)據(jù)中挖掘出“寶藏”，已經(jīng)成為堅(jiān)強(qiáng)智能電網(wǎng)建設(shè)過程中的迫切需求，而大數(shù)據(jù)存儲(chǔ)和處理技術(shù)的崛起為其數(shù)據(jù)的挖掘帶來了新的機(jī)遇。在使用大數(shù)據(jù)技術(shù)挖掘海量數(shù)據(jù)的過程中，Hadoop平臺(tái)優(yōu)良的集群特性、MapReduce強(qiáng)大的計(jì)算能力以及HDFS的存儲(chǔ)能力都發(fā)揮了極大的優(yōu)勢(shì)。
　　本文將Hadoop平臺(tái)與關(guān)聯(lián)規(guī)則挖掘技術(shù)相結(jié)合，根據(jù)電網(wǎng)數(shù)據(jù)的實(shí)際需求，采用K-M

2、eans聚類算法對(duì)連續(xù)型數(shù)據(jù)離散化處理，再采用改進(jìn)的FP-Growth算法挖掘關(guān)聯(lián)關(guān)系，最后設(shè)計(jì)并實(shí)現(xiàn)了基于Hadoop的關(guān)聯(lián)規(guī)則挖掘系統(tǒng)。本文主要完成了以下三方面的工作：第一，給出一種改進(jìn)的基于MapReduce并行FP-Growth算法，該算法在保證并行算法劃分事務(wù)集相互獨(dú)立的基礎(chǔ)上，引入矩陣存儲(chǔ)事務(wù)，減少了數(shù)據(jù)庫掃描次數(shù)。與此同時(shí)，在生成頻繁模式項(xiàng)時(shí)，設(shè)計(jì)了IDFPTree數(shù)據(jù)結(jié)構(gòu)，減少程序運(yùn)行所需內(nèi)存空間，提高了算法的效率。第二

3、，基于MapReduce框架實(shí)現(xiàn)了K-Means算法和FP-Growth算法，并將其移植到Hadoop平臺(tái)上。第三，構(gòu)建了基于MapReduce編程框架的智能電網(wǎng)數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘系統(tǒng)，采用B/S架構(gòu)，服務(wù)器建立在Hadoop平臺(tái)上，負(fù)責(zé)對(duì)用戶提交的任務(wù)進(jìn)行分布式計(jì)算。
　　本文將所設(shè)計(jì)的系統(tǒng)應(yīng)用到電力企業(yè)營銷數(shù)據(jù)的分析之中，挖掘出用戶的分類屬性(用戶屬性、市場(chǎng)屬性等)與決策屬性（分時(shí)用電量）之間的強(qiáng)關(guān)聯(lián)規(guī)則，從而揭示出傳統(tǒng)方法無法