基于Hadoop技術的電網線損分析系統研究與實現.pdf

1、線路損耗，簡稱線損，是電能通過輸電線路傳輸而產生的能量損耗。線損率的大小集中反映電力公司電網的規(guī)劃、檢修、調度、營銷水平。線損是電網發(fā)展的重要經濟技術指標，降低線損能顯著提升電力公司經濟效益。
　　傳統的線損分析系統基于關系數據庫Oracle架構，系統在處理電壓電表等海量電網運行數據計算電網線損時，在數據同步、數據存儲、數據處理、數據反饋等環(huán)節(jié)存在效率低下，無法滿足線損應用需求的問題。迫切需要研究新型的線損系統處理架構。
　

2、　本文為了解決上述線損系統分析的主要問題，在以下兩方面作了研究工作:
　　1、基于Hadoop技術的線損分析系統分析與設計:在研究Hadoop大數據技術和線損分析業(yè)務基礎之上，對系統功能進行總體和詳細設計。
　　1)、設計了基于分布式并行抽取技術Sqoop的電網臺帳及運行數據的數據集成方法，實現電網線損分析數據從關系數據庫到分布式數據倉庫的快速抽取與集成。
　　2)、在Hadoop組件Hive和HBase上，設計了行列

3、并存、行列自動轉換的電網線損數據的存儲結構，滿足了電網線損分析業(yè)務的定時批量計算和即時查詢的計算需求。
　　3)、設計了基于模版技術的線損計算任務編排方法，實現線損計算流程和業(yè)務計算邏輯的松耦合，并在分布式數據倉庫Hive上實現了線損計算的并行化運行。
　　4)、設計了同步（數據即時回寫）及異步（服務調用）相結合的線損分析結果數據數據反饋方法，解決了海量結果數據及小批量結果數據的反饋問題。
　　2、線損系統實現及測試:

4、在線損分析功能總體設計及詳細設計基礎上，利用開源Hadoop技術，搭建了分布式計算集群，實現了線損分析系統，并對系統進行了測試及驗證，測試結果表明，基于Hadoop技術的電網線損分析系統，相比于基于傳統關系數據庫架構的計算系統性能提升顯著，有6倍的性能提升。
　　通過上述研究工作，本文設計并實現的基于大數據技術Hadoop的線損分析系統有效解決了線損分析處理效率及時效性不滿足業(yè)務需求的問題，為電網線損精益化管理提供了信息系統技術支