Spark性能數據收集分析系統(tǒng)的設計與實現.pdf

1、伴隨著計算機信息技術的迅猛發(fā)展，分布式計算在行業(yè)內得到了大力發(fā)展，Spark作為目前非常流行的分布式計算框架，已經被開發(fā)者廣泛運用于企業(yè)業(yè)務中。開發(fā)者希望了解 Spark作業(yè)程序運行時集群底層的性能數據，從而掌握整個 Spark集群的運行情況，找出系統(tǒng)瓶頸，從而進行性能調優(yōu)工作，提高計算效率，減少任務運行時間。所以，開發(fā)一套 Spark性能數據收集分析系統(tǒng)對于開發(fā)者進行性能優(yōu)化顯得尤為重要。
　　本文對 Spark性能數據收集分析

2、系統(tǒng)的設計與實現做了詳細介紹。本文首先對于用戶需求進行了詳細分析。之后根據功能性需求將系統(tǒng)的功能模塊劃分為配置與監(jiān)控、數據收集、數據處理與數據分析四個方面。本文設計并實現了所有功能模塊，最后設計了測試方案，給出了測試結論。
　　本系統(tǒng)設計實現的Spark性能數據收集系統(tǒng)基于Akka架構，采用了主從節(jié)點的分布式設計思想，實現了分布式的性能數據收集處理功能。數據收集模塊通過運行在子節(jié)點上的DSTAT監(jiān)控工具來進行Spark性能數據的采

3、集存儲，保證了數據收集結果的正確性與實時性，同時這種設計模塊便于開發(fā)新的系統(tǒng)服務，具有很高的擴展性。數據處理模塊對于Spark運行日志與性能數據進行解析，并將兩者的解析結果通過不同類型的統(tǒng)計圖進行輸出展示。數據分析算法對于集群進行狀態(tài)劃分，對資源空閑情況進行分析，計算出未利用資源所占比例，同時將不同服務器上性能數據的差異轉化成歐氏距離計算出來，進行負載平衡分析，給出自動化的分析報告，為開發(fā)者進行性能調優(yōu)提供了直接的參考。
　　本文