基于細(xì)粒度監(jiān)控的Spark優(yōu)化研究.pdf

1、Spark具有良好的容錯性和擴(kuò)展性，在業(yè)界已經(jīng)得到了廣泛的應(yīng)用，但由于Spark平臺底層實現(xiàn)技術(shù)對用戶來說是透明的，而且性能優(yōu)化需要綜合考慮集群資源利用率、Spark負(fù)載執(zhí)行效率等多種因素，使得不同類型的負(fù)載的分析優(yōu)化變得十分復(fù)雜，經(jīng)驗不足的Spark用戶常常無從入手。Spark的一個特點(diǎn)是支持如Amazon EMR等的云服務(wù)，這個特性對于需要處理大數(shù)據(jù)的中小企業(yè)有很大的益處。因此，在云服務(wù)上執(zhí)行Spark程序已經(jīng)成為了一些企業(yè)和科研機(jī)

2、構(gòu)的的彈性選擇。Amazon EMR為需要運(yùn)行Spark負(fù)載的用戶提供了便利。然而為了高效地使用租賃服務(wù)，用戶需要在滿足應(yīng)用需求的前提下，申請分配最優(yōu)的集群資源，以降低租賃成本，然而服務(wù)提供商并不能滿足這樣的服務(wù)需求。如此一來，集群資源分配的優(yōu)化完全成為了用戶的責(zé)任，這對于Spark用戶來說是一個很大的挑戰(zhàn)，更是一個亟待解決的問題。
　　本文針對以上問題，設(shè)計并實現(xiàn)了Spark集群細(xì)粒度監(jiān)控工具，并在細(xì)粒度監(jiān)控的基礎(chǔ)上，完成了以下

3、研究內(nèi)容：（1）通過對Spark性能影響較大的因素的研究，結(jié)合集群資源和Spark歷史運(yùn)行數(shù)據(jù)的細(xì)粒度監(jiān)控，針對不同類型的負(fù)載，對Spark的性能優(yōu)化工作進(jìn)行了研究，優(yōu)化維度包括：數(shù)據(jù)序列化方式、Shuffle管理器、RDD的持久化、數(shù)據(jù)的壓縮、資源調(diào)度、文件系統(tǒng)策略等，優(yōu)化目標(biāo)為提高集群的資源利用率、減少作業(yè)的執(zhí)行時間。（2）通過對Spark負(fù)載進(jìn)行性能建模，以用于預(yù)測作業(yè)的執(zhí)行時間，進(jìn)而優(yōu)化Spark集群資源的分配，集群資源分配優(yōu)化