SQL到SPARK查詢優(yōu)化機(jī)制研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展以及各類新型互聯(lián)網(wǎng)應(yīng)用的普及，企業(yè)與研究機(jī)構(gòu)面臨的數(shù)據(jù)規(guī)模已經(jīng)高速膨脹到了TB級(jí)乃至PB級(jí)。近些年來(lái)，伴隨著內(nèi)存價(jià)格的下降，為了進(jìn)一步提升大數(shù)據(jù)處理性能，基于內(nèi)存的存儲(chǔ)與計(jì)算逐步成為新的熱點(diǎn)。Spark作為其中的代表，以彈性分布式數(shù)據(jù)集RDD為核心，實(shí)現(xiàn)了一個(gè)輕量高速可拓展的分布式內(nèi)存計(jì)算框架。然而當(dāng)前Spark上層的高級(jí)查詢工具Spark SQL的查詢翻譯沒(méi)有針對(duì)多查詢進(jìn)行優(yōu)化，批處理提交SQL查詢語(yǔ)句被翻譯為不同

2、的Spark作業(yè)，作業(yè)之間無(wú)法共享數(shù)據(jù)，無(wú)法充分發(fā)揮Spark內(nèi)存計(jì)算的優(yōu)勢(shì)。本文針對(duì)Spark SQL存在的問(wèn)題，對(duì)SQL到Spark作業(yè)查詢優(yōu)化機(jī)制進(jìn)行了研究。
　　本文深入分析了Spark SQL的工作流程，結(jié)合SQL查詢的特點(diǎn)，在底層持久化文件系統(tǒng)與Spark核心間加入存儲(chǔ)中間層以解決查詢間輸入數(shù)據(jù)的共享問(wèn)題，并在復(fù)用現(xiàn)有分布式文件系統(tǒng)設(shè)計(jì)的基礎(chǔ)上，通過(guò)合理的內(nèi)存資源分配、高效的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)、低消耗的容錯(cuò)恢復(fù)設(shè)計(jì)優(yōu)化查詢數(shù)

3、據(jù)的輸入過(guò)程。在此基礎(chǔ)上，引入多查詢?nèi)蝿?wù)數(shù)據(jù)管理模塊對(duì)存儲(chǔ)中間層進(jìn)行管理，通過(guò)介入查詢?nèi)蝿?wù)，實(shí)現(xiàn)數(shù)據(jù)的一次載入、多次使用、及時(shí)釋放，并針對(duì)數(shù)據(jù)載入存儲(chǔ)中間層時(shí)面臨的數(shù)據(jù)載入節(jié)點(diǎn)選擇問(wèn)題，提出了基于代價(jià)模型的數(shù)據(jù)載入節(jié)點(diǎn)選擇策略，建立了Spark作業(yè)執(zhí)行代價(jià)的數(shù)學(xué)模型，對(duì)查詢作業(yè)的耗費(fèi)進(jìn)行預(yù)估，基于代價(jià)模型選擇適當(dāng)?shù)臄?shù)據(jù)載入節(jié)點(diǎn)，實(shí)現(xiàn)集群資源的高效利用，提高系統(tǒng)運(yùn)行的效率，加快查詢?nèi)蝿?wù)的執(zhí)行速度。
　　本文在現(xiàn)有Spark SQL的