面向iVCE云平臺的數(shù)據(jù)分析任務(wù)調(diào)度系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著大數(shù)據(jù)時代的到來，對數(shù)據(jù)的處理能力要求也越來越高。云計算作為一種高效的計算模式，在處理海量數(shù)據(jù)時有著得天獨厚的優(yōu)勢。各大IT巨頭紛紛推出了自己的云計算平臺，為人們提供高效、快速的服務(wù)。此外，很多機構(gòu)組織也開始搭建私有云平臺，用于處理對安全性有較高要求的數(shù)據(jù)。因此，如何對任務(wù)進行合理、高效地調(diào)度，成為如今云計算領(lǐng)域亟待解決的問題。
　　本文提出了以應(yīng)用評測結(jié)果為依據(jù)，對任務(wù)進行劃分以及資源匹配的任務(wù)調(diào)度策略，設(shè)計并實現(xiàn)了面向iV

2、CE云平臺的數(shù)據(jù)分析任務(wù)調(diào)度系統(tǒng)。該系統(tǒng)可對平臺上的數(shù)據(jù)分析任務(wù)進行更加合理地切分，并選擇資源類型與任務(wù)資源需求最匹配的節(jié)點來執(zhí)行任務(wù)。
　　首先，本文介紹了云計算任務(wù)調(diào)度的相關(guān)理論，包括云計算概述、云計算任務(wù)調(diào)度的特點以及經(jīng)典的調(diào)度算法。
　　其次，本文設(shè)計并實現(xiàn)了面向iVCE云平臺的數(shù)據(jù)分析任務(wù)調(diào)度系統(tǒng)。該系統(tǒng)分為應(yīng)用管理、任務(wù)管理、任務(wù)調(diào)度三個子系統(tǒng)。其中應(yīng)用管理子系統(tǒng)包括應(yīng)用注冊以及應(yīng)用評測，分別負責(zé)應(yīng)用的添加以及對

3、應(yīng)用的資源消耗和運行狀況進行評測。任務(wù)管理子系統(tǒng)包括任務(wù)提交、任務(wù)劃分、任務(wù)隊列管理以及任務(wù)狀態(tài)監(jiān)測，任務(wù)提交負責(zé)用戶添加任務(wù)，任務(wù)劃分在功能和數(shù)據(jù)兩個級別分別對任務(wù)進行劃分，將大任務(wù)變?yōu)楦菀渍{(diào)度和執(zhí)行的小任務(wù)，任務(wù)隊列管理可以滿足調(diào)度過程中任務(wù)不同狀態(tài)的需求，包括等待任務(wù)隊列、就緒任務(wù)隊列、掛起任務(wù)隊列和重調(diào)度任務(wù)隊列，任務(wù)狀態(tài)監(jiān)測負責(zé)實時監(jiān)測任務(wù)所處的調(diào)度狀態(tài)。任務(wù)調(diào)度子系統(tǒng)包括資源匹配、任務(wù)分配以及任務(wù)重調(diào)度，資源匹配負責(zé)為任務(wù)

4、選取合適的執(zhí)行節(jié)點，任務(wù)分配負責(zé)將任務(wù)下發(fā)至執(zhí)行節(jié)點并回收結(jié)果，任務(wù)重調(diào)度負責(zé)任務(wù)在調(diào)度過程中出現(xiàn)異常之后進行再次調(diào)度。
　　最后，本文對iVCE云平臺的數(shù)據(jù)分析任務(wù)調(diào)度系統(tǒng)從應(yīng)用評估、任務(wù)劃分、任務(wù)狀態(tài)監(jiān)測等方面進行測試，并以DNS源IP異常檢測作為數(shù)據(jù)分析任務(wù)的實例在整體上對系統(tǒng)進行測試，結(jié)果表明該系統(tǒng)達到設(shè)計目標。
　　綜上所述，本文設(shè)計并實現(xiàn)了面向iVCE云平臺的數(shù)據(jù)分析任務(wù)調(diào)度系統(tǒng)，具備應(yīng)用管理、任務(wù)管理、任務(wù)調(diào)度