高性能計算和云計算混合環(huán)境中的動態(tài)資源管理機(jī)制研究.pdf

1、隨著工業(yè)界應(yīng)用對計算和存儲資源需求的不斷增長，各大研究機(jī)構(gòu)以及企業(yè)紛紛構(gòu)建并擴(kuò)充自己的集群計算平臺，通過內(nèi)部使用或者向外租用方式提供計算資源。運行在集群計算平臺上的任務(wù)來自不同用戶提交的各類應(yīng)用以及包含并行子任務(wù)的大型實際應(yīng)用。隨著集群計算平臺支持應(yīng)用的多樣化，運行在集群計算平臺的任務(wù)對計算模式的需求更為復(fù)雜。以東南大學(xué)高性能計算中心為例，運行在上面的任務(wù)主要有AMS任務(wù)（數(shù)據(jù)重建、MC仿真及物理分析）。其中數(shù)據(jù)重建和MC仿真任務(wù)對物理

2、計算資源的需求大和并行化程度要求高。而對于物理分析任務(wù)，對系統(tǒng)版本、運行環(huán)境要求都不同，此時系統(tǒng)需要根據(jù)需求提供合適的系統(tǒng)環(huán)境以及根據(jù)突發(fā)的任務(wù)量以及計算需求進(jìn)行彈性的資源分配。因此，單一的計算模式不能滿足計算平臺上所運行實際應(yīng)用的需求。
　　本論文針對集群計算平臺難以支持多樣化實際應(yīng)用的問題，提出高性能計算和云計算混合環(huán)境解決方案。在混合環(huán)境方面，現(xiàn)有技術(shù)多為將高性能計算架設(shè)在云平臺之上，但是這種結(jié)構(gòu)存在很大的不足，尤其是對于網(wǎng)

3、絡(luò)密集型應(yīng)用，由于云計算不能夠提供高速頻繁的交互，所以會導(dǎo)致系統(tǒng)性能急劇下降。同時，不少研究將混合環(huán)境中的資源固定分配，這樣造成獨立系統(tǒng)各自資源分配不足或是分配過度問題，其次任務(wù)到達(dá)量動態(tài)變化，瞬時突增造成系統(tǒng)性能下降，最后這兩個獨立系統(tǒng)缺乏全局的資源管理。
　　本文針對現(xiàn)有工作的一些不足，圍繞混合環(huán)境動態(tài)資源管理中任務(wù)到達(dá)率預(yù)測、動態(tài)資源分配和資源優(yōu)化以及系統(tǒng)實現(xiàn)四方面展開了如下研究:首先，針對高性能計算和云計算混合環(huán)境中任務(wù)到

4、達(dá)率存在周期性的特點，提出了基于周期性分解的任務(wù)到達(dá)率預(yù)測模型，采用基于低通濾波的周期性分解方法，大幅提高了任務(wù)到達(dá)率的預(yù)測精度;其次，基于預(yù)測結(jié)果，將混合環(huán)境中的動態(tài)資源分配問題建模成G/M/n排隊模型，并提出了相應(yīng)的動態(tài)資源分配算法，實現(xiàn)根據(jù)任務(wù)到達(dá)率變化的動態(tài)資源分配;第三，針對混合環(huán)境運行過程中，云計算虛擬機(jī)負(fù)載不集中造成的物理機(jī)資源浪費問題，提出了基于虛擬機(jī)遷移的資源優(yōu)化方法，在保證虛擬機(jī)性能的同時，提高了物理機(jī)的資源利用率;

5、最后基于東南大學(xué)高性能計算中心，結(jié)合相應(yīng)的理論研究成果，給出了高性能計算和云計算混合環(huán)境的設(shè)計和部署方案?；跂|南大學(xué)AMS實驗的真實的數(shù)據(jù)，對系統(tǒng)各功能模塊分別進(jìn)行測試以驗證理論研究成果的有效性。
　　基于四個方面的理論及系統(tǒng)研究，我們對高性能計算和云計算混合環(huán)境中動態(tài)資源管理機(jī)制進(jìn)行了深入地探討和思索。通過一系列仿真測試以及在真實的東南大學(xué)高性能計算中心環(huán)境中的實驗結(jié)果表明，本文提出的模型、算法以及動態(tài)資源管理機(jī)制能夠有效提高