基于Windows的分布式處理系統(tǒng)設計.pdf

1、隨著 IT與通信行業(yè)的飛速發(fā)展，全球數據以爆炸性速度增長，大數據時代應運而生。大數據的主流處理技術——分布式系統(tǒng)，更是近年來最熱門的研究技術之一。本文正是基于此背景下，以Windows操作系統(tǒng)下的通用PC機集群作為硬件平臺，設計了基于數據處理任務的分布式協(xié)同處理系統(tǒng)。
　　根據計算服務器的操作方式區(qū)分，本文提出了兩種分布式處理系統(tǒng)設計模式：基于數據庫任務管理的“主動模式”與基于客戶機/服務器(C/S)架構的“被動模式”。兩種模式系

2、統(tǒng)均基于有向無環(huán)圖(DAG圖)、分布式文件系統(tǒng)以及數據庫等技術實現(xiàn)。
　　“主動模式”分布式處理系統(tǒng)以數據庫作為管理核心，將計算任務/模塊作為日志存放在數據庫記錄中，計算服務器通過爭搶任務的形式從數據庫中取出數據處理模塊完成處理。本文提出了四種計算模塊調度策略，并在“主動模式”系統(tǒng)中針對簡單的權重優(yōu)先調度策略與計算任務優(yōu)先調度策略進行了實現(xiàn)。根據實際運行效果，可知簡單的權重優(yōu)先調度策略對于全局模塊處理效率提升明顯，而計算任務優(yōu)先調

3、度策略對于高時序性數據處理任務有更好的處理效果。
　　“被動模式”分布式處理系統(tǒng)基于客戶機/服務器架構，系統(tǒng)中監(jiān)控服務器對計算任務/模塊以及在線計算服務器進行管理，根據計算服務器狀態(tài)及簡單的權重優(yōu)先調度策略分配計算任務/模塊，計算服務器被動接收指令完成相應處理。本文就“被動模式”系統(tǒng)的通信模塊、數據結構與算法以及數據庫三方面進行了技術分析，并證明了在計算任務數量和規(guī)模復雜性變化時，“被動模式”系統(tǒng)均有較好的效率提升表現(xiàn)。