網(wǎng)格環(huán)境下資源管理關(guān)鍵技術(shù)的研究.pdf

1、隨著計算機(jī)性能的不斷提高和網(wǎng)絡(luò)通訊技術(shù)的迅猛發(fā)展，應(yīng)用需求日益朝著高性能、大規(guī)模、多樣性、多功能的方向發(fā)展，要求將地理上分布的、異構(gòu)的各種高性能計算資源、存儲資源、數(shù)據(jù)資源和其它特殊資源通過高速網(wǎng)絡(luò)連接起來，實現(xiàn)高性能聯(lián)合計算，共同完成重大應(yīng)用問題，即廣域高性能的元計算技術(shù)，也稱為網(wǎng)格計算技術(shù)[2][3][4]。不同于一般傳統(tǒng)的分布式計算，網(wǎng)格計算著重于大規(guī)模的資源共享、創(chuàng)新應(yīng)用，并在一定情況下定位于高性能計算，已經(jīng)成為一個重要領(lǐng)域。在

2、網(wǎng)格計算環(huán)境中，資源是分散在各個不同地域和管理域中，由不同的組織擁有和操作，并且在使用策略和安全機(jī)制上各不相同，即不同站點可能會使用不同的局部資源管理系統(tǒng)。同時，很多應(yīng)用需要同時使用多個站點上的資源，站點自治性和分配資源時可能出現(xiàn)的故障需要一種特殊機(jī)制來同時分配位于多個站點上的資源。因此，如何對網(wǎng)格計算環(huán)境中的資源進(jìn)行管理是實現(xiàn)高性能聯(lián)合計算，共同完成重大應(yīng)用問題的關(guān)鍵。 資源管理是網(wǎng)格計算的核心問題，它包括資源的組織、定位、發(fā)

3、現(xiàn)、調(diào)度、分配、確認(rèn)、進(jìn)程創(chuàng)建以及準(zhǔn)備所需資源的其它活動。資源管理提供了管理的功能和概念，使集群能夠被當(dāng)作單一資源，系統(tǒng)管理員根據(jù)預(yù)先定義好的標(biāo)準(zhǔn)通過資源管理軟件確保資源的合理分配和使用，以最終達(dá)到資源共享的目的。從為用戶提供方便、高效的服務(wù)的角度來看，它與傳統(tǒng)的分布式計算環(huán)境或集群計算環(huán)境下的資源管理系統(tǒng)類似，具備以下三種功能：作業(yè)管理、任務(wù)調(diào)度和資源管理，即用戶通過作業(yè)管理功能向網(wǎng)格系統(tǒng)提交作業(yè)，為作業(yè)指定所需資源，刪除作業(yè)并監(jiān)測作

4、業(yè)的運(yùn)行狀態(tài)；用戶提交的作業(yè)由任務(wù)調(diào)度功能按照作業(yè)包含的各個任務(wù)的類型、所需資源、可用資源等情況安排運(yùn)行日程和策略；資源管理功能確定并監(jiān)測網(wǎng)格資源狀況，收集作業(yè)運(yùn)行時資源占用情況等信息。然而，由于網(wǎng)格系統(tǒng)的分布性、異構(gòu)性和動態(tài)性，使得網(wǎng)格資源管理比分布式計算環(huán)境或集群計算環(huán)境下的資源管理更加復(fù)雜，不僅要支持跨組織或管理域的任務(wù)調(diào)度，實時監(jiān)控資源和作業(yè)執(zhí)行的狀態(tài)，而且要維護(hù)局部的站點自治，提供相應(yīng)的QoS支持。因此需要建立適應(yīng)于網(wǎng)格這種復(fù)

5、雜環(huán)境的特殊的資源管理系統(tǒng)模型，研究其特征及功能，為具體實現(xiàn)網(wǎng)格資源管理系統(tǒng)提供必要的指導(dǎo)，從而滿足網(wǎng)格系統(tǒng)的用戶服務(wù)需求和為網(wǎng)格系統(tǒng)其它服務(wù)組件提供支持。 由此可見，在資源管理中，面臨的有唯一驗證、授權(quán)、資源訪問、資源發(fā)現(xiàn)以及資源調(diào)度等挑戰(zhàn)。網(wǎng)格中常用的資源包括：處理能力、存儲系統(tǒng)、目錄、網(wǎng)格資源、分布式文件系統(tǒng)、分布式計算機(jī)池、計算機(jī)集群等。由于網(wǎng)格在邏輯上連接了屬于不同的所有者或組織的多重資源，因而好的資源管理系統(tǒng)在最終網(wǎng)

6、格是否成功上起著重要的作用。但由于缺乏統(tǒng)一的網(wǎng)格資源管理標(biāo)準(zhǔn)，統(tǒng)一的管理協(xié)議和原語的對外接口，網(wǎng)格研究仍處于實驗階段，在實現(xiàn)網(wǎng)格資源節(jié)點關(guān)鍵功能單元上仍面臨著許多困難，尤其是在支持QoS和大規(guī)模分布式資源查找方面。為趕上國外的研究步伐，彌補(bǔ)我國在該研究領(lǐng)域的不足，拉近我國與國際水平間的差距，開展網(wǎng)格資源管理及其關(guān)鍵技術(shù)的研究已迫在眉睫。本論文旨在對網(wǎng)格資源管理中主要的功能進(jìn)行前瞻性、探索性的研究，希望能對網(wǎng)格計算的研究工作起到積極有益的

7、指導(dǎo)和推動作用。 本論文從理論與實踐的結(jié)合上，綜合論述及分析了國內(nèi)外網(wǎng)格計算資源管理與調(diào)度的發(fā)展?fàn)顩r及其技術(shù)特征，指出了相關(guān)研究工作的局限性。將交叉學(xué)科的方法引入本研究中，對網(wǎng)格計算資源管理與調(diào)度的若干關(guān)鍵問題進(jìn)行了研究與探索，試圖為網(wǎng)格計算資源管理與調(diào)度系統(tǒng)的設(shè)計提供一種新的思路和途徑。其主要研究工作及貢獻(xiàn)可體現(xiàn)在以下幾個方面： 1、針對網(wǎng)格計算資源管理與調(diào)度的特性，將市場經(jīng)濟(jì)學(xué)模型與網(wǎng)格計算資源管理與調(diào)度問題結(jié)合起來

8、，基于市場經(jīng)濟(jì)模型將經(jīng)濟(jì)的概念引入網(wǎng)格資源管理中，既利用了層次模型中相對成熟的技術(shù)又明確強(qiáng)調(diào)了以市場競爭為基礎(chǔ)的資源管理和分配，在市場經(jīng)濟(jì)環(huán)境中，資源消費者希望最小化費用，而資源所有者希望最大化投資回報。在對已有的基于市場經(jīng)濟(jì)的網(wǎng)格資源管理模型作出了一些改進(jìn)的同時，突出了價格機(jī)制在市場中的作用，提出了一種基于市場機(jī)制的網(wǎng)格資源分配方法：以均衡理論和第二價格競拍機(jī)制為基礎(chǔ)，依靠市場機(jī)制，實現(xiàn)計算網(wǎng)格資源的優(yōu)化分配。首先描述了基于市場的資源

9、分配框架，它包括3個層次：資源層、市場層和消費者層；同時采用第二價格競拍規(guī)則作為資源分配策略，滿足了網(wǎng)格對分配系統(tǒng)可擴(kuò)展性和全局最優(yōu)調(diào)度的需求。與Globus，Legion，WebFlow等計算網(wǎng)格系統(tǒng)中使用的資源分配技術(shù)相比，基于市場價格競拍機(jī)制的資源管理模型具有如下的優(yōu)點： (1)資源分配分層實施，降低了資源分配的執(zhí)行開銷，從而提高了系統(tǒng)的適應(yīng)性、可延展性(extensibility)和可擴(kuò)展性(scalability)；

10、 (2)以經(jīng)濟(jì)學(xué)中的一般均衡理論為理論基礎(chǔ)，遵循第二價格競拍原理，證明了均衡狀態(tài)是兼顧效率和公平的資源分配最佳境界，可以使實際的資源分配結(jié)果逼近均衡狀態(tài)，從而使資源分配達(dá)到最優(yōu)； (3)通訊時間及費用少，競拍效率高。 2、網(wǎng)格環(huán)境中使用經(jīng)濟(jì)學(xué)原理進(jìn)行資源管理和調(diào)度是網(wǎng)格從理論研究向?qū)嶋H應(yīng)用所必須跨越的一步。在計算經(jīng)濟(jì)模式下，為調(diào)節(jié)網(wǎng)格資源供需分配提出了一個基于用戶服務(wù)需求的計算經(jīng)濟(jì)框架。這個框架通過經(jīng)濟(jì)學(xué)驅(qū)動截止期

11、和預(yù)算約束根據(jù)用戶的需求，分配資源到應(yīng)用任務(wù)。提出了一種基于計算經(jīng)濟(jì)的網(wǎng)格資源動態(tài)調(diào)度算法，主要針對網(wǎng)格資源由于計算能力不同而花費代價不同而提出，利用啟發(fā)式搜索技術(shù)，綜合考慮了任務(wù)的截止期、預(yù)算約束、最早可能執(zhí)行時間等不同因素，通過一個新的資源分配策略實現(xiàn)了時間-代價的最優(yōu)化，提高了資源調(diào)度的成功率。 3、針對網(wǎng)格資源動態(tài)、分布和異構(gòu)的特點，需要有一種不依賴集中控制、分布式、可擴(kuò)展、能適應(yīng)資源動態(tài)變化并且定位性能好的資源查找算法

12、。研究提出了小世界聚類的網(wǎng)格資源查找算法(SWC)算法。將網(wǎng)格空間分為多個簇，按照節(jié)點的聚類度確定聚類中心，采用聚類中心優(yōu)先的分級擴(kuò)散方法從全局角度對網(wǎng)格資源進(jìn)行搜索。為了提高算法的可擴(kuò)展性，在路由表中隨機(jī)插入連接遠(yuǎn)距離節(jié)點的快捷連接。仿真測試表明：SWC算法具有良好的搜索能力、可擴(kuò)展性。未來的研究根據(jù)節(jié)點和服務(wù)分布的均勻和非平衡分布性，動態(tài)性以及網(wǎng)格拓?fù)浣Y(jié)構(gòu)等條件，測試和分析其對節(jié)點聚類度的影響。同時利用資源的QoS進(jìn)一步對網(wǎng)格進(jìn)行聚

13、類，增加聚類度，進(jìn)一步減小平均路徑長度，提高搜索效率。 4、隨著網(wǎng)格業(yè)務(wù)的廣泛擴(kuò)展，服務(wù)質(zhì)量(QoS)將變成衡量網(wǎng)格是否成功的重要因素，如何從企業(yè)系統(tǒng)、服務(wù)提供者系統(tǒng)和用戶系統(tǒng)上獲取資源，如何能及時有效地響應(yīng)用戶請求，如何能實時地獲得服務(wù)實例運(yùn)行狀態(tài)以及如何能保證用戶應(yīng)用的服務(wù)質(zhì)量，并進(jìn)行動態(tài)組合的服務(wù)質(zhì)量保障成了本質(zhì)問題，網(wǎng)格服務(wù)的功能與性能評價將不只是采用傳統(tǒng)計算機(jī)的評價標(biāo)準(zhǔn)(如速度、加速比、性價比等)，而以用戶滿意度為目標(biāo)

14、，用服務(wù)質(zhì)量來衡量。本論文從資源預(yù)留、接納控制以及QoS調(diào)整等幾方面進(jìn)行系統(tǒng)的性能分析和理論研究。首先推導(dǎo)相應(yīng)的QoS算法，進(jìn)而得出相應(yīng)的QOS的理論模型。再通過迭代方法反復(fù)論證任務(wù)的優(yōu)先級、網(wǎng)絡(luò)帶寬、資源的使用壽命、服務(wù)水平(SLA)等關(guān)鍵參數(shù)對QoS性能的影響，提出基于熵的網(wǎng)格資源QoS優(yōu)化策略，引入了網(wǎng)格服務(wù)的QoS量化的概念，提出了衡量網(wǎng)格資源服務(wù)QoS穩(wěn)定性的新尺度——熵，并利用熵來選擇QoS穩(wěn)定性好的資源，提高了資源的可靠性