基于強化學習的Web服務組合優(yōu)化研究.pdf

1、Web服務作為部署在互聯(lián)網(wǎng)上的組件，展現(xiàn)出良好的封裝性、松耦合性和跨平臺性。然而單個Web服務的能力有限，不能向人們提供功能更全、更復雜的服務。為了減少開發(fā)服務的費用和時間，并實現(xiàn)服務的增值和重用，需要把已有的服務組合起來，形成滿足用戶需求的組合服務。在服務組合過程中，出現(xiàn)了大量功能相同的服務，利用服務質量(Quality of Service，QoS)選擇服務成為了動態(tài)服務組合研究領域的一個關鍵問題。
　　 論文根據(jù)Web服務

2、組合的特點，以強化學習理論為基礎，研究Web服務組合優(yōu)化方法。一方面首先對現(xiàn)存各種服務組合方法進行分析，并研究了Web服務的QoS 屬性，給出了QoS模型，然后依據(jù)此模型分別介紹了單個服務和組合服務的QoS 計算方法。已有的服務組合方法很少考慮Internet 環(huán)境的動態(tài)性和Web服務的隨機性，在服務選擇過程中產生的是靜態(tài)規(guī)劃，從而在服務組合時以較大概率組合失敗。針對這個問題，使用馬爾可夫決策過程(MarkovDecision Proc

3、ess，MDP)對服務組合（順序、并行結構）進行建模，并使用Q 學習算法對該問題求解，得到最優(yōu)的服務組合策略。實驗結果表明使用動態(tài)的控制方法具有較高的服務組合成功率。
　　 另一方面，在服務組合過程中，響應時間是一個重要的因素，在服務調用過程中會受到網(wǎng)絡負載和服務自身的影響。針對這個問題，使用有限狀態(tài)連續(xù)時間半馬爾可夫決策過程(Semi-Markov Decision Process，SMDP)對服務組合建模，利用Q 學習算法求