基于強化學習的SDN數據中心網絡擁塞控制方法的研究.pdf

1、隨著云計算、大數據、Map Reduce、虛擬機遷移的發(fā)展，數據中心內部通信業(yè)務急劇增加、網絡流量顯著增長，數據中心網絡的帶寬很難滿足密集型應用的帶寬需求，面臨著網絡擁塞的風險。傳統(tǒng)的計算機網絡是分布式的復雜結構，擁塞算法的設計極為困難，很難滿足當前需求，軟件定義網絡的出現(xiàn)和發(fā)展使數據中心網絡擁塞控制的問題得到了新的解決辦法。SDN(Software Defined Network，軟件定義網絡)的核心思想是控制層和數據層分離，使得控制

2、層的控制器可以對全網進行集中管理，為擁塞控制算法的設計提供了便利，越來越多的科研人員開始研究SDN數據中心網絡的擁塞控制。
　　在網絡智能化發(fā)展的大背景下，SDN作為未來網絡架構方式更應該表現(xiàn)其智能性，SDN數據中心網絡擁塞控制應該具有很強的自適應能力和較高的控制效率。強化學習是機器學習的一個分支，是一種無模型的學習算法，在強化學習的模型中，智能體可以與環(huán)境交互進行學習，做出很好的決策。
　　本文將Q-Learning算法引

3、入SDN架構的數據中心網絡，實現(xiàn)基于流的擁塞控制，提出了一種基于Q-Learning的離策略擁塞控制算法。該算法采用為每一條流分配速率的方式進行擁塞控制，通過Q函數的設計，將尋找最優(yōu)擁塞控制決策的問題轉化為求解最優(yōu)Q矩陣的問題，最優(yōu)的Q矩陣就是智能體學習到的知識，即擁塞控制策略。
　　Q-Learning算法是一種離策略算法，自適應能力差，針對這一問題，本文將SARSA算法引入SDN架構的數據中心網絡，實現(xiàn)基于流的擁塞控制，提出一

4、種基于SARSA的在策略擁塞控制算法，這種擁塞控制策略也是采用分配速率的方法，但是SARSA算法每個狀態(tài)的行為決策都會根據實際情況變化，對于數據中心網絡狀態(tài)的變化具有很強的自適應能力。
　　本文的最后對基于Q-Learning的離策略擁塞控制算法和基于SARSA的在策略擁塞控制算法進行了測試，結果表明基于Q-Learning的離策略擁塞控制方法和基于SARSA的在策略擁塞控制方法，都能有效的實現(xiàn)擁塞控制，并且基于SARSA的在策略