基于Q學習的WCDMA-WLAN異構網(wǎng)絡接入控制策略研究.pdf

1、隨著通信技術的發(fā)展,以及人們對通信的覆蓋范圍、業(yè)務種類、帶寬等需求的不斷增加,異構網(wǎng)絡的融合在此背景下應運而生。在現(xiàn)有異構網(wǎng)絡融合中,WCDMA與WLAN網(wǎng)絡的融合使得用戶不但能夠接入到 WCDMA網(wǎng)絡獲得覆蓋范圍廣、支持高移動性的服務,同時還能接入到 WLAN網(wǎng)絡獲得高速無線接入,利用網(wǎng)絡的互補特性為用戶提供更好的服務。接入控制作為網(wǎng)絡融合關鍵技術之一,受到了廣泛的關注,研究異構網(wǎng)絡中的接入控制算法是為了提高整個無線異構網(wǎng)絡的資源利用

2、效率。
　　本文對WCDMA和WLAN異構網(wǎng)絡環(huán)境下,基于 Q學習的接入控制算法進行了深入的研究,分析現(xiàn)有接入控制技術優(yōu)缺點,以及 Q學習算法中的重要參數(shù),提出了Q學習的接入控制算法:第一步分別判斷兩個網(wǎng)絡準入條件,第二步對已經(jīng)接入網(wǎng)絡的用戶進行資源分配,第三步結合 Q學習算法進行仿真,提高了WCDMA/WLAN異構無線網(wǎng)絡的用戶收益,降低系統(tǒng)阻塞率,仿真驗證了該方法的有效性和可靠性。本論文研究內(nèi)容如下:
　　首先,本論文對

3、WCDMA和WLAN網(wǎng)絡中基于鏈路負載的準入條件進行了分析研究,并推導出兩個網(wǎng)絡中系統(tǒng)的剩余帶寬,為用戶接入系統(tǒng)后的資源分配提供了重要參數(shù),同時對WLAN網(wǎng)絡優(yōu)先接入算法進行仿真分析。
　　其次,分別研究了WCDMA和WLAN系統(tǒng)用戶接入后系統(tǒng)資源分配情況?？紤]到傳統(tǒng)的WCDMA系統(tǒng)資源分配算法的局限性,本文提出一種飽和狀態(tài)系統(tǒng)下為提高用戶收益,而對用戶帶寬進行降級分配處理的算法,推導出使得系統(tǒng)用戶收益最大的最佳降級因子,并且仿真

4、驗證了算法有效性。同時,研究了WLAN系統(tǒng)在飽和與非飽和狀態(tài)下帶寬分配以及用戶收益。
　　最后,本文根據(jù)網(wǎng)絡中的用戶數(shù)和業(yè)務類型對網(wǎng)絡狀態(tài)進行離散化處理,并給出了Q動作選擇的即時回報。在此基礎上，提出 Q學習接入控制算法,根據(jù)用戶的到達,判斷當前網(wǎng)絡狀態(tài),對Q學習進行在線學習,并進行仿真實驗。實驗結果表明該算法降低了系統(tǒng)阻塞率,提高了用戶累計回報。同時,獲得了系統(tǒng)狀態(tài)-動作 Q表,為WCDMA/WLAN異構網(wǎng)絡接入控制提供了一種可