基于強化學(xué)習的城市快速路交織區(qū)入口匝道智能控制方法.pdf

1、快速路匝道系統(tǒng)相比高速公路匝道系統(tǒng)，入口匝道和出口匝道之間的距離更近，交織區(qū)更易發(fā)生主線擁擠并向上游和入口匝道蔓延。通常用匝道控制來解決主線擁擠和入口匝道排隊問題，傳統(tǒng)方法存在交通模型構(gòu)建、模型參數(shù)標定、依賴先驗知識以及控制遲滯性等缺陷。本文基于強化學(xué)習研究快速路交織區(qū)匝道智能控制方法，直接利用實測數(shù)據(jù)對快速路路網(wǎng)多個入口匝道進行協(xié)調(diào)控制，且控制效果受控制參數(shù)設(shè)置的影響較小，是一類無模型、自學(xué)習的匝道智能控制方法。
　　明確交織區(qū)

2、基本概念，基于實際采集數(shù)據(jù)進行交織區(qū)交通特性分析，為后文仿真實驗路網(wǎng)構(gòu)建提供基礎(chǔ)。
　　介紹強化學(xué)習基本概念，分析Q學(xué)習算法及其改進算法SARSA的優(yōu)劣性?；赟ARSA算法建立單個匝道控制模型，以匝道調(diào)節(jié)量為行為，匝道排隊長度、交織區(qū)通過量和占有率為狀態(tài)，路網(wǎng)通過量為獎賞函數(shù)，確定行為空間、狀態(tài)空間、獎賞函數(shù)和行為選擇機制，形成基于SARSA的匝道局部控制方法(SRM)。
　　基于多Agent強化學(xué)習方法，將匝道局部智能控

3、制擴展至協(xié)調(diào)控制方法，對多個入口匝道進行控制?；趨f(xié)作圖法，給出其Q值矩陣更新規(guī)則、聯(lián)合獎賞函數(shù)和最優(yōu)聯(lián)合行為策略，形成基于SARSA的匝道協(xié)調(diào)控制方法(CSRM);考慮匝道長度限制和交織區(qū)臨界占有率逼近，對獎賞函數(shù)進行修正，使得算法能夠充分利用空閑排隊空間，且增大交織區(qū)交通通過量。
　　構(gòu)建Vissim-Matlab仿真平臺，以南京卡子門快速路部分路段為仿真背景，將本文的局部和協(xié)調(diào)控制方法與傳統(tǒng)方法進行對比。
　　局部控制

4、方案對比:新方法SRM相比于傳統(tǒng)方法ALINEA平均延誤減少16.10％，總延誤減少12.10％，平均車速提升6.77％，總行程時間減少了3.78％;此外，SRM的匝道排隊長度小于ALINEA，且高峰期擁擠匝道交織區(qū)平均交通通過量相比ALINEA提高了210veh/h。
　　協(xié)調(diào)控制方案對比:新方法CSRM相對于傳統(tǒng)方法BOTTLENECK平均延誤減少4.31％，總延誤減少2.09％，平均車速提升了3.69％，總行程時間基本持平;