本文選題：強化學(xué)習(xí)　切入點：智能交通控制系統(tǒng)　出處：《西安電子科技大學(xué)》2014年碩士論文

【摘要】：隨著城市整體發(fā)展速度的不斷加快,日趨緊張的交通問題給人們帶來了巨大的效率,能源和生命上的損失。為了有效得改變現(xiàn)狀,智能交通系統(tǒng)作為主要的解決方案開始受到各界關(guān)注,從而迅速發(fā)展起來。其中基于強化學(xué)習(xí)思想的交通信號燈智能控制算法已經(jīng)成為緩解交通擁堵的主要手段之一,原因在于它對于動態(tài)多變的交通網(wǎng)絡(luò)環(huán)境具有較強的適應(yīng)性。本文從智能交通控制各個角度出發(fā),對基于強化學(xué)習(xí)的控制算法實現(xiàn)了優(yōu)化。在原始控制方案的基礎(chǔ)上,給出了新型的交叉口協(xié)作方案,為交通控制提供了新的思路。相鄰交叉口之間的協(xié)作關(guān)系并不是簡單的信息交互,而是借助博弈論的思想尋找二者之間的納什均衡點,進一步提高合作的有效性。在這種馬爾科夫博弈論控制方案下,交叉口控制器在路網(wǎng)的動態(tài)運行過程中并不只是選擇局部最優(yōu)動作,而是通過合作機制選擇更有利于全局的控制方案。通過大量的實驗證明,該控制方案在控制效果上要優(yōu)于基于協(xié)作圖的Maxplus控制方法。從交通趨勢性分析的角度,給出了結(jié)合預(yù)測分析和車道模型的智能控制方案。在路網(wǎng)中根據(jù)每個車道的具體歷史交通流量值,為其建立相應(yīng)的ARIMA預(yù)測模型,并利用該模型進行未來流量的預(yù)測。以預(yù)測數(shù)據(jù)為基礎(chǔ),利用車道的動態(tài)流量結(jié)構(gòu)模型,分析其交通容量的變化趨勢,再完成對整個網(wǎng)絡(luò)的智能控制。由于該方法既把握了交通流量的趨勢性,又考慮網(wǎng)絡(luò)本身的動態(tài)相關(guān)性,要更優(yōu)于原始的TC1控制方法。考慮到智能控制算法在現(xiàn)實應(yīng)用中的局限性,提出了在POMDP條件背景下的優(yōu)化控制方案。在當(dāng)前的強化學(xué)習(xí)控制中,假設(shè)交叉口控制器對于與其相關(guān)的車道上的車輛信息具有完全的訪問權(quán),因而算法適用于完全可觀察背景。在實際路網(wǎng)中,由于傳感器本身的限制以及外在物理條件的影響,交叉口所獲取的信息實際上是不完整的,因而為了實現(xiàn)控制方案在現(xiàn)實交通中的應(yīng)用,需要研究算法在部分可觀察條件下的實現(xiàn)方案。正是基于這一點,對基于POMDP的強化學(xué)習(xí)控制進行了研究。在車輛信任狀態(tài)的基礎(chǔ)上給出了如何獲取車道信任狀態(tài)的新方案,并以此為基礎(chǔ),利用所有信任狀態(tài)實現(xiàn)優(yōu)化控制方案。
[Abstract]:With the rapid development of the city as a whole, the increasingly tense traffic problems have brought great efficiency, energy loss and loss of life. In order to effectively change the status quo, As the main solution, Intelligent Transportation system (its) has been paid more and more attention and developed rapidly. Among them, the intelligent control algorithm of traffic signal light based on reinforcement learning has become one of the main methods to alleviate traffic congestion. The reason is that it has strong adaptability to the dynamic and changeable traffic network environment. This paper optimizes the control algorithm based on reinforcement learning from all aspects of intelligent traffic control. A new scheme of intersection cooperation is presented, which provides a new way for traffic control. The cooperative relationship between adjacent intersections is not a simple information exchange, but to find the Nash equilibrium point between them with the help of game theory. Further improve the effectiveness of cooperation. In this Markov game theory control scheme, the intersection controller in the dynamic operation of the road network not only select the local optimal action, A large number of experiments show that the control scheme is better than the Maxplus control method based on cooperative graph. From the point of view of traffic trend analysis, it is proved that the control scheme is better than the Maxplus control method based on cooperative graph. An intelligent control scheme based on predictive analysis and lane model is given. According to the specific historical traffic flow value of each lane in the road network, the corresponding ARIMA prediction model is established for each lane. Based on the prediction data and the dynamic flow structure model of the driveway, the change trend of traffic capacity is analyzed. The method not only grasps the trend of traffic flow, but also considers the dynamic correlation of the network itself. Considering the limitation of intelligent control algorithm in practical application, an optimal control scheme under the background of POMDP condition is proposed. It is assumed that the intersection controller has full access to the vehicle information in the lane associated with it, so the algorithm is suitable for the fully observable background. In the actual road network, due to the limitations of the sensor itself and the influence of external physical conditions, In order to realize the application of the control scheme in real traffic, it is necessary to study the implementation of the algorithm under partially observable conditions. In this paper, the reinforcement learning control based on POMDP is studied. Based on the trust state of vehicle, a new scheme of obtaining lane trust state is presented, and based on this, the optimal control scheme is realized by using all trust states.
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：U495;TP18

【相似文獻】

相關(guān)期刊論文 前10條

1 ;合肥市測繪設(shè)計研究院助推合肥市智能交通控制系統(tǒng)建設(shè)[J];城市勘測;2008年02期

2 安新;;新一代智能交通控制系統(tǒng)技術(shù)課題列入國家“863計劃”[J];道路交通管理;2007年03期

3 王學(xué)青;史樹強;;一種全新的智能交通控制方法[J];機電工程技術(shù);2008年03期

4 朱鳴;潘漢中;樹愛兵;徐斌;;智能交通控制系統(tǒng)效益評價探討[J];中國交通信息產(chǎn)業(yè);2008年05期

5 周力;李煒;;我國智能交通控制系統(tǒng)的發(fā)展及展望[J];自動化與儀器儀表;2009年02期

6 施吉方;李慶風(fēng);徐婉萍;;一種自適應(yīng)智能交通控制終端的設(shè)計[J];微計算機信息;2009年29期

7 歐陽紅靜;;物聯(lián)網(wǎng)與智能交通控制系統(tǒng)[J];科技資訊;2013年20期

8 劉智勇,吳今培,萬百五;高速公路智能交通控制系統(tǒng)的建模及多層描述[J];公路交通科技;1998年01期

9 鹿玲杰;申徐洲;;AGENT技術(shù)在智能交通控制中的應(yīng)用[J];交通與計算機;2006年01期

10 馬延敏;陳志輝;羅揚興;;武漢市智能交通控制中心系統(tǒng)集成研究[J];地理空間信息;2008年04期

相關(guān)會議論文 前4條

1 于泉;劉金廣;;中小城市智能交通控制平臺設(shè)計方案研究[A];第二屆中國智能交通年會論文集[C];2006年

2 程志遠(yuǎn);;智能交通控制中心硬件平臺設(shè)計方案[A];天津市電視技術(shù)研究會2010年年會論文集[C];2010年

3 胡和智;劉軍芳;龐晶;蘇雙臣;;基于物聯(lián)網(wǎng)技術(shù)的京津冀城市集群智能交通控制系統(tǒng)的設(shè)計[A];京津冀城市集群發(fā)展與廊坊市域經(jīng)濟定位的延伸研究——第五屆環(huán)渤�！きh(huán)首都·京津冀協(xié)同發(fā)展論壇學(xué)術(shù)會議論文集[C];2011年

4 張賢;;一種多功能交通控制器的設(shè)計與應(yīng)用[A];天津市電視技術(shù)研究會2009年年會論文集（1）[C];2009年

相關(guān)重要報紙文章 前8條

1 記者 張靜邋實習(xí)生 楊璇;我市智能交通控制系統(tǒng)暨應(yīng)急指揮中心正式啟用[N];新鄉(xiāng)日報;2008年

2 通訊員 藍(lán)霽霞;智能交通控制系統(tǒng)在新鄉(xiāng)啟用[N];河南日報;2008年

3 黃夏;為交通暢通安全提供技術(shù)保障[N];人民公安報;2007年

4 本報評論員;以現(xiàn)代科技實現(xiàn)蘭州科學(xué)發(fā)展[N];蘭州日報;2011年

5 記者 孫威;“綠燈亮了——走吧”[N];河北經(jīng)濟日報;2007年

6 文洋 張洋 李強;歷史文化名城的文明之師[N];承德日報;2006年

7 記者 姚啟慧 通訊員 吳培勇;高科技治療武漢擁堵病[N];湖北日報;2013年

8 本報記者 朱麗寧;指尖上的對話 掌心里的服務(wù)[N];人民公安報·交通安全周刊;2013年

相關(guān)博士學(xué)位論文 前1條

1 孫晉文;基于Agent的智能交通控制策略與可視化動態(tài)仿真研究[D];中國農(nóng)業(yè)大學(xué);2001年

相關(guān)碩士學(xué)位論文 前10條

1 陸亞男;基于應(yīng)用需求的智能交通控制優(yōu)化實現(xiàn)[D];西安電子科技大學(xué);2014年

2 高雨;多相位智能交通控制器研究[D];浙江大學(xué);2006年

3 李廣印;智能交通控制系統(tǒng)平臺設(shè)計與實現(xiàn)[D];吉林大學(xué);2009年

4 金穩(wěn);多相位智能交通控制器的研究[D];浙江大學(xué);2007年

5 李煒;基于ARM的城市多路口智能交通控制器設(shè)計[D];安徽工程大學(xué);2010年

6 王艷華;基于多智能體MAS的智能交通控制系統(tǒng)的研究[D];長沙理工大學(xué);2007年

7 連劍;基于Agent的智能交通控制仿真系統(tǒng)研究[D];山東科技大學(xué);2007年

8 趙亞妮;基于PLC的智能交通控制系統(tǒng)的設(shè)計與實現(xiàn)[D];長安大學(xué);2007年

9 張濤;基于RFID技術(shù)的智能交通控制器設(shè)計[D];安徽理工大學(xué);2014年

10 申徐洲;基于Agent的智能交通控制的研究[D];大慶石油學(xué)院;2006年

，

本文編號：1663995