【摘要】：建立了以平均排隊(duì)長度差最小為優(yōu)化目標(biāo)的在線Q學(xué)習(xí)模型.針對(duì)控制性能指標(biāo)相對(duì)于臨近的配時(shí)方案不敏感的特點(diǎn),提出了以平均排隊(duì)長度差作為基本單位重新構(gòu)造獎(jiǎng)勵(lì)函數(shù),目的是拉大各行為對(duì)應(yīng)的Q值差距,提高模型的收斂速度和魯棒性.集成Excel VBA、Vissim、Matlab建立了在線仿真平臺(tái),作為計(jì)算環(huán)境對(duì)模型進(jìn)行了計(jì)算.利用GPS數(shù)據(jù)對(duì)Vissim軟件中車輛加減速度曲線進(jìn)行了標(biāo)定.計(jì)算結(jié)果表明以平均排隊(duì)長度差作為優(yōu)化目標(biāo)能夠優(yōu)化整個(gè)交叉口的時(shí)空資源,本文建立的在線Q學(xué)習(xí)模型具有較快的收斂速度和魯棒性,通過學(xué)習(xí)能夠?qū)崿F(xiàn)優(yōu)化目標(biāo).
[Abstract]:An online Q learning model with the optimization goal of minimizing the average queue length difference is established. In view of the fact that the control performance index is insensitive to the adjacent timing scheme, this paper proposes to reconstruct the reward function with the average queue length difference as the basic unit, in order to widen the Q value gap corresponding to each behavior and improve the convergence speed and robustness of the model. The online simulation platform is established by integrating Excel VBA,Vissim,Matlab, and the model is calculated as a computing environment. The acceleration and deceleration curve of vehicle in Vissim software is calibrated by using GPS data. The calculation results show that the space-time resources of the whole intersection can be optimized with the average queue length difference as the optimization objective. The online Q learning model established in this paper has fast convergence speed and robustness, and the optimization goal can be achieved through learning.
【作者單位】： 長沙理工大學(xué)交通運(yùn)輸工程學(xué)院;
【基金】：湖南省自然科學(xué)基金重點(diǎn)項(xiàng)目(12JJ2025) 長沙市科技局重點(diǎn)項(xiàng)目(K1106004-11)
【分類號(hào)】：U491

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 馬壽峰,李英,劉豹;一種基于Agent的單路口交通信號(hào)學(xué)習(xí)控制方法[J];系統(tǒng)工程學(xué)報(bào);2002年06期

2 承向軍;常歆識(shí);楊肇夏;;基于Q-學(xué)習(xí)的交通信號(hào)控制方法[J];系統(tǒng)工程理論與實(shí)踐;2006年08期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 趙曉華;李振龍;于泉;張杰;;基于切換模型的兩交叉口信號(hào)燈Q學(xué)習(xí)協(xié)調(diào)控制[J];北京工業(yè)大學(xué)學(xué)報(bào);2007年11期

2 別一鳴;王殿海;馬東方;朱自博;;基于車隊(duì)離散模型的分布式多智能體信號(hào)協(xié)調(diào)控制算法(英文)[J];Journal of Southeast University(English Edition);2011年03期

3 陳陽舟;張輝;楊玉珍;胡全連;;基于Q學(xué)習(xí)的Agent在單路口交通控制中的應(yīng)用[J];公路交通科技;2007年05期

4 趙曉華;石建軍;李振龍;趙國勇;;基于Q-learning和BP神經(jīng)元網(wǎng)絡(luò)的交叉口信號(hào)燈控制[J];公路交通科技;2007年07期

5 黃艷國;唐軍;許倫輝;;基于Agent的城市道路交通信號(hào)控制方法[J];公路交通科技;2009年10期

6 李春貴;陽樹洪;王萌;張?jiān)龇?;基于SARSA(λ)算法的單路口交通信號(hào)學(xué)習(xí)控制[J];廣西工學(xué)院學(xué)報(bào);2008年02期

7 陳若航;;基于agent的城市過境交通流模型[J];廣西物理;2007年02期

8 盧守峰;邵維;韋欽平;劉喜敏;;基于綠燈時(shí)間等飽和度的離線Q學(xué)習(xí)配時(shí)優(yōu)化模型[J];系統(tǒng)工程;2012年07期

9 曹潔;王艷雨;;基于Q學(xué)習(xí)的交通信號(hào)自學(xué)習(xí)控制方法的研究[J];工業(yè)儀表與自動(dòng)化裝置;2013年04期

10 盧守峰;張術(shù);劉喜敏;;單交叉口多相位在線Q學(xué)習(xí)交通控制模型[J];交通科學(xué)與工程;2014年01期

相關(guān)博士學(xué)位論文 前8條

1 聞?dòng)?復(fù)雜多階段動(dòng)態(tài)決策的蟻群優(yōu)化方法及其在交通系統(tǒng)控制中的應(yīng)用[D];浙江大學(xué);2004年

2 朱文興;城市交通系統(tǒng)智能優(yōu)化控制研究[D];山東大學(xué);2006年

3 郭海鋒;局部擁擠條件下城市道路交通信號(hào)控制方法研究[D];吉林大學(xué);2008年

4 于萬霞;基于流量預(yù)測(cè)的城市單交叉路口多相位交通信號(hào)的控制技術(shù)[D];河北工業(yè)大學(xué);2008年

5 田翠華;基于WSRF的交通信息服務(wù)網(wǎng)格的研究[D];東北大學(xué);2008年

6 張良智;城市區(qū)域交通控制技術(shù)研究[D];山東大學(xué);2013年

7 丁建梅;基于交通組成的干道交通系統(tǒng)信號(hào)控制方法研究[D];哈爾濱工業(yè)大學(xué);2009年

8 夏新海;面向城市自適應(yīng)交通信號(hào)控制的強(qiáng)化學(xué)習(xí)方法研究[D];華南理工大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 李志強(qiáng);Q學(xué)習(xí)在單路口交通信號(hào)控制中的應(yīng)用研究[D];長沙理工大學(xué);2010年

2 閆向磊;基于近似動(dòng)態(tài)規(guī)劃的城市交通信號(hào)優(yōu)化控制算法研究[D];廣西工學(xué)院;2011年

3 趙雅秀;公交信號(hào)優(yōu)先控制理論與方法研究[D];重慶交通大學(xué);2011年

4 張輝;區(qū)域交通信號(hào)網(wǎng)絡(luò)協(xié)調(diào)控制的研究[D];北京工業(yè)大學(xué);2006年

5 於蓓蓓;溪洛渡水電站場(chǎng)內(nèi)交通系統(tǒng)層次多代理系統(tǒng)及其決策問題的研究[D];天津大學(xué);2006年

6 江岸;基于多Agent的城市交通控制與誘導(dǎo)系統(tǒng)協(xié)作研究[D];長沙理工大學(xué);2007年

7 王陽;基于云模型的交通信號(hào)自適應(yīng)控制系統(tǒng)研究[D];北京交通大學(xué);2008年

8 劉虹秀;基于Multi-Agent的城市交通信號(hào)控制研究[D];長沙理工大學(xué);2008年

9 高麗穎;基于Agent的城市交通信號(hào)控制方法研究[D];北京工業(yè)大學(xué);2008年

10 封晨;基于Q-學(xué)習(xí)的單路口智能信號(hào)控制研究[D];昆明理工大學(xué);2008年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前5條

1 馬壽峰,李英,劉豹;一種基于Agent的單路口交通信號(hào)學(xué)習(xí)控制方法[J];系統(tǒng)工程學(xué)報(bào);2002年06期

2 馬壽峰,賀國光,劉豹;一種通用的城市道路交通流微觀仿真系統(tǒng)的研究[J];系統(tǒng)工程學(xué)報(bào);1998年04期

3 承向軍,賀振歡,楊肇夏;基于遺傳算法的交通信號(hào)機(jī)器學(xué)習(xí)控制方法[J];系統(tǒng)工程理論與實(shí)踐;2004年08期

4 陳洪,陳森發(fā);單路口交通實(shí)時(shí)模糊控制的一種方法[J];信息與控制;1997年03期

5 俞星星,閻平凡;強(qiáng)化學(xué)習(xí)系統(tǒng)及其基于可靠度最優(yōu)的學(xué)習(xí)算法[J];信息與控制;1997年05期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 聞?dòng)?吳鐵軍;基于蟻群算法的城域交通控制實(shí)時(shí)滾動(dòng)優(yōu)化[J];控制與決策;2004年09期

2 聞?dòng)?吳鐵軍;基于蟻群算法的交通控制降階滾動(dòng)優(yōu)化[J];浙江大學(xué)學(xué)報(bào)(工學(xué)版);2005年06期

3 陳峰;賈元華;李健;郝琪;;結(jié)合部區(qū)域入口匝道協(xié)調(diào)控制模型[J];北京交通大學(xué)學(xué)報(bào);2010年06期

4 陳峰;賈元華;牛忠海;易惠欣;宋惠娟;;基于模糊神經(jīng)網(wǎng)絡(luò)的結(jié)合部匝道控制方法研究[J];交通運(yùn)輸系統(tǒng)工程與信息;2011年01期

5 段源華，陳洪仁，，李元誠;干道交通控制的子系統(tǒng)比擬方法及控制時(shí)段確定[J];哈爾濱建筑大學(xué)學(xué)報(bào);1995年02期

6 王金艷,劉鐵成;高速公路交通控制策略[J];河南交通科技;1998年03期

7 周彤梅,冶文斌;道路交通控制的發(fā)展趨勢(shì)研究[J];公安大學(xué)學(xué)報(bào)(自然科學(xué)版);2002年06期

8 于萬霞;杜太行;鄭宏興;;基于粒子群的模糊神經(jīng)網(wǎng)絡(luò)交通信號(hào)控制[J];微計(jì)算機(jī)信息;2008年07期

9 毛漢穎;楊鋼鋒;黃振峰;;交通信號(hào)機(jī)基于DSP的方案設(shè)計(jì)[J];廣西工學(xué)院學(xué)報(bào);2008年03期

10 白小雷;;UTC交通信號(hào)機(jī)流量數(shù)據(jù)報(bào)告的實(shí)現(xiàn)[J];電腦編程技巧與維護(hù);2010年20期

相關(guān)會(huì)議論文 前10條

1 黎冬平;陳峻;;路段人行橫道信號(hào)控制方式研究[A];2007第三屆中國智能交通年會(huì)論文集[C];2007年

2 秦鐘;王法勝;;交叉口排隊(duì)長度的視頻檢測(cè)[A];第二十九屆中國控制會(huì)議論文集[C];2010年

3 成衛(wèi);李學(xué)敏;陳昱光;袁滿榮;;過飽和交叉口單點(diǎn)信號(hào)配時(shí)方法研究[A];2008第四屆中國智能交通年會(huì)論文集[C];2008年

4 張國伍;;關(guān)于發(fā)展我國智能交通系統(tǒng)的幾個(gè)問題[A];系統(tǒng)工程與可持續(xù)發(fā)展戰(zhàn)略——中國系統(tǒng)工程學(xué)會(huì)第十屆年會(huì)論文集[C];1998年

5 于泉;榮建;張金喜;;交通控制課程設(shè)計(jì)理論與實(shí)踐平行建設(shè)探討[A];土木建筑教育改革理論與實(shí)踐[C];2009年

6 巨永鋒;劉新華;;平面交叉口交通控制計(jì)算機(jī)仿真系統(tǒng)研究[A];2003年全國系統(tǒng)仿真學(xué)術(shù)年會(huì)論文集[C];2003年

7 徐欣;徐立鴻;;城市單交叉口兩級(jí)加權(quán)神經(jīng)網(wǎng)絡(luò)控制系統(tǒng)設(shè)計(jì)與應(yīng)用[A];'2008系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2008年

8 吳德志;劉志榮;林淑芬;;城市道路交通控制系統(tǒng)的發(fā)展趨勢(shì)[A];福建省科協(xié)第四屆學(xué)術(shù)年會(huì)——提升福建制造業(yè)競(jìng)爭(zhēng)力的戰(zhàn)略思考專題學(xué)術(shù)年會(huì)論文集[C];2004年

9 李強(qiáng)偉;;信號(hào)控制交叉口最佳周期計(jì)算方法的比較分析[A];中國儀器儀表學(xué)會(huì)第九屆青年學(xué)術(shù)會(huì)議論文集[C];2007年

10 張鵬;常玉林;;信號(hào)交叉口機(jī)動(dòng)車飽和度配時(shí)方法研究[A];2007第三屆中國智能交通年會(huì)論文集[C];2007年

相關(guān)重要報(bào)紙文章 前10條

1 王典麗;H3C關(guān)注國家軌道交通信息化建設(shè)[N];人民鐵道;2008年

2 洪濤、張洋、志新、立輝，記者 賈建勇;我市引進(jìn)西門子高科技交通控制系統(tǒng)項(xiàng)目在京簽約[N];承德日?qǐng)?bào);2005年

3 工宣　;煙臺(tái)建成交通控制系統(tǒng)集成平臺(tái)[N];人民公安報(bào);2005年

4 李進(jìn)勝 記者　 盧軍 邵晶巖;個(gè)體車成為交通事故多發(fā)群體[N];黑龍江日?qǐng)?bào);2006年

5 劉長林;北京軌道交通控制“心臟”年底竣工[N];中華建筑報(bào);2007年

6 本報(bào)記者　 潘強(qiáng);峰會(huì)交通：彰顯政府軟實(shí)力[N];中國改革報(bào);2006年

7 夏丹邋通訊員 劉新海 岳川東;煙臺(tái)蓄勢(shì)城區(qū)立體大交通[N];煙臺(tái)日?qǐng)?bào);2007年

8 譚富仁;白山黑水共建平安和諧校園[N];北方法制報(bào);2008年

9 科左后旗公安交通警察大隊(duì) 楊溢;環(huán)形交叉路口交通控制模式初探[N];通遼日?qǐng)?bào);2011年

10 羅瞻;確保高速公路平安高效運(yùn)行[N];政府采購信息報(bào);2007年

相關(guān)博士學(xué)位論文 前10條

1 李健;結(jié)合部路網(wǎng)匝道系統(tǒng)結(jié)構(gòu)分解與協(xié)同控制方法研究[D];北京交通大學(xué);2012年

2 袁滿榮;昆明市主城區(qū)交通控制關(guān)鍵技術(shù)研究[D];吉林大學(xué);2011年

3 王亮;城市快速路交通流采集與控制相關(guān)問題研究[D];天津大學(xué);2005年

4 保麗霞;基于信息集成的城市交通流誘導(dǎo)與交通控制協(xié)同的關(guān)鍵理論及技術(shù)研究[D];吉林大學(xué);2006年

5 楊立才;城市道路交通智能控制策略的研究[D];山東大學(xué);2005年

6 譚滿春;面向ITS的高速公路網(wǎng)交通分配與入口匝道控制方法研究[D];華南理工大學(xué);2000年

7 李鳳;公交信號(hào)優(yōu)先協(xié)調(diào)控制理論與方法研究[D];吉林大學(xué);2009年

8 彭博;大范圍交通控制與交通流誘導(dǎo)協(xié)同關(guān)鍵技術(shù)研究[D];吉林大學(xué);2011年

9 王富;城市事故災(zāi)難道路交通應(yīng)急組織理論與方法研究[D];華中科技大學(xué);2011年

10 姚榮涵;車輛排隊(duì)模型研究[D];吉林大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 仕小偉;城市主干路交通溢流建模及其仿真研究[D];山東大學(xué);2013年

2 李鳳;過飽和狀態(tài)下交叉口車輛延誤和排隊(duì)長度模型研究[D];吉林大學(xué);2006年

3 陳斌;基于大系統(tǒng)遞階優(yōu)化的交通控制與誘導(dǎo)協(xié)同方法研究[D];長安大學(xué);2012年

4 張潔彬;基于車輛間通信的智能十字路口交通控制系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];中山大學(xué);2013年

5 謝穎;交通控制子區(qū)動(dòng)態(tài)劃分和信號(hào)協(xié)調(diào)優(yōu)化控制[D];廣西工學(xué)院;2011年

6 陳昱光;城市道路交通瓶頸信號(hào)控制方法研究[D];吉林大學(xué);2008年

7 于晨牧;基于時(shí)序規(guī)劃的交通信號(hào)區(qū)域協(xié)調(diào)控制方法研究[D];東北師范大學(xué);2009年

8 李艷君;基于博弈論的交通控制與誘導(dǎo)一體化模型的研究[D];天津大學(xué);2003年

9 梁瀟;信號(hào)交叉口渠化區(qū)可變車道設(shè)計(jì)原理研究[D];吉林大學(xué);2008年

10 唐磊;基于MapX的交通控制仿真系統(tǒng)的研究[D];南京理工大學(xué);2010年

本文編號(hào)：2498434