城市交通擁堵帶來(lái)諸如空氣污染、效率低下、出行成本提高等一系列社會(huì)問(wèn)題,如何提高通行效率一直是交通管理部門(mén)面臨的重要課題。目前,城市中多數(shù)交通信號(hào)系統(tǒng)仍停留在單個(gè)紅綠燈固定時(shí)間交替變換階段,缺乏實(shí)時(shí)感知交通現(xiàn)狀能力和交通網(wǎng)全局智能控制手段。已有的解決方法存在算法學(xué)習(xí)時(shí)間長(zhǎng),控制效果不佳的問(wèn)題。針對(duì)這些問(wèn)題,本文提出了一種自適應(yīng)的交通信號(hào)燈網(wǎng)智能控制模型。該模型采用基于異步多智能體的深度強(qiáng)化學(xué)習(xí)算法,使用多個(gè)智能體同時(shí)學(xué)習(xí)城市交通路口信號(hào)控制,以提高多交通控制節(jié)點(diǎn)構(gòu)成的全局交通網(wǎng)絡(luò)自動(dòng)控制模型的訓(xùn)練效率。該模型的優(yōu)點(diǎn)還有,改進(jìn)了自適應(yīng)交通控制系統(tǒng)當(dāng)中所使用的深度強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)函數(shù),是的獎(jiǎng)勵(lì)函數(shù)在剛開(kāi)始訓(xùn)練的時(shí)候較為關(guān)注單個(gè)交通路口的學(xué)習(xí)情況,隨著訓(xùn)練的進(jìn)行,自適應(yīng)交通控制系統(tǒng)更加傾向于優(yōu)化整個(gè)交通路網(wǎng)的通行效率,從而最大程度提高整個(gè)交通網(wǎng)覆蓋地區(qū)的通行效率。利用開(kāi)源的交通模擬軟件sumo作為仿真實(shí)驗(yàn)平臺(tái),將本文提出的基于異步多智能體深度強(qiáng)化學(xué)習(xí)算法的模型與傳統(tǒng)的深度Q學(xué)習(xí)的算法進(jìn)行了對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,本文使用的異步多智能體深度強(qiáng)化學(xué)習(xí)算法相比于深度Q學(xué)習(xí)算法在算法的收斂速度和交通路網(wǎng)...

【文章頁(yè)數(shù)】：56 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 研究背景及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 固定信號(hào)階段
        1.2.2 使用傳感器階段
        1.2.3 人工智能控制階段
    1.3 主要研究?jī)?nèi)容及結(jié)構(gòu)安排
        1.3.1 主要研究?jī)?nèi)容
        1.3.2 結(jié)構(gòu)安排
    1.4 本章小結(jié)
第2章 相關(guān)技術(shù)
    2.1 交通信號(hào)控制方式
    2.2 自適應(yīng)控制方法
    2.3 深度強(qiáng)化學(xué)習(xí)
        2.3.1 強(qiáng)化學(xué)習(xí)
        2.3.2 深度學(xué)習(xí)
        2.3.3 深度強(qiáng)化學(xué)習(xí)
    2.4 本章小結(jié)
第3章 交通信號(hào)網(wǎng)智能控制模型
    3.1 問(wèn)題描述
        3.1.1 城市交通信號(hào)控制系統(tǒng)
        3.1.2 多信號(hào)網(wǎng)控制的馬爾可夫決策過(guò)程
    3.2 基于異步多智能體深度強(qiáng)化學(xué)習(xí)的控制模型
        3.2.1 自適應(yīng)控制模型結(jié)構(gòu)
        3.2.2 模型的實(shí)現(xiàn)過(guò)程
        3.2.3 異步多智能體強(qiáng)化深度學(xué)習(xí)算法(A3C)描述
    3.3 本章小結(jié)
第4章 異步多智能體交通信號(hào)控制實(shí)驗(yàn)
    4.1 實(shí)驗(yàn)原理
    4.2 深度Q學(xué)習(xí)
    4.3 實(shí)驗(yàn)環(huán)境
        4.3.1 硬件配置
        4.3.2 軟件配置
        4.3.3 仿真平臺(tái)sumo
    4.4 實(shí)驗(yàn)組織
        4.4.1 單路口交通路網(wǎng)
        4.4.2 多路口交通路網(wǎng)
    4.5 實(shí)驗(yàn)流程
    4.6 對(duì)比實(shí)驗(yàn)方案
    4.7 實(shí)驗(yàn)結(jié)果分析
    4.8 本章小結(jié)
第5章 改進(jìn)獎(jiǎng)勵(lì)函數(shù)的交通信號(hào)網(wǎng)控制模型
    5.1 問(wèn)題描述
    5.2 獎(jiǎng)勵(lì)函數(shù)的改進(jìn)
    5.3 實(shí)驗(yàn)與結(jié)果分析
        5.3.1 多路口交通路網(wǎng)
        5.3.2 實(shí)驗(yàn)結(jié)果分析
    5.4 本章小結(jié)
總結(jié)與展望
參考文獻(xiàn)
攻讀碩士學(xué)位期間所發(fā)表的學(xué)術(shù)論文
致謝



本文編號(hào)：3848947