近年來(lái),智能體技術(shù)的應(yīng)用使得人類(lèi)避免了許多重復(fù)、危險(xiǎn)的任務(wù)。由于任務(wù)復(fù)雜度的提高,單個(gè)智能體無(wú)法滿(mǎn)足需求,多智能體系統(tǒng)應(yīng)運(yùn)而生并被應(yīng)用于工業(yè)、軍事、航天等多個(gè)領(lǐng)域。在多智能體系統(tǒng)中,移動(dòng)智能體系統(tǒng)是應(yīng)用最廣泛的一個(gè)分支。移動(dòng)智能體系統(tǒng)通過(guò)智能體間的協(xié)同工作共同完成任務(wù),而多個(gè)智能體在移動(dòng)過(guò)程中可能會(huì)發(fā)生碰撞,如何協(xié)調(diào)多智能體的運(yùn)動(dòng)是移動(dòng)智能體系統(tǒng)的重要研究課題之一。本文的研究目標(biāo)是在一個(gè)包含路網(wǎng)的二維場(chǎng)景下,以車(chē)式移動(dòng)機(jī)器人為研究對(duì)象,利用強(qiáng)化學(xué)習(xí)的方法生成一個(gè)運(yùn)動(dòng)協(xié)調(diào)策略保證多機(jī)器人在運(yùn)動(dòng)過(guò)程中不發(fā)生碰撞,并且整體運(yùn)動(dòng)時(shí)間盡可能短。針對(duì)特定路網(wǎng)環(huán)境下的多機(jī)器人運(yùn)動(dòng)協(xié)調(diào)問(wèn)題,本文提出了一種結(jié)合雙深度Q網(wǎng)絡(luò)（Double Deep Q-Network,DDQN）方法的多機(jī)器人集中式運(yùn)動(dòng)協(xié)調(diào)強(qiáng)化學(xué)習(xí)算法。論文首先采用場(chǎng)景劃分和基于矩形包圍盒的碰撞檢測(cè)算法得到機(jī)器人路徑間的碰撞區(qū)域,然后利用本文設(shè)計(jì)的路徑切分與轉(zhuǎn)化方法將碰撞區(qū)域與路徑集合轉(zhuǎn)換成一種特定的路徑棋盤(pán)圖模型,該模型提供了強(qiáng)化學(xué)習(xí)訓(xùn)練中與智能體交互的環(huán)境,最后設(shè)計(jì)了環(huán)境的狀態(tài)空間、智能體的動(dòng)作空間以及環(huán)境的獎(jiǎng)勵(lì)模型,并利用DDQN方... 

【文章來(lái)源】：北京交通大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：66 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖１－１集中式協(xié)調(diào)模型??ｕｒｅ－ｅｎｒａｚｒｉｎａｉｎｌ??

圖１－２分布式協(xié)調(diào)模型??Ｆｉｇｕｒｅ?１－２?Ｄｉｓｔｒｉｂｕｔｅｄ?ｃｏｏｒｄｉｎａｔｉｏｎ?ｍｏｄｅｌ??混合式協(xié)調(diào)方式［１７］如圖１－３所示�；旌鲜絽f(xié)調(diào)結(jié)合了集中式協(xié)調(diào)和分布式協(xié)??調(diào)的優(yōu)點(diǎn)，它存在一個(gè)中央控制單元掌握全局信息，負(fù)責(zé)分配任務(wù)和系統(tǒng)資源以及??協(xié)調(diào)沖突，并且系統(tǒng)中各個(gè)機(jī)器人掌握局部信息，它們相互之間采取通信手段進(jìn)行??信息交流，根據(jù)自身的規(guī)劃算法進(jìn)行自主決策的同時(shí)結(jié)合中央控制單元的控制命??令進(jìn)行運(yùn)動(dòng)規(guī)劃�；旌鲜絽f(xié)調(diào)方式不僅可以在復(fù)雜的系統(tǒng)中提高協(xié)調(diào)效率，還可以??保持集中式協(xié)調(diào)獲得最優(yōu)解的優(yōu)點(diǎn)以及分布式協(xié)調(diào)的實(shí)時(shí)性和適應(yīng)性等優(yōu)點(diǎn)。??Ｋｕｍａｒ等研究者設(shè)計(jì)了一種協(xié)調(diào)多機(jī)器人團(tuán)隊(duì)執(zhí)行合作任務(wù)的方法［１８］，該方法利??用混合協(xié)調(diào)模型對(duì)角色分配進(jìn)行建模，利用混合自動(dòng)機(jī)表示角色的轉(zhuǎn)換與控制，并??在多機(jī)器人合作運(yùn)輸任務(wù)中得到了驗(yàn)證。??＜中央控制單元＿??圖１－３混合式協(xié)調(diào)模型??Ｆｉｇｕｒｅ?１－３?Ｈｙｂｒｉｄ?ｃｏｏｒｄｉｎａｔｉｏｎ?ｍｏｄｅｌ??顯示協(xié)調(diào)是一種利用通信的運(yùn)動(dòng)協(xié)調(diào)方式，它要求系統(tǒng)中各機(jī)器人不僅需要??共享目標(biāo)和環(huán)境信息

、：．”．ｙ??圖１－２分布式協(xié)調(diào)模型??Ｆｉｇｕｒｅ?１－２?Ｄｉｓｔｒｉｂｕｔｅｄ?ｃｏｏｒｄｉｎａｔｉｏｎ?ｍｏｄｅｌ??混合式協(xié)調(diào)方式［１７］如圖１－３所示�；旌鲜絽f(xié)調(diào)結(jié)合了集中式協(xié)調(diào)和分布式協(xié)??調(diào)的優(yōu)點(diǎn)，它存在一個(gè)中央控制單元掌握全局信息，負(fù)責(zé)分配任務(wù)和系統(tǒng)資源以及??協(xié)調(diào)沖突，并且系統(tǒng)中各個(gè)機(jī)器人掌握局部信息，它們相互之間采取通信手段進(jìn)行??信息交流，根據(jù)自身的規(guī)劃算法進(jìn)行自主決策的同時(shí)結(jié)合中央控制單元的控制命??令進(jìn)行運(yùn)動(dòng)規(guī)劃。混合式協(xié)調(diào)方式不僅可以在復(fù)雜的系統(tǒng)中提高協(xié)調(diào)效率，還可以??保持集中式協(xié)調(diào)獲得最優(yōu)解的優(yōu)點(diǎn)以及分布式協(xié)調(diào)的實(shí)時(shí)性和適應(yīng)性等優(yōu)點(diǎn)。??Ｋｕｍａｒ等研究者設(shè)計(jì)了一種協(xié)調(diào)多機(jī)器人團(tuán)隊(duì)執(zhí)行合作任務(wù)的方法［１８］，該方法利??用混合協(xié)調(diào)模型對(duì)角色分配進(jìn)行建模，利用混合自動(dòng)機(jī)表示角色的轉(zhuǎn)換與控制，并??在多機(jī)器人合作運(yùn)輸任務(wù)中得到了驗(yàn)證。??＜中央控制單元＿??圖１－３混合式協(xié)調(diào)模型??Ｆｉｇｕｒｅ?１－３?Ｈｙｂｒｉｄ?ｃｏｏｒｄｉｎａｔｉｏｎ?ｍｏｄｅｌ??顯示協(xié)調(diào)是一種利用通信的運(yùn)動(dòng)協(xié)調(diào)方式，它要求系統(tǒng)中各機(jī)器人不僅需要??共享目標(biāo)和環(huán)境信息

【參考文獻(xiàn)】：
期刊論文
[1]基于人工勢(shì)場(chǎng)法的無(wú)人機(jī)路徑規(guī)劃避障算法[J]. 毛晨悅,吳鵬勇.  電子科技. 2019(07)
[2]基于三階貝塞爾曲線的AGV軌跡規(guī)劃研究[J]. 劉學(xué)問(wèn),陶鈞,徐海巍.  工業(yè)控制計(jì)算機(jī). 2018(01)
[3]基于SVM的受約束D*算法在無(wú)人車(chē)尋路中的應(yīng)用[J]. 劉曉濤,蔡云飛,王田橙.  計(jì)算機(jī)與數(shù)字工程. 2017(09)
[4]碰撞檢測(cè)算法研究綜述[J]. 王嘉,李孔清.  電腦知識(shí)與技術(shù). 2017(20)
[5]基于空間剖分和包圍盒的快速碰撞檢測(cè)算法[J]. 彭晏飛,盧真真.  計(jì)算機(jī)應(yīng)用與軟件. 2015(08)
[6]基于遺傳算法的機(jī)器人路徑規(guī)劃問(wèn)題[J]. 譚艷.  現(xiàn)代計(jì)算機(jī). 2013(15)
[7]基于A*的路徑規(guī)劃算法研究[J]. 李淑霞.  福建電腦. 2013(03)
[8]基于遺傳算法的足球機(jī)器人路徑規(guī)劃[J]. 劉洲洲.  電子產(chǎn)品世界. 2013(02)
[9]車(chē)式移動(dòng)機(jī)器人軌跡跟蹤控制方法[J]. 曹政才,趙應(yīng)濤,付宜利.  電子學(xué)報(bào). 2012(04)
[10]多移動(dòng)機(jī)器人系統(tǒng)運(yùn)動(dòng)協(xié)調(diào)研究綜述[J]. 陳建平,楊宜民.  計(jì)算機(jī)工程與應(yīng)用. 2009(23)

博士論文
[1]多智能體系統(tǒng)協(xié)調(diào)控制若干問(wèn)題研究[D]. 高晶英.吉林大學(xué) 2017
[2]移動(dòng)機(jī)器人網(wǎng)絡(luò)的分布式運(yùn)動(dòng)協(xié)調(diào)[D]. 邢關(guān)生.南開(kāi)大學(xué) 2009

碩士論文
[1]基于激光傳感器室內(nèi)機(jī)器人自主導(dǎo)航技術(shù)研究[D]. 趙鈺.天津理工大學(xué) 2017
[2]基于強(qiáng)化學(xué)習(xí)的移動(dòng)機(jī)器人路徑規(guī)劃研究[D]. 高慧.西南交通大學(xué) 2016
[3]一種特殊路網(wǎng)環(huán)境下的多機(jī)器人運(yùn)動(dòng)協(xié)調(diào)算法研究與實(shí)現(xiàn)[D]. 鄧文超.北京交通大學(xué) 2016
[4]未知環(huán)境下的多機(jī)器人協(xié)調(diào)合作的研究[D]. 楊柳.華北電力大學(xué)（北京） 2009



本文編號(hào)：3504151