【摘要】：隨著移動(dòng)機(jī)器人應(yīng)用領(lǐng)域不斷擴(kuò)展,應(yīng)用于移動(dòng)機(jī)器人的路徑規(guī)劃技術(shù)也得到了越來(lái)越多專(zhuān)家的關(guān)注與研究。移動(dòng)機(jī)器人在動(dòng)態(tài)環(huán)境和未知靜態(tài)環(huán)境中缺乏環(huán)境相關(guān)的先驗(yàn)知識(shí),這就要求其具有較強(qiáng)的靈活性與適應(yīng)性來(lái)應(yīng)對(duì)各種狀況。強(qiáng)化學(xué)習(xí)是通過(guò)智能體在環(huán)境中探索獲得知識(shí),在試錯(cuò)過(guò)程中進(jìn)行學(xué)習(xí),是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)重要的分支。移動(dòng)機(jī)器人在路徑規(guī)劃過(guò)程中不可避免的會(huì)遇到各種障礙物,就要求所設(shè)計(jì)的移動(dòng)機(jī)器人路徑規(guī)劃方法能夠靈活規(guī)劃和對(duì)環(huán)境有一定的適應(yīng)性,因此賦予機(jī)器人自主學(xué)習(xí)能力有非常重要的實(shí)際意義。本文首先闡述了設(shè)計(jì)基于強(qiáng)化學(xué)習(xí)的移動(dòng)機(jī)器人路徑規(guī)劃方法的研究背景和意義,分別分析了目前移動(dòng)機(jī)器人路徑規(guī)劃方法和強(qiáng)化學(xué)習(xí)方法的國(guó)內(nèi)外研究現(xiàn)狀,并簡(jiǎn)要介紹了本文要完的主要工作和框架安排。其次,詳細(xì)介紹了強(qiáng)化學(xué)習(xí)方法的基本原理,并從系統(tǒng)組成上對(duì)強(qiáng)化學(xué)方法進(jìn)一步分析;通過(guò)詳細(xì)介紹三種強(qiáng)化學(xué)習(xí)經(jīng)典算法,對(duì)強(qiáng)化學(xué)習(xí)的策略迭代方式以及最優(yōu)策略的獲得方法進(jìn)行了說(shuō)明;概括介紹了強(qiáng)化學(xué)習(xí)方法目前在路徑規(guī)劃領(lǐng)域的應(yīng)用,并分析了存在的問(wèn)題。第三,以移動(dòng)機(jī)器人在靜態(tài)未知環(huán)境中的路徑規(guī)劃為研究背景,利用強(qiáng)化學(xué)習(xí)方法設(shè)計(jì)基于Q-learning算法的路徑規(guī)劃方法,搭建靜態(tài)柵格環(huán)境進(jìn)行仿真實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果顯示移動(dòng)機(jī)器人在未知環(huán)境下通過(guò)自主學(xué)習(xí)能夠?qū)ふ业揭粭l從起始位置到達(dá)目標(biāo)位置的最優(yōu)路徑。為解決表值學(xué)習(xí)方法在大范圍狀態(tài)空間中數(shù)據(jù)處理能力的不足,采用勢(shì)場(chǎng)法優(yōu)化DQN算法,一方面利用神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)處理上優(yōu)勢(shì),另一方面通過(guò)勢(shì)場(chǎng)法指導(dǎo)加速訓(xùn)練過(guò)程。設(shè)計(jì)路徑規(guī)劃方法并搭建復(fù)雜靜態(tài)環(huán)境進(jìn)行仿真實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果證明了改進(jìn)后的算法能夠在復(fù)雜靜態(tài)環(huán)境中有效的進(jìn)行路徑規(guī)劃。第四,針對(duì)動(dòng)態(tài)環(huán)境下的移動(dòng)機(jī)器人路徑規(guī)劃問(wèn)題,搭建含有動(dòng)態(tài)障礙元素的仿真環(huán)境,使用A3C算法設(shè)計(jì)路徑規(guī)劃方法進(jìn)行仿真實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果顯示移動(dòng)機(jī)器人能夠在環(huán)境中有效的規(guī)劃路徑,并且能夠處理突發(fā)動(dòng)態(tài)的障礙。然后以無(wú)人車(chē)自動(dòng)駕駛為背景搭建仿真環(huán)境,采用Double DQN算法降低目標(biāo)函數(shù)的過(guò)估計(jì)以減少在動(dòng)態(tài)障礙環(huán)境中的影響因素,設(shè)無(wú)人車(chē)局部路徑規(guī)劃方法進(jìn)行仿真實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果顯示隨著訓(xùn)練過(guò)程的進(jìn)行無(wú)人車(chē)在環(huán)境中無(wú)碰撞行駛距離不斷增加。第五,根據(jù)Pioneer3移動(dòng)機(jī)器人運(yùn)動(dòng)學(xué)模型和約束條件搭建仿真環(huán)境,設(shè)計(jì)基于DDPG算法的路徑規(guī)劃方法進(jìn)行仿真實(shí)驗(yàn)。在連續(xù)動(dòng)作空間中尋找最優(yōu)動(dòng)作,通過(guò)訓(xùn)練得到一條最優(yōu)路徑。實(shí)驗(yàn)結(jié)果表明,該方法可以在移動(dòng)機(jī)器人連續(xù)動(dòng)作空間中選取動(dòng)作并規(guī)劃出一條無(wú)碰撞的最優(yōu)路徑。最后,對(duì)本論文所做的工作進(jìn)行總結(jié),對(duì)后續(xù)的研究工作進(jìn)行了展望。
【學(xué)位授予單位】：濟(jì)南大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類(lèi)號(hào)】：TP242
【圖文】：

靜態(tài)環(huán)境模型

圖 3.3 靜態(tài)未知環(huán)境路徑規(guī)劃仿真結(jié)果圖過(guò)程中，由于前期沒(méi)有一定的知識(shí)積累，所以前期從起始位置到達(dá)目長(zhǎng)的路線，在這期間碰撞到障礙更是不可避免的。但是隨著學(xué)習(xí)過(guò)人知識(shí)的不斷積累，從起始位置到目標(biāo)位置需要的步數(shù)逐漸減少，時(shí)收斂。但在之后還會(huì)出現(xiàn)小范圍波動(dòng)，原因是動(dòng)作選擇策略中仍有

圖 3.4 訓(xùn)練過(guò)程中步數(shù)變化圖化學(xué)習(xí)的目標(biāo)是最大化學(xué)習(xí)過(guò)程中的累積獎(jiǎng)賞，由于在學(xué)習(xí)初期不可避，而撞上障礙物獲得的獎(jiǎng)賞是-1，因此在訓(xùn)練初期累積獎(jiǎng)賞是負(fù)值。訓(xùn)

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王賽;劉子龍;;基于4G網(wǎng)絡(luò)的移動(dòng)機(jī)器人遠(yuǎn)程控制研究[J];軟件導(dǎo)刊;2019年11期

2 王宏玉;;移動(dòng)機(jī)器人行業(yè):百花齊放,快速發(fā)展[J];物流技術(shù)與應(yīng)用;2019年03期

3 張淇元;;自適應(yīng)巡航移動(dòng)機(jī)器人的構(gòu)建與編程[J];數(shù)字通信世界;2017年10期

4 趙杰;;以世賽集訓(xùn)為引領(lǐng) 推動(dòng)學(xué)院水平提升——44屆世賽移動(dòng)機(jī)器人項(xiàng)目集訓(xùn)介紹[J];中國(guó)培訓(xùn);2018年03期

5 楊洪志;;移動(dòng)機(jī)器人的雙臂結(jié)構(gòu)設(shè)計(jì)要點(diǎn)研究[J];南方農(nóng)機(jī);2018年14期

6 任芳;;移動(dòng)機(jī)器人助力無(wú)人倉(cāng)落地——訪杭州�？禉C(jī)器人技術(shù)有限公司副總裁吳堯[J];物流技術(shù)與應(yīng)用;2018年10期

7 劉銀萍;;全向移動(dòng)機(jī)器人中電動(dòng)機(jī)控制系統(tǒng)的研究[J];微電機(jī);2016年12期

8 張燕;徐一超;盛洲;;A*算法在移動(dòng)機(jī)器人自學(xué)習(xí)中的使用[J];單片機(jī)與嵌入式系統(tǒng)應(yīng)用;2016年11期

9 薛金水;張新政;;改進(jìn)遺傳算法優(yōu)化移動(dòng)機(jī)器人動(dòng)態(tài)路徑研究[J];機(jī)床與液壓;2017年07期

10 張皓;;四輪全向移動(dòng)機(jī)器人轉(zhuǎn)彎半徑的研究[J];價(jià)值工程;2017年09期

相關(guān)會(huì)議論文 前10條

1 陳煒;馬利;王立柱;;雙臂移動(dòng)機(jī)器人在不平路面激勵(lì)下的振動(dòng)特性分析[A];第十屆動(dòng)力學(xué)與控制學(xué)術(shù)會(huì)議摘要集[C];2016年

2 王潤(rùn)孝;仲于海;;四足移動(dòng)機(jī)器人研究現(xiàn)狀及核心關(guān)鍵技術(shù)[A];2017年第七屆全國(guó)地方機(jī)械工程學(xué)會(huì)學(xué)術(shù)年會(huì)暨海峽兩岸機(jī)械科技學(xué)術(shù)論壇論文集[C];2017年

3 湯亞鋒;姚紅;楊慶;;氣浮式移動(dòng)機(jī)器人的模糊運(yùn)動(dòng)控制方法[A];2009年中國(guó)智能自動(dòng)化會(huì)議論文集（第一分冊(cè)）[C];2009年

4 李斌;劉景泰;孫雷;王鴻鵬;李寶炯;;面向復(fù)雜環(huán)境作業(yè)的輪式滑動(dòng)轉(zhuǎn)向移動(dòng)機(jī)器人平臺(tái)設(shè)計(jì)[A];2009年中國(guó)智能自動(dòng)化會(huì)議論文集（第二分冊(cè)）[C];2009年

5 趙暉;王天然;劉德林;;分布式數(shù)據(jù)庫(kù)在移動(dòng)機(jī)器人中的應(yīng)用[A];第十屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集[C];1992年

6 李偉;江曉佳;王彥昕;王永強(qiáng);;基于模糊邏輯推理的室外移動(dòng)機(jī)器人道路邊沿抽取的方法[A];1995年中國(guó)智能自動(dòng)化學(xué)術(shù)會(huì)議暨智能自動(dòng)化專(zhuān)業(yè)委員會(huì)成立大會(huì)論文集（上冊(cè)）[C];1995年

7 高志軍;顏國(guó)正;丁國(guó)清;顏德田;;多移動(dòng)機(jī)器人間通訊機(jī)制的設(shè)計(jì)與實(shí)現(xiàn)[A];中國(guó)儀器儀表學(xué)會(huì)第三屆青年學(xué)術(shù)會(huì)議論文集（上）[C];2001年

8 郭丙華;胡躍明;吳忻生;;未知或已知環(huán)境中的非完整移動(dòng)機(jī)器人運(yùn)動(dòng)規(guī)劃[A];第二十一屆中國(guó)控制會(huì)議論文集[C];2002年

9 劉國(guó)棟;呂福生;謝宏斌;;基于神經(jīng)網(wǎng)絡(luò)的移動(dòng)機(jī)器人的路徑規(guī)劃研究[A];2003年中國(guó)智能自動(dòng)化會(huì)議論文集（上冊(cè)）[C];2003年

10 李世華;田玉平;;一種非完整移動(dòng)機(jī)器人有限時(shí)間跟蹤控制算法[A];江蘇省自動(dòng)化學(xué)會(huì)七屆四次理事會(huì)暨2004學(xué)術(shù)年會(huì)青年學(xué)者論壇論文集[C];2004年

相關(guān)重要報(bào)紙文章 前10條

1 記者 張紅波;云南技師學(xué)院鄭棋元勇奪第45屆世界技能大賽移動(dòng)機(jī)器人項(xiàng)目金牌[N];云南經(jīng)濟(jì)日?qǐng)?bào);2019年

2 本報(bào)記者 黃辛 趙廣立;給移動(dòng)機(jī)器人裝上“最強(qiáng)大腦”[N];中國(guó)科學(xué)報(bào);2018年

3 整理 任紫;技能報(bào)國(guó) 正當(dāng)其時(shí)[N];中國(guó)勞動(dòng)保障報(bào);2019年

4 湖南日?qǐng)?bào)記者 姚學(xué)文;馳眾 躋身工業(yè)移動(dòng)機(jī)器人第一方陣[N];湖南日?qǐng)?bào);2018年

5 本報(bào)記者 郝曉明;移動(dòng)機(jī)器人“冰屏”炫舞“北京八分鐘”[N];科技日?qǐng)?bào);2018年

6 沈陽(yáng)日?qǐng)?bào)、沈報(bào)融媒記者 李海英;炫舞“北京8分鐘” 沈陽(yáng)新松移動(dòng)機(jī)器人團(tuán)隊(duì)榮獲“市長(zhǎng)特別獎(jiǎng)”[N];沈陽(yáng)日?qǐng)?bào);2018年

7 本報(bào)記者 孫宏陽(yáng);移動(dòng)機(jī)器人巡邏機(jī)場(chǎng)高速[N];北京日?qǐng)?bào);2017年

8 本報(bào)記者 周明陽(yáng);移動(dòng)機(jī)器人：“百變?nèi)f用”真神奇[N];經(jīng)濟(jì)日?qǐng)?bào);2015年

9 朱偉良 穗人社宣;廣州選手摘金奪銀創(chuàng)歷史佳績(jī)[N];南方日?qǐng)?bào);2017年

10 中國(guó)工業(yè)報(bào)記者 李芳蕾;履坦科技：打造地面行走的農(nóng)機(jī)典范[N];中國(guó)工業(yè)報(bào);2019年

相關(guān)博士學(xué)位論文 前10條

1 王志瑞;四面體桿式移動(dòng)機(jī)器人的系統(tǒng)設(shè)計(jì)與研究[D];北京交通大學(xué);2019年

2 張啟彬;基于不確定性分析的移動(dòng)機(jī)器人室內(nèi)定位與導(dǎo)航控制方法研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2018年

3 李曄卓;可重構(gòu)多模式地面移動(dòng)機(jī)器人的構(gòu)型設(shè)計(jì)與性能研究[D];北京交通大學(xué);2018年

4 黃辰;基于智能優(yōu)化算法的移動(dòng)機(jī)器人路徑規(guī)劃與定位方法研究[D];大連交通大學(xué);2018年

5 程傳奇;非結(jié)構(gòu)場(chǎng)景下移動(dòng)機(jī)器人自主導(dǎo)航關(guān)鍵技術(shù)研究[D];戰(zhàn)略支援部隊(duì)信息工程大學(xué);2018年

6 馮晟;基于無(wú)線傳感器網(wǎng)絡(luò)的移動(dòng)機(jī)器人室內(nèi)動(dòng)態(tài)定位[D];東北大學(xué);2017年

7 邱增帥;面向室外環(huán)境的移動(dòng)機(jī)器人自主場(chǎng)景理解[D];大連理工大學(xué);2018年

8 陳偉華;社會(huì)環(huán)境的輪式移動(dòng)機(jī)器人定位導(dǎo)航方法研究[D];華南理工大學(xué);2018年

9 歐屹;特種地面移動(dòng)機(jī)器人機(jī)械系統(tǒng)設(shè)計(jì)與分析[D];南京理工大學(xué);2013年

10 姜健;多移動(dòng)機(jī)器人協(xié)作方法研究[D];哈爾濱工業(yè)大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 陳德平;基于RGBD相機(jī)的移動(dòng)機(jī)器人算法研究[D];杭州電子科技大學(xué);2019年

2 王鴻勃;基于移動(dòng)機(jī)器人的校園無(wú)人配送系統(tǒng)研究[D];北京交通大學(xué);2019年

3 柳楊;基于嵌入式平臺(tái)的移動(dòng)機(jī)器人定位與導(dǎo)航技術(shù)研究[D];河北工業(yè)大學(xué);2017年

4 李安旭;移動(dòng)機(jī)器人即時(shí)定位與地圖構(gòu)建技術(shù)研究[D];電子科技大學(xué);2019年

5 丁聰;復(fù)雜路面下移動(dòng)機(jī)器人關(guān)鍵部件自主控制及狀態(tài)評(píng)估方法研究[D];電子科技大學(xué);2019年

6 向卉;基于深度強(qiáng)化學(xué)習(xí)的室內(nèi)目標(biāo)路徑規(guī)劃研究[D];桂林電子科技大學(xué);2019年

7 付華s

本文編號(hào)：2793236