發(fā)布時間：2020-08-14 15:54

【摘要】：隨著移動機器人應(yīng)用領(lǐng)域不斷擴展,應(yīng)用于移動機器人的路徑規(guī)劃技術(shù)也得到了越來越多專家的關(guān)注與研究。移動機器人在動態(tài)環(huán)境和未知靜態(tài)環(huán)境中缺乏環(huán)境相關(guān)的先驗知識,這就要求其具有較強的靈活性與適應(yīng)性來應(yīng)對各種狀況。強化學(xué)習(xí)是通過智能體在環(huán)境中探索獲得知識,在試錯過程中進行學(xué)習(xí),是機器學(xué)習(xí)領(lǐng)域的一個重要的分支。移動機器人在路徑規(guī)劃過程中不可避免的會遇到各種障礙物,就要求所設(shè)計的移動機器人路徑規(guī)劃方法能夠靈活規(guī)劃和對環(huán)境有一定的適應(yīng)性,因此賦予機器人自主學(xué)習(xí)能力有非常重要的實際意義。本文首先闡述了設(shè)計基于強化學(xué)習(xí)的移動機器人路徑規(guī)劃方法的研究背景和意義,分別分析了目前移動機器人路徑規(guī)劃方法和強化學(xué)習(xí)方法的國內(nèi)外研究現(xiàn)狀,并簡要介紹了本文要完的主要工作和框架安排。其次,詳細(xì)介紹了強化學(xué)習(xí)方法的基本原理,并從系統(tǒng)組成上對強化學(xué)方法進一步分析;通過詳細(xì)介紹三種強化學(xué)習(xí)經(jīng)典算法,對強化學(xué)習(xí)的策略迭代方式以及最優(yōu)策略的獲得方法進行了說明;概括介紹了強化學(xué)習(xí)方法目前在路徑規(guī)劃領(lǐng)域的應(yīng)用,并分析了存在的問題。第三,以移動機器人在靜態(tài)未知環(huán)境中的路徑規(guī)劃為研究背景,利用強化學(xué)習(xí)方法設(shè)計基于Q-learning算法的路徑規(guī)劃方法,搭建靜態(tài)柵格環(huán)境進行仿真實驗,實驗結(jié)果顯示移動機器人在未知環(huán)境下通過自主學(xué)習(xí)能夠?qū)ふ业揭粭l從起始位置到達(dá)目標(biāo)位置的最優(yōu)路徑。為解決表值學(xué)習(xí)方法在大范圍狀態(tài)空間中數(shù)據(jù)處理能力的不足,采用勢場法優(yōu)化DQN算法,一方面利用神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)處理上優(yōu)勢,另一方面通過勢場法指導(dǎo)加速訓(xùn)練過程。設(shè)計路徑規(guī)劃方法并搭建復(fù)雜靜態(tài)環(huán)境進行仿真實驗,實驗結(jié)果證明了改進后的算法能夠在復(fù)雜靜態(tài)環(huán)境中有效的進行路徑規(guī)劃。第四,針對動態(tài)環(huán)境下的移動機器人路徑規(guī)劃問題,搭建含有動態(tài)障礙元素的仿真環(huán)境,使用A3C算法設(shè)計路徑規(guī)劃方法進行仿真實驗,實驗結(jié)果顯示移動機器人能夠在環(huán)境中有效的規(guī)劃路徑,并且能夠處理突發(fā)動態(tài)的障礙。然后以無人車自動駕駛為背景搭建仿真環(huán)境,采用Double DQN算法降低目標(biāo)函數(shù)的過估計以減少在動態(tài)障礙環(huán)境中的影響因素,設(shè)無人車局部路徑規(guī)劃方法進行仿真實驗,實驗結(jié)果顯示隨著訓(xùn)練過程的進行無人車在環(huán)境中無碰撞行駛距離不斷增加。第五,根據(jù)Pioneer3移動機器人運動學(xué)模型和約束條件搭建仿真環(huán)境,設(shè)計基于DDPG算法的路徑規(guī)劃方法進行仿真實驗。在連續(xù)動作空間中尋找最優(yōu)動作,通過訓(xùn)練得到一條最優(yōu)路徑。實驗結(jié)果表明,該方法可以在移動機器人連續(xù)動作空間中選取動作并規(guī)劃出一條無碰撞的最優(yōu)路徑。最后,對本論文所做的工作進行總結(jié),對后續(xù)的研究工作進行了展望。
【學(xué)位授予單位】：濟南大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP242
【圖文】：

靜態(tài)環(huán)境模型

圖 3.3 靜態(tài)未知環(huán)境路徑規(guī)劃仿真結(jié)果圖過程中，由于前期沒有一定的知識積累，所以前期從起始位置到達(dá)目長的路線，在這期間碰撞到障礙更是不可避免的。但是隨著學(xué)習(xí)過人知識的不斷積累，從起始位置到目標(biāo)位置需要的步數(shù)逐漸減少，時收斂。但在之后還會出現(xiàn)小范圍波動，原因是動作選擇策略中仍有

圖 3.4 訓(xùn)練過程中步數(shù)變化圖化學(xué)習(xí)的目標(biāo)是最大化學(xué)習(xí)過程中的累積獎賞，由于在學(xué)習(xí)初期不可避，而撞上障礙物獲得的獎賞是-1，因此在訓(xùn)練初期累積獎賞是負(fù)值。訓(xùn)

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王賽;劉子龍;;基于4G網(wǎng)絡(luò)的移動機器人遠(yuǎn)程控制研究[J];軟件導(dǎo)刊;2019年11期

2 王宏玉;;移動機器人行業(yè):百花齊放,快速發(fā)展[J];物流技術(shù)與應(yīng)用;2019年03期

3 張淇元;;自適應(yīng)巡航移動機器人的構(gòu)建與編程[J];數(shù)字通信世界;2017年10期

4 趙杰;;以世賽集訓(xùn)為引領(lǐng) 推動學(xué)院水平提升——44屆世賽移動機器人項目集訓(xùn)介紹[J];中國培訓(xùn);2018年03期

5 楊洪志;;移動機器人的雙臂結(jié)構(gòu)設(shè)計要點研究[J];南方農(nóng)機;2018年14期

6 任芳;;移動機器人助力無人倉落地——訪杭州�？禉C器人技術(shù)有限公司副總裁吳堯[J];物流技術(shù)與應(yīng)用;2018年10期

7 劉銀萍;;全向移動機器人中電動機控制系統(tǒng)的研究[J];微電機;2016年12期

8 張燕;徐一超;盛洲;;A*算法在移動機器人自學(xué)習(xí)中的使用[J];單片機與嵌入式系統(tǒng)應(yīng)用;2016年11期

9 薛金水;張新政;;改進遺傳算法優(yōu)化移動機器人動態(tài)路徑研究[J];機床與液壓;2017年07期

10 張皓;;四輪全向移動機器人轉(zhuǎn)彎半徑的研究[J];價值工程;2017年09期

相關(guān)會議論文 前10條

1 陳煒;馬利;王立柱;;雙臂移動機器人在不平路面激勵下的振動特性分析[A];第十屆動力學(xué)與控制學(xué)術(shù)會議摘要集[C];2016年

2 王潤孝;仲于海;;四足移動機器人研究現(xiàn)狀及核心關(guān)鍵技術(shù)[A];2017年第七屆全國地方機械工程學(xué)會學(xué)術(shù)年會暨海峽兩岸機械科技學(xué)術(shù)論壇論文集[C];2017年

3 湯亞鋒;姚紅;楊慶;;氣浮式移動機器人的模糊運動控制方法[A];2009年中國智能自動化會議論文集（第一分冊）[C];2009年

4 李斌;劉景泰;孫雷;王鴻鵬;李寶炯;;面向復(fù)雜環(huán)境作業(yè)的輪式滑動轉(zhuǎn)向移動機器人平臺設(shè)計[A];2009年中國智能自動化會議論文集（第二分冊）[C];2009年

5 趙暉;王天然;劉德林;;分布式數(shù)據(jù)庫在移動機器人中的應(yīng)用[A];第十屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集[C];1992年

6 李偉;江曉佳;王彥昕;王永強;;基于模糊邏輯推理的室外移動機器人道路邊沿抽取的方法[A];1995年中國智能自動化學(xué)術(shù)會議暨智能自動化專業(yè)委員會成立大會論文集（上冊）[C];1995年

7 高志軍;顏國正;丁國清;顏德田;;多移動機器人間通訊機制的設(shè)計與實現(xiàn)[A];中國儀器儀表學(xué)會第三屆青年學(xué)術(shù)會議論文集（上）[C];2001年

8 郭丙華;胡躍明;吳忻生;;未知或已知環(huán)境中的非完整移動機器人運動規(guī)劃[A];第二十一屆中國控制會議論文集[C];2002年

9 劉國棟;呂福生;謝宏斌;;基于神經(jīng)網(wǎng)絡(luò)的移動機器人的路徑規(guī)劃研究[A];2003年中國智能自動化會議論文集（上冊）[C];2003年

10 李世華;田玉平;;一種非完整移動機器人有限時間跟蹤控制算法[A];江蘇省自動化學(xué)會七屆四次理事會暨2004學(xué)術(shù)年會青年學(xué)者論壇論文集[C];2004年

相關(guān)重要報紙文章 前10條

1 記者 張紅波;云南技師學(xué)院鄭棋元勇奪第45屆世界技能大賽移動機器人項目金牌[N];云南經(jīng)濟日報;2019年

2 本報記者 黃辛 趙廣立;給移動機器人裝上“最強大腦”[N];中國科學(xué)報;2018年

3 整理 任紫;技能報國 正當(dāng)其時[N];中國勞動保障報;2019年

4 湖南日報記者 姚學(xué)文;馳眾 躋身工業(yè)移動機器人第一方陣[N];湖南日報;2018年

5 本報記者 郝曉明;移動機器人“冰屏”炫舞“北京八分鐘”[N];科技日報;2018年

6 沈陽日報、沈報融媒記者 李海英;炫舞“北京8分鐘” 沈陽新松移動機器人團隊榮獲“市長特別獎”[N];沈陽日報;2018年

7 本報記者 孫宏陽;移動機器人巡邏機場高速[N];北京日報;2017年

8 本報記者 周明陽;移動機器人：“百變?nèi)f用”真神奇[N];經(jīng)濟日報;2015年

9 朱偉良 穗人社宣;廣州選手摘金奪銀創(chuàng)歷史佳績[N];南方日報;2017年

10 中國工業(yè)報記者 李芳蕾;履坦科技：打造地面行走的農(nóng)機典范[N];中國工業(yè)報;2019年

相關(guān)博士學(xué)位論文 前10條

1 王志瑞;四面體桿式移動機器人的系統(tǒng)設(shè)計與研究[D];北京交通大學(xué);2019年

2 張啟彬;基于不確定性分析的移動機器人室內(nèi)定位與導(dǎo)航控制方法研究[D];中國科學(xué)技術(shù)大學(xué);2018年

3 李曄卓;可重構(gòu)多模式地面移動機器人的構(gòu)型設(shè)計與性能研究[D];北京交通大學(xué);2018年

4 黃辰;基于智能優(yōu)化算法的移動機器人路徑規(guī)劃與定位方法研究[D];大連交通大學(xué);2018年

5 程傳奇;非結(jié)構(gòu)場景下移動機器人自主導(dǎo)航關(guān)鍵技術(shù)研究[D];戰(zhàn)略支援部隊信息工程大學(xué);2018年

6 馮晟;基于無線傳感器網(wǎng)絡(luò)的移動機器人室內(nèi)動態(tài)定位[D];東北大學(xué);2017年

7 邱增帥;面向室外環(huán)境的移動機器人自主場景理解[D];大連理工大學(xué);2018年

8 陳偉華;社會環(huán)境的輪式移動機器人定位導(dǎo)航方法研究[D];華南理工大學(xué);2018年

9 歐屹;特種地面移動機器人機械系統(tǒng)設(shè)計與分析[D];南京理工大學(xué);2013年

10 姜健;多移動機器人協(xié)作方法研究[D];哈爾濱工業(yè)大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 陳德平;基于RGBD相機的移動機器人算法研究[D];杭州電子科技大學(xué);2019年

2 王鴻勃;基于移動機器人的校園無人配送系統(tǒng)研究[D];北京交通大學(xué);2019年

3 柳楊;基于嵌入式平臺的移動機器人定位與導(dǎo)航技術(shù)研究[D];河北工業(yè)大學(xué);2017年

4 李安旭;移動機器人即時定位與地圖構(gòu)建技術(shù)研究[D];電子科技大學(xué);2019年

5 丁聰;復(fù)雜路面下移動機器人關(guān)鍵部件自主控制及狀態(tài)評估方法研究[D];電子科技大學(xué);2019年

6 向卉;基于深度強化學(xué)習(xí)的室內(nèi)目標(biāo)路徑規(guī)劃研究[D];桂林電子科技大學(xué);2019年

7 付華s

本文編號：2793236