隨著無人機(jī)相關(guān)技術(shù)及產(chǎn)業(yè)的不斷發(fā)展,其在偵察、農(nóng)業(yè)、物流、娛樂等方面的使用率也逐漸提高。又由于無人機(jī)飛行環(huán)境的日益復(fù)雜,在飛行過程中進(jìn)行自主避碰已經(jīng)成為現(xiàn)代無人機(jī)保障周邊環(huán)境以及自身安全所必須具備的能力。自主避碰決策屬于典型的智能體決策問題,現(xiàn)有的傳統(tǒng)決策方法局限于狀態(tài)分類和策略選擇,難以實現(xiàn)自主決策,且算法性能有限。本文將深度增強(qiáng)學(xué)習(xí)理論引入無人機(jī)自主避碰決策過程。首先將動態(tài)障礙環(huán)境下的無人機(jī)避障問題建模為智能體在變化環(huán)境中的動作決策問題,將障礙物和智能體狀態(tài)及動態(tài)變化的環(huán)境向量化,作為深度增強(qiáng)網(wǎng)絡(luò)的輸入向量,將深度增強(qiáng)網(wǎng)絡(luò)的輸出轉(zhuǎn)化為智能體的動作。在訓(xùn)練過程中,智能體采用不同的動作,會獲得不同的獎勵值,依據(jù)“不同狀態(tài)下采用不同動作得到的不同獎勵值”,運(yùn)用反向傳播算法更新網(wǎng)絡(luò)參數(shù),從而在與環(huán)境的交互中不斷學(xué)習(xí)以實現(xiàn)智能體(即無人機(jī))的自主決策。使用單網(wǎng)絡(luò)結(jié)構(gòu)的無人機(jī)避障算法由于在估計動作價值時反復(fù)取用最大理論價值,導(dǎo)致正向誤差的累積,會做出過度樂觀的估計。本文將單網(wǎng)絡(luò)結(jié)構(gòu)變換為雙網(wǎng)絡(luò)結(jié)構(gòu),在訓(xùn)練學(xué)習(xí)過程中,解耦了最優(yōu)動作選擇和動作價值估計,降低了單網(wǎng)絡(luò)結(jié)構(gòu)無人機(jī)避障算法的過度估計問題,提高了避障算法的性能。本文在更新網(wǎng)絡(luò)參數(shù)階段,設(shè)立一個用于存儲交互經(jīng)驗的回放單元,從中抽取歷史經(jīng)驗,以破壞用來更新網(wǎng)絡(luò)參數(shù)的狀態(tài)-行為-獎勵組合的時間相關(guān)性。最后,對經(jīng)驗回放算法加以改進(jìn),提出了一種深度Q學(xué)習(xí)指數(shù)優(yōu)先經(jīng)驗回放算法。該算法通過重新設(shè)計抽取歷史經(jīng)驗時經(jīng)驗重要程度到抽取概率的映射函數(shù),使其在選擇需要學(xué)習(xí)的回放單元時,可以優(yōu)先自動選擇更為重要的回放單元。對比傳統(tǒng)算法的單一映射函數(shù),本文提出的的算法既保證了智能體決策的質(zhì)量、使智能體能夠?qū)W習(xí)到最優(yōu)的策略,又有效的提升了任務(wù)表現(xiàn)、提高了決策效率。在實驗仿真驗證中,本文首先進(jìn)行了所提出算法的直觀模型策略分析,然后進(jìn)行了代價函數(shù)分析、效率分析以及各算法的任務(wù)表現(xiàn)對比。最后通過對比分析改進(jìn)算法在測試環(huán)境和無人機(jī)避障模擬環(huán)境下的仿真結(jié)果,證明了本文所提出的改進(jìn)算法可以使智能體做出更加高效優(yōu)質(zhì)的決策,即在取得更好避障效果的同時花費(fèi)更少的時間。
【學(xué)位單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2019
【中圖分類】：V279
【部分圖文】：

a) 二維障礙環(huán)境示意圖 b) 三維障礙環(huán)境示意圖圖 2-1 問題描述示意圖圖 2-1 a）是無人機(jī)在二維動態(tài)障礙環(huán)境避障建模示意圖。其中無人機(jī)處于 1000*800 的網(wǎng)格空間內(nèi)，起始位置在點（900,700），目標(biāo)位置在點（100,100）。無人機(jī)和障礙物的安全半徑都設(shè)為 10，無人機(jī)向八個方向探測障礙物位置。障礙物以近似隨機(jī)的運(yùn)動方式運(yùn)動，障礙物有三種運(yùn)動狀態(tài)分別是直線運(yùn)動，圓周運(yùn)動和原地轉(zhuǎn)彎，在訓(xùn)練的開始，障礙物處在三種運(yùn)動狀態(tài)下的概率分別是 30%，30%，40%，每輪更新有 10%的概率轉(zhuǎn)換運(yùn)動狀態(tài)，在三種運(yùn)動狀態(tài)之間轉(zhuǎn)換的概率如圖 2-2 所示：

維障礙環(huán)境示意圖 b) 三維障礙環(huán)圖 2-1 問題描述示意圖是無人機(jī)在二維動態(tài)障礙環(huán)境避障建模示意圖網(wǎng)格空間內(nèi)，起始位置在點（900,700），目標(biāo)位置物的安全半徑都設(shè)為 10，無人機(jī)向八個方向探隨機(jī)的運(yùn)動方式運(yùn)動，障礙物有三種運(yùn)動狀態(tài)分地轉(zhuǎn)彎，在訓(xùn)練的開始，障礙物處在三種運(yùn)動狀40%，每輪更新有 10%的概率轉(zhuǎn)換運(yùn)動狀態(tài)，率如圖 2-2 所示：

圖 2-3 障礙物運(yùn)動模型直線運(yùn)動的模擬障礙物，藍(lán)色代表圓弧運(yùn)、淺粉代表結(jié)合了兩種以上運(yùn)動方式的混程度上可以實現(xiàn)“隨機(jī)”“交錯”運(yùn)動。人群、飛鳥或其他無人機(jī)等運(yùn)動方式無法速度標(biāo)量設(shè)置為模擬速度 10 以內(nèi)，除了勻速巡航。無人機(jī)在三維動態(tài)障礙環(huán)境避障建模示意00 的網(wǎng)格空間內(nèi)，起始位置在點（500,500。無人機(jī)和障礙物的安全半徑都設(shè)為 20，方向探測障礙物位置，探測半徑為 120，維空間類似，以近似隨機(jī)的運(yùn)動方式運(yùn)動向，新方向是極坐標(biāo)(ρ,φ)，其中ρ,φ符合( 40，每回合有 10%的概率變換速度，速率分別是 30%，30%，40%。無人機(jī)保持
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 文元橋;鄭海濤;周春輝;肖長詩;;基于復(fù)雜性地圖的多船避碰模擬[J];武漢理工大學(xué)學(xué)報(交通科學(xué)與工程版);2017年03期

2 薛彥卓;魏伊;孫淼;;基于避碰重點船算法的多船避碰模擬[J];大連海事大學(xué)學(xué)報;2014年01期

3 施平安;魯俊;;能見度不良兩船互見后的避碰行動分析[J];廣州航海高等專科學(xué)校學(xué)報;2012年01期

4 彭德洋;;“協(xié)議避碰”的性質(zhì)[J];世界海運(yùn);2007年02期

5 陳錦標(biāo),王則勝;多船自動避碰決策探討[J];南通航運(yùn)職業(yè)技術(shù)學(xué)院學(xué)報;2005年03期

6 李麗娜,孫騰達(dá),黃麗卿;關(guān)于船舶自動避碰仿真方法的研究[J];儀器儀表學(xué)報;2004年S1期

7 逢金雷,王桂軍,張志強(qiáng);解析法分析旋回對避碰的影響[J];航海技術(shù);2003年02期

8 李麗娜,熊振南,任勤生;多船避碰智能決策的生成與優(yōu)化方法[J];信息與控制;2003年02期

9 黃偉梧;汽車緊急避碰的四條要則[J];勞動保護(hù);2003年06期

10 K．H．Kwik;基于避碰操縱知識庫的安全海運(yùn)(英)[J];船舶力學(xué);1998年02期

相關(guān)博士學(xué)位論文 前9條

1 陳立家;海上多目標(biāo)船智能避碰輔助決策研究[D];武漢理工大學(xué);2011年

2 張金奮;船舶碰撞風(fēng)險評價與避碰決策方法研究[D];武漢理工大學(xué);2013年

3 鄭中義;船舶自動避碰決策系統(tǒng)的研究[D];大連海事大學(xué);2000年

4 陳國權(quán);船舶避碰自動化關(guān)鍵技術(shù)研究[D];大連海事大學(xué);2016年

5 楊神化;基于Multi-agent的船舶避碰決策支持系統(tǒng)[D];上海海事大學(xué);2008年

6 歐陽帆;雙機(jī)器人協(xié)調(diào)運(yùn)動方法的研究[D];華南理工大學(xué);2013年

7 李旺;水面無人艇航跡規(guī)劃與跟蹤技術(shù)研究[D];哈爾濱工程大學(xué);2016年

8 薛頌東;面向目標(biāo)搜索的群機(jī)器人協(xié)調(diào)控制及其仿真研究[D];蘭州理工大學(xué);2009年

9 畢修穎;船舶碰撞危險度及避碰決策模型的研究[D];大連海事大學(xué);2000年

相關(guān)碩士學(xué)位論文 前10條

1 牟詩璇;動態(tài)環(huán)境下的無人機(jī)避碰技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2019年

2 付彥超;游艇活動水域碰撞風(fēng)險度量與避碰決策方法研究[D];武漢理工大學(xué);2018年

3 陳文玉;規(guī)則約束下無人船實時避碰方法研究[D];南京大學(xué);2019年

4 郭峰;小型USV高速運(yùn)動條件下避碰規(guī)劃方法研究[D];哈爾濱工程大學(xué);2019年

5 練青坡;多USV避碰規(guī)劃與學(xué)習(xí)方法研究[D];哈爾濱工程大學(xué);2019年

6 薛嘉歡;雙工業(yè)機(jī)器人協(xié)調(diào)避碰運(yùn)動研究[D];東北電力大學(xué);2017年

7 胥文;基于克隆選擇優(yōu)化的多船避碰決策研究[D];大連海事大學(xué);2017年

8 劉偉;協(xié)議避碰法律問題研究[D];大連海事大學(xué);2016年

9 王哲;無人艇自動避碰策略的研究[D];大連海事大學(xué);2013年

10 高鵬;人機(jī)協(xié)作中機(jī)器人主動避碰技術(shù)研究[D];華南理工大學(xué);2015年

本文編號：2879191