隨著內(nèi)河水運業(yè)的快速發(fā)展,運輸船舶日漸增加,船舶航行安全受到越來越多的關(guān)注。船舶避碰作為船舶航行安全的核心問題,逐漸成為當(dāng)前眾多學(xué)者研究的熱點。深度強化學(xué)習(xí)是一種通過與環(huán)境交互學(xué)習(xí)得到優(yōu)秀策略的算法,目前在車輛自動駕駛領(lǐng)域研究中取得了突破性的進(jìn)展。船舶避碰的過程與車輛的自動駕駛具有很高的相似性,部分在車輛駕駛領(lǐng)域的研究成果可以應(yīng)用到船舶避碰研究中。本文主要采用了基于深度確定性策略梯度（Deep Deterministic Policy Gradient,簡稱DDPG）的強化學(xué)習(xí)算法,并結(jié)合船舶航行特征,對船舶的智能避碰路徑規(guī)劃開展了研究。本文通過構(gòu)建“天地圖”與船舶自動識別系統(tǒng)融合的狹窄水域船舶領(lǐng)域數(shù)學(xué)模型,建立了高度真實的船舶避碰仿真環(huán)境,開展基于DDPG算法的船舶避碰路徑規(guī)劃研究。為提高游船船舶領(lǐng)域的精確度,本文基于周莊水域?qū)嶋H航道環(huán)境,并結(jié)合AIS數(shù)據(jù)和人為觀測數(shù)據(jù)構(gòu)建了改進(jìn)的游船船舶領(lǐng)域模型。為搭建基于DDPG算法的船舶避碰路徑規(guī)劃框架,本文設(shè)計了 DDPG算法的狀態(tài)、動作、獎勵值以及神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu);通過在訓(xùn)練中模擬船舶的各種會遇場景,實現(xiàn)了船舶在不同會遇場景下的避碰路徑規(guī)劃;針... 

【文章來源】：蘇州大學(xué)江蘇省 211工程院校

【文章頁數(shù)】：81 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２．４?Ａｃｔｏｒ－Ｃｒｉｔｉｃ算法框架??

ｉｅｎｔ）為基礎(chǔ)丨４＞１，足－種??確定性策略的算法。確定性策略選取動作的方式與隨機性策略不同，隨機性策略??選取動作時服從一定的概率分布，即在狀態(tài)心時按照概率分布函數(shù)沖（ａｔ｜ｓｔ）選取??動作ａｔ；而確定性策略輸出動作唯－，在當(dāng)前策略Ｋ狀態(tài)ｓｔ對應(yīng)一個確定的動作??ａｔ。與隨機性策略相比，確定性策略具有采樣數(shù)據(jù)讀少，算法效書高的優(yōu)點。??ＤＤＰＧ算法借鑒了?ＤＱＮ算法的成功經(jīng)驗，使用深度神經(jīng)Ｍ絡(luò)擬合策略和價??值函數(shù)，運用經(jīng)驗丨＂丨放和Ｈ標(biāo)Ｎ絡(luò)技術(shù)提高算法的收斂性與穩(wěn)走性。??圖２．６為應(yīng)用Ｌ）Ｉ）ＰＧ實現(xiàn)船舶避碰路徑規(guī)劃的框架：??ａｃｔｏｒ?ｃｒｉｔｉｃ??更新參數(shù)?“策略梯度?更新參數(shù)?“?Ｑ梯度??０＂?ｊ?Ｓ＇！??『上，丄■?』：＼輸山動仏?ｏｎｉｅ策略網(wǎng)絡(luò)?［＊??ＯＴｌｉｎｅａ網(wǎng)絡(luò)??腳酬亞腿?，?＜３？－?參數(shù)ｆ?？參數(shù)ｆ??丨刪＿￣￣丨賬補Ａ??ｒ￣——＾根據(jù)策?￣￣Ｔ—－Ｈ——??及１４?軟更新１?略選擇動作輸出４?ｉ軟更新??ｔａｒｇｅｔ策略網(wǎng)絡(luò)?＾?ｔａｒｇｅｔ?Ｑ網(wǎng)絡(luò)??ｒ￣根據(jù)＿（策￣１?；敗＂廣???Ｔ?略選擇動作?］［???存儲（ｋａｂｆＶｗＳｍ）????、??????［Ｓｉ／３＇ｆ?ｒ?？?：，?ｓ？ｉ?］???？經(jīng)驗池?Ｎ?［Ｓｉ，ａｉ；ｒ－：，Ｓｉ．ｉ］??＾?＾隨機采樣?Ｉ?［ｓ．＇ａｋ，ｒ．－，．ｓ，．＇ｊ??Ｍｉｎｉｂａｔｃｈ??圖２．６?ＤＤＰＧ實現(xiàn)船舶避碰路徑規(guī)劃的框架??如圖２．６，?ＤＤＰＧ算法通過與船舶路徑規(guī)劃環(huán)境交互獲得樣本數(shù)據(jù)??〇ｔ，ｃｚｔ，ｒｔ＋１，ｓｔ＋１），汴

?ｅｐｉｓｏｄｅ＝０?儲存經(jīng)驗至經(jīng)驗池??丁????￣＜＾ｅｐｉｓｏｄｅ＜Ｍ?從經(jīng)驗池中隨機選??擇?ｍｉｎｉｂａｔｃｈｉＪ?丨丨練??——＿?Ｔ??（々士?由ｅｐｉｓｏｄｅ＝ｅｐｉｓｏｄｅ＋ｌ??－口?￥?Ｊ?ｓｔｅｐ＝０?更新ｃｒｉｔｉｃ估計網(wǎng)絡(luò)??ｒ?；?１」??初始化隨機Ｈ某聲Ｎ?更新ａｒｔ〇ｒｔｔ計網(wǎng)絡(luò)??人?■?Ｉ??獲取初始狀態(tài)Ｓ?軟更新ｃｒｉｔｉｃ和ａｃｔ?ｏｒ????目標(biāo)網(wǎng)絡(luò)??ｓｔｅｐ＝ｓｔｅｐ＋ｌ??￣Ｉ????圖２．７基于ＤＤＰＧ的船舶避碰路徑規(guī)劃流程圖??２．３本章小結(jié)??本章主要介紹／強化學(xué)習(xí)的理論？礎(chǔ)以及Ｄ［）ＰＧ算法，強化學(xué)習(xí)的理論基??礎(chǔ)主要包括馬爾可夫決策過程和強化學(xué)習(xí)的分類。ＤＤＰＧ算法則主要介紹了??ＤＱＮ算法和ＤＤＰＧ船舶避碰路徑規(guī)劃原理。ＤＱＮ算法是一種基Ｔ？值函數(shù)的深??度強化學(xué)習(xí)算法，無法應(yīng)用于連續(xù)的動作空Ｎ：?Ｉ）［）ＰＧ以ＤＰＧ算法為基礎(chǔ)，借??鑒了?ＤＱＮ算法的成功經(jīng)驗，解決ｆＤＱＮ算：法無法成用連續(xù)動作空Ｎ的問題。??船舶進(jìn)行避碰路徑規(guī)劃時需根據(jù)水域環(huán)境信息采収連續(xù)的動作，所以本文采用??ＤＤＰＧ算法可以學(xué)習(xí)到船舶避碰路徑規(guī)劃的優(yōu)秀策略。??１３??

【參考文獻(xiàn)】：
期刊論文
[1]復(fù)雜水域船舶智能避碰專家系統(tǒng)設(shè)計[J]. 湯國瑞,謝新連,潘偉.  船海工程. 2019(03)
[2]基于擴展博弈理論的船舶自動避碰決策系統(tǒng)[J]. 孔祥生,卜仁祥,劉勇.  計算機仿真. 2019(05)
[3]基于混合遺傳算法的船舶避碰路徑規(guī)劃[J]. 倪生科,劉正江,蔡垚,王欣.  上海海事大學(xué)學(xué)報. 2019(01)
[4]基于進(jìn)化算法的船舶避碰軌跡建模[J]. 劉超.  西安文理學(xué)院學(xué)報(自然科學(xué)版). 2018(04)
[5]優(yōu)化深度確定性策略梯度算法[J]. 柯豐愷,周唯倜,趙大興.  計算機工程與應(yīng)用. 2019(07)
[6]基于重抽樣優(yōu)選緩存經(jīng)驗回放機制的深度強化學(xué)習(xí)方法[J]. 陳希亮,曹雷,李晨溪,徐志雄,何明.  控制與決策. 2018(04)
[7]谷歌TensorFlow機器學(xué)習(xí)框架及應(yīng)用[J]. 章敏敏,徐和平,王曉潔,周夢昀,洪淑月.  微型機與應(yīng)用. 2017(10)
[8]基于遺傳算法的船舶避碰決策輔助[J]. 倪生科,劉正江,蔡垚,王欣.  上海海事大學(xué)學(xué)報. 2017(01)
[9]基于改進(jìn)蟻群算法的水面無人艇智能避碰方法研究[J]. 尚明棟,朱志宇,周濤.  船舶工程. 2016(09)
[10]人工魚群算法的避碰路徑規(guī)劃決策支持[J]. 馬文耀,吳兆麟,楊家軒,李偉峰.  中國航海. 2014(03)

碩士論文
[1]船舶路徑規(guī)劃算法的研究[D]. 宋勇.武漢理工大學(xué) 2018



本文編號：3273990