移動機器人的出現(xiàn),提高了社會的生產(chǎn)效率。移動機器人的難點在于避障,尤其是在有動態(tài)障礙物的環(huán)境中,移動機器人與動態(tài)障礙物之間沒有相互的通信情況下,動態(tài)障礙物的目標點無法被移動機器人得知。除此之外,為了找出花費時間最短的路徑,通常還需要考慮動態(tài)障礙物之間的相互的影響,如果運用傳統(tǒng)的解析法,計算量是巨大的,例如最佳相互避免碰撞算法。目前移動機器人動態(tài)避障存在著計算量大,實時性差,動態(tài)障礙物數(shù)量增加穩(wěn)定性變差等問題。本文為了解決這些問題,提出一種基于深度強化學習的方法來避免移動機器人與動態(tài)障礙物發(fā)生碰撞。本文主要研究移動機器人動態(tài)避障問題,根據(jù)移動機器人特點和要完成的任務,設計一個深度強化學習模型。使用部分可觀測的信息,在移動機器人與動態(tài)障礙物互不通信的情況下移動機器人能夠無碰撞到達目標。該模型在深度Q網(wǎng)絡基礎上做出針對性的改進,引入長短時記憶神經(jīng)網(wǎng)絡對狀態(tài)進行預處理,同時對于經(jīng)驗池的設置進行修改。本文通過仿真驗證算法的可靠性和穩(wěn)定性,仿真結果表明經(jīng)過改進方法更加穩(wěn)定,移動機器人到達指定目標點的時間縮短。為了動態(tài)障礙物數(shù)量增加時算法依然穩(wěn)定,引入了注意力機制,使得移動機器人在作決策時更加關注那... 

【文章來源】：哈爾濱工業(yè)大學黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：61 頁

【學位級別】：碩士

【部分圖文】：

使用深度學習進行導航的網(wǎng)絡結構[14]

哈爾濱工業(yè)大學工程碩士學位論文a)迎賓機器人b)倉儲機器人圖1-3迎賓機器人和倉儲機器人條件下，經(jīng)常會有一組預測路徑不可逆轉導致機器人凍結�；谲壽E的方法經(jīng)常產(chǎn)生質量更好的路徑，但是這種方法計算量大，而且需要的信息也比當前可用信息多，如需要其他移動機器人的目標。而且，模型可能產(chǎn)生不符合計劃的路徑，特別是在幾秒以后的未來不可知的情況下，因此基于軌跡的方法還需要以高(傳感器更新)的速率運轉，這又更加加劇了計算問題。在動態(tài)環(huán)境下對移動機器人進行路徑規(guī)劃使得移動機器人避免碰撞，其求解難度會隨和移動障礙物的個數(shù)和動態(tài)程度提高而指數(shù)倍提升。不僅要對移動機器人的周圍環(huán)境進行檢測，還有根據(jù)檢測結果進行實時的避障，目前國內(nèi)外學者對靜態(tài)環(huán)境下的避障與路徑規(guī)劃研究較多，對動態(tài)避障研究較少。移動機器人的動態(tài)避障的快速完成，對于移動機器人的應用場景擴展和提高運行效率有著巨大的作用。為了提高移動機器人動態(tài)避障的效率，學者們提出了社會感知[24]的概念，在此之后隨著很多新的方法出現(xiàn)如深度強化學習，注意力機制，這些基于學習的方法都一定程度上提高了移動機器人的發(fā)展，解決了計算方面的問題[25,26]。1.3本文的主要研究內(nèi)容根據(jù)研究現(xiàn)狀分析，對于移動機器人的動態(tài)避障問題，我們考慮的更多的是局部規(guī)劃的方案，而局部規(guī)劃容易陷入局部最優(yōu)的困境之中，而且為了增強算法的泛化能力，讓算法適用于更多場景，完成移動機器人的動態(tài)避障，同時保證其實-6-

哈爾濱工業(yè)大學工程碩士學位論文第2章深度強化學習關鍵理論與技術深度學習在特征提取方面有很強的能力，強化學習有優(yōu)秀的決策能力，深度強化學習繼承了兩者的優(yōu)勢，這樣可以高效對于高維信息進行處理直接輸出控制，這種系統(tǒng)可稱為端對端的系統(tǒng)，有很強的實時性。是最近一段時間人工智能領域的受關注的方向。本章會介紹深度強化學習的理論基矗分析深度學習與強化學習的理論框架的相關概念，以及后續(xù)研究所運用的概念。2.1深度學習模型2006年，Hinton等人提出了一種深度信念網(wǎng)絡（deepbeliefnetwork,DBN）[27]，它引入了“預訓練+微調(diào)”的多層神經(jīng)網(wǎng)絡訓練方法，從而為深度學習研究打開了序幕。深度學習是在原始的人工神經(jīng)網(wǎng)絡的基礎上開發(fā)的，人工神經(jīng)網(wǎng)絡的研究可以追溯到1940年代。它最初是受到生物神經(jīng)系統(tǒng)與現(xiàn)實世界物體相互作用的啟發(fā)，與傳統(tǒng)的神經(jīng)網(wǎng)絡相比，深度神經(jīng)網(wǎng)絡（DeepNeuralNetwork,DNN）網(wǎng)絡結構具有更多的隱藏層，而較低的層具有較高的隱藏層。隱藏層傳遞輸入信號，高級隱藏層將錯誤傳遞給較低的隱藏層。圖2-1顯示了深度神經(jīng)網(wǎng)絡的結構。由于深度圖2-1深度神經(jīng)網(wǎng)絡的結構學習模型具有更多的層次，因此深度學習模型自然具有更強大的特征抽象和表達能力，可以更詳細地描述更復雜的目標并完成更復雜的任務，但是深度學習模型-8-

【參考文獻】：
期刊論文
[1]深度強化學習研究綜述[J]. 趙星宇,丁世飛.  計算機科學. 2018(07)

博士論文
[1]四足機器人環(huán)境感知、識別與領航員跟隨算法研究[D]. 張慧.山東大學 2016

碩士論文
[1]基于神經(jīng)網(wǎng)絡的興趣點推薦算法的研究[D]. 周倩如.黑龍江大學 2019



本文編號：2991616