隨著深度強(qiáng)化學(xué)習(xí)技術(shù)的快速發(fā)展,將其應(yīng)用于飛行器控制領(lǐng)域成為研究熱點(diǎn)。針對深度強(qiáng)化學(xué)習(xí)方法在飛行器控制中的應(yīng)用問題,概述了深度強(qiáng)化學(xué)習(xí)的演變歷史和發(fā)展現(xiàn)狀,介紹了深度強(qiáng)化學(xué)習(xí)的典型應(yīng)用場景和基本原理。進(jìn)一步介紹了兩種面向飛行控制的算法訓(xùn)練平臺(tái),明確了不同網(wǎng)絡(luò)結(jié)構(gòu)的控制特性及由飛行狀態(tài)構(gòu)建控制網(wǎng)絡(luò)輸入數(shù)據(jù)的方法。分析了將深度強(qiáng)化學(xué)習(xí)方法應(yīng)用于飛行器控制中存在的問題,提出了相應(yīng)的解決方案,并對其未來發(fā)展方向進(jìn)行了展望。 

【文章來源】：戰(zhàn)術(shù)導(dǎo)彈技術(shù). 2020,(04)北大核心

【文章頁數(shù)】：7 頁

【部分圖文】：

Airsim內(nèi)無人機(jī)場景

以現(xiàn)有控制器結(jié)構(gòu)為基準(zhǔn)控制結(jié)構(gòu)，在不需要對現(xiàn)有飛行驗(yàn)證平臺(tái)進(jìn)行大量改進(jìn)的情況下就可以實(shí)現(xiàn)對強(qiáng)化學(xué)習(xí)控制算法的快速驗(yàn)證，加快研究過程。此外，深度神經(jīng)網(wǎng)絡(luò)的黑箱模型是限制其在飛行控制中應(yīng)用的關(guān)鍵因素，出于對飛行安全的考慮，不能直接將一個(gè)無法解釋的控制器直接應(yīng)用于飛行器控制中。通過使用現(xiàn)有控制結(jié)構(gòu)，結(jié)合控制網(wǎng)絡(luò)產(chǎn)生的控制參數(shù)可以對飛行過程進(jìn)行動(dòng)態(tài)分析。以PID控制結(jié)構(gòu)為基準(zhǔn)控制結(jié)構(gòu)為例[16]，現(xiàn)有PID控制器的控制參數(shù)通過增益調(diào)度的方式實(shí)現(xiàn)對不同階段飛行過程的適應(yīng)。在設(shè)計(jì)PID控制參數(shù)時(shí)，首先選取合理工作點(diǎn)，在工作點(diǎn)處將模型線性化，設(shè)計(jì)出一組PID控制參數(shù)。選取多組工作點(diǎn)，則可得到一個(gè)PID參數(shù)矩陣，通過插值的方法，得到一條PID參數(shù)變化的近似曲線，使用飛行過程中的系統(tǒng)長周期變量進(jìn)行PID參數(shù)調(diào)度，過程如圖4所示。

基于Gazebo的強(qiáng)化學(xué)習(xí)訓(xùn)練框架如圖1所示�；贕azebo搭建訓(xùn)練環(huán)境時(shí)，目的是實(shí)現(xiàn)強(qiáng)化學(xué)習(xí)算法與Gazebo進(jìn)行交互，因而必須實(shí)現(xiàn)圖1框架中各模塊的通訊。在上述框架中，通過ROS實(shí)現(xiàn)Gazebo與Agent的數(shù)據(jù)和命令傳遞。

【參考文獻(xiàn)】：
期刊論文
[1]固定翼無人機(jī)強(qiáng)化學(xué)習(xí)控制建模與算法設(shè)計(jì)[J]. 張友安,馬國欣,劉京茂,孫玉梅.  飛行力學(xué). 2019(04)
[2]深度強(qiáng)化學(xué)習(xí)概述[J]. 徐松林.  電腦知識(shí)與技術(shù). 2019(03)
[3]基于Actor-Critic強(qiáng)化學(xué)習(xí)的倒立擺智能控制方法[J]. 邱宇宸.  武漢冶金管理干部學(xué)院學(xué)報(bào). 2018(04)
[4]邁進(jìn)高維連續(xù)空間:深度強(qiáng)化學(xué)習(xí)在機(jī)器人領(lǐng)域中的應(yīng)用[J]. 多南訊,呂強(qiáng),林輝燦,衛(wèi)恒.  機(jī)器人. 2019(02)
[5]基于深度強(qiáng)化學(xué)習(xí)的自動(dòng)駕駛策略學(xué)習(xí)方法[J]. 夏偉,李慧云.  集成技術(shù). 2017(03)
[6]圖像理解中的卷積神經(jīng)網(wǎng)絡(luò)[J]. 常亮,鄧小明,周明全,武仲科,袁野,楊碩,王宏安.  自動(dòng)化學(xué)報(bào). 2016(09)
[7]基于參考模型的輸出反饋強(qiáng)化學(xué)習(xí)控制[J]. 郝釧釧,方舟,李平.  浙江大學(xué)學(xué)報(bào)(工學(xué)版). 2013(03)
[8]基于互補(bǔ)濾波器的四旋翼飛行器姿態(tài)解算[J]. 梁延德,程敏,何福本,李航.  傳感器與微系統(tǒng). 2011(11)
[9]四旋翼飛行器的非線性PID姿態(tài)控制[J]. 宿敬亞,樊鵬輝,蔡開元.  北京航空航天大學(xué)學(xué)報(bào). 2011(09)
[10]單神經(jīng)元自適應(yīng)PID控制器及其應(yīng)用[J]. 丁軍,徐用懋.  控制工程. 2004(01)



本文編號：3484531