【摘要】：近十年來,基于多旋翼結(jié)構(gòu)的無人機(jī)在人類生產(chǎn)生活中越發(fā)常見,在如電路巡檢、警務(wù)處置、影視拍攝、科學(xué)研究等場(chǎng)景中發(fā)揮了越來越重要的作用。多旋翼以其結(jié)構(gòu)簡(jiǎn)單、機(jī)動(dòng)靈活、易于控制的特點(diǎn),在眾多應(yīng)用場(chǎng)景當(dāng)中受到了歡迎,成為生產(chǎn)生活中重要工具之一。但與此同時(shí),絕大多數(shù)多旋翼無人機(jī)依然工作在姿態(tài)增穩(wěn)模式之中,在中層(規(guī)劃層)和上層(決策層)都還非常缺乏相應(yīng)的智能算法,基本依靠飛手手動(dòng)操作,在復(fù)雜場(chǎng)景當(dāng)中難以做出有效的決策。強(qiáng)化學(xué)習(xí)是一種近年來飛速發(fā)展的決策算法。針對(duì)傳統(tǒng)優(yōu)化算法難以處理的復(fù)雜環(huán)境下長(zhǎng)時(shí)序決策問題,強(qiáng)化學(xué)習(xí)能夠提供較為直觀的建模和求解方法,目前已經(jīng)在電腦游戲等領(lǐng)域取得了巨大的成功。將其應(yīng)用于多旋翼空中機(jī)器人的決策層面,需要在強(qiáng)化學(xué)習(xí)層面對(duì)中下層的控制器進(jìn)行一定程度的考量。如中下層控制器成功完成該決策的概率,以及完成此動(dòng)作所需要的時(shí)間。這是一個(gè)將人工智能領(lǐng)域和機(jī)器人領(lǐng)域進(jìn)行結(jié)合,較為有挑戰(zhàn)性的課題。本文以國際空中機(jī)器人大賽第七代任務(wù)-牧羊犬行動(dòng)為具體應(yīng)用,采用分層進(jìn)行控制、規(guī)劃和決策的方法,實(shí)現(xiàn)了空中機(jī)器人的完全自主層次化決策。本文主要內(nèi)容和研究成果包括以下五個(gè)方面:1.空中機(jī)器人攔截地面移動(dòng)機(jī)器人,需要依照不斷更新的目標(biāo)位置動(dòng)態(tài)地規(guī)劃軌跡。為了穩(wěn)定地實(shí)現(xiàn)攔截,本文提出了三段式規(guī)劃方法,將整個(gè)交互過程分為巡航、跟蹤和進(jìn)近三個(gè)獨(dú)立階段。針對(duì)每個(gè)階段,提出了滾動(dòng)二次型動(dòng)態(tài)規(guī)劃方法來生成軌跡,并將其與四旋翼飛行平臺(tái)的姿態(tài)和控制器結(jié)合,實(shí)現(xiàn)了對(duì)地面移動(dòng)目標(biāo)的攔截。2.對(duì)于目標(biāo)位置的濾波和預(yù)測(cè)也是控制系統(tǒng)的重要一環(huán)。傳統(tǒng)濾波方法依賴于對(duì)系統(tǒng)建模的精確度,建模誤差會(huì)引起濾波結(jié)果的誤差,且濾波器本身無法解決這個(gè)問題。本文提出了一種將神經(jīng)網(wǎng)絡(luò)結(jié)合進(jìn)機(jī)理建模的方法來提升預(yù)測(cè)結(jié)果。在該模型中,生成濾波結(jié)果、用濾波結(jié)果訓(xùn)練神經(jīng)網(wǎng)絡(luò)、用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)更新系統(tǒng)模型是一個(gè)滾動(dòng)的過程。在結(jié)合了神經(jīng)網(wǎng)絡(luò)之后,濾波和預(yù)測(cè)的結(jié)果有了顯著提升。3.鑒于空中機(jī)器人實(shí)驗(yàn)的復(fù)雜性、風(fēng)險(xiǎn)和諸多困難,仿真環(huán)境是非常重要的科研工具。我們?cè)趯?shí)踐中對(duì)其提出四點(diǎn)需求:動(dòng)力學(xué)和碰撞引擎、多智能體運(yùn)動(dòng)、傳感器仿真、仿真結(jié)果可視化。通過將ROS和Gazebo環(huán)境結(jié)合,實(shí)現(xiàn)了空中機(jī)器人仿真系統(tǒng),并滿足了以上四點(diǎn)要求。進(jìn)一步,為了驗(yàn)證牧羊犬行動(dòng)每次觸碰所花時(shí)間的預(yù)測(cè)模型,我們采用路徑積分控制在該仿真系統(tǒng)中做了實(shí)驗(yàn),并且對(duì)時(shí)間預(yù)測(cè)模型進(jìn)行了驗(yàn)證。4.針對(duì)國際空中機(jī)器人大賽-牧羊犬行動(dòng)的頂層決策問題,我們采用馬爾科夫決策過程對(duì)其進(jìn)行了建模。由于該問題是在一個(gè)連續(xù)時(shí)間連續(xù)狀態(tài)的多智能體系統(tǒng)中進(jìn)行離散決策,因此存在決策結(jié)果(動(dòng)作)需要一段變化長(zhǎng)度的時(shí)間來完成的問題,我們將其命名為動(dòng)作滯后。通過已知模型將動(dòng)作滯后和獎(jiǎng)勵(lì)相關(guān)聯(lián),以及將連續(xù)狀態(tài)量離散成一個(gè)查找表,進(jìn)而對(duì)查找表隨機(jī)采樣來初始化并生成對(duì)應(yīng)的動(dòng)作獎(jiǎng)勵(lì),成功解決了牧羊犬行動(dòng)的決策問題。5.進(jìn)一步,我們通過對(duì)牧羊犬問題系統(tǒng)分析,從中抽象出了帶動(dòng)作時(shí)間的強(qiáng)化學(xué)習(xí)這一類問題。該問題可以通過建立層次化系統(tǒng),將上層決策輸出和底層控制設(shè)定值輸入結(jié)合,提前訓(xùn)練時(shí)間預(yù)估模型并將其結(jié)合進(jìn)強(qiáng)化學(xué)習(xí)框架來解決�；诖�,我們提出了層次化的強(qiáng)化學(xué)習(xí)與底層控制器結(jié)合的框架,創(chuàng)造性地解決了類似連續(xù)時(shí)間受控系統(tǒng)中進(jìn)行離散上層決策的問題。本文的研究場(chǎng)景主要集中于國際空中機(jī)器人大賽第七代任務(wù)-牧羊犬行動(dòng),各項(xiàng)研究結(jié)果也實(shí)際應(yīng)用到了作者所在隊(duì)伍參賽過程當(dāng)中。其成果主要包括:1)2016年基于馬爾科夫決策過程的決策系統(tǒng)研究報(bào)告首次提交大賽組委會(huì),成為組委會(huì)當(dāng)年修改比賽規(guī)則的重要參考依據(jù);2)2016-2018年,作者所在隊(duì)伍均采用了三段式軌跡規(guī)劃方法攔截地面目標(biāo),取得了極高的成功率;3)2017年,基于本文研究結(jié)果,首次將基于時(shí)間和狀態(tài)的決策器在參賽空中機(jī)器人中編程實(shí)現(xiàn),當(dāng)年成功完成3次驅(qū)趕,排名全世界參賽隊(duì)伍第一位;4)2018年作者所在隊(duì)伍沿用上述框架,最終完成第七代任務(wù),成為此項(xiàng)大賽28年歷史上第七代世界冠軍。
【圖文】：

設(shè)計(jì)和算法實(shí)現(xiàn)來解決問題。逡逑國際空中機(jī)器人大賽的任務(wù)是以“代”來計(jì)算的，在一個(gè)任務(wù)發(fā)布之后，需要若干逡逑年這一代任務(wù)完成，才會(huì)進(jìn)入到下一代任務(wù)。如圖１．１是國際空中機(jī)器人大賽官方網(wǎng)站上逡逑發(fā)布的歷代任務(wù)冠軍得主５，七屆冠軍隊(duì)伍及其任務(wù)持續(xù)時(shí)間分別為斯坦福大學(xué)（１９９１－逡逑１９９５）、卡耐基梅隆大學(xué)（１９９６－１９９７）、柏林工業(yè)大學(xué)（１９９８－２０００）、佐治亞理工學(xué)院逡逑（２００１－２００８）、麻省理工學(xué)院（２００９）、清華大學(xué)（２０１０－２０１３）和浙江大學(xué)（２０１４－２０１８）。逡逑持續(xù)時(shí)間最長(zhǎng)的第４代任務(wù)花費(fèi)了邋８年時(shí)間才得以完成，本文主要討論的第７代任務(wù)也歷時(shí)逡逑五年。逡逑２０１２年之前，，國際空中機(jī)器人大賽均在美國舉辦。２０１２年開始，國際空中機(jī)器人大賽逡逑設(shè)立亞太賽區(qū)（Ａｓｉａ／Ｐａｃｉｆｉｃ邋Ｖｅｎｕｅ邋），由中國航空協(xié)會(huì)（Ｃｈｉｎｅｓｅ邋Ｓｏｃｉｅｔｙ邋ｏｆ邋Ａｅｒｏｎａｕｔｉｃｓ邋ａｎｄ逡逑Ａｓｔｒｏｎａｕｔｉｃｓ，邋ＣＳＡＡ）聯(lián)合主辦。亞太賽區(qū)和美洲賽區(qū)（Ａｍｅｒｉｃａｎ邋Ｖｅｎｕｅ）邋ｔｂ賽規(guī)則QR全逡逑一致，成績(jī)同等對(duì)待。在任務(wù)沒有完成的年份，亞太賽區(qū)依照參賽隊(duì)伍的表現(xiàn)為參賽隊(duì)伍逡逑頒布前三名名次獎(jiǎng)項(xiàng)和各項(xiàng)技術(shù)類細(xì)分獎(jiǎng)項(xiàng)。逡逑１．３．１第７代任務(wù)：牧羊犬行動(dòng)逡逑我們首先筒單介紹一下國際空中機(jī)器人大賽第七代任務(wù)：牧羊犬行動(dòng)。對(duì)應(yīng)真實(shí)的牧逡逑羊犬驅(qū)趕羊群回羊圈的行為，該比賽共有如下幾個(gè)元素：逡逑？草地：一個(gè)２０米乘以２０米的正方形場(chǎng)地。逡逑？羊圈：位于該正方形場(chǎng)地的正北

賽成績(jī)第一、總分?jǐn)?shù)第一，獲得第７代任務(wù)全球總冠軍。逡逑硬件方面，ＺＭＡＲＴ參賽平臺(tái)由機(jī)體系統(tǒng)、動(dòng)力系統(tǒng)、能源系統(tǒng)、飛控系統(tǒng)、感知逡逑系統(tǒng)、機(jī)載電腦、執(zhí)行機(jī)構(gòu)七大部分組成，如圖１．２所示。其中機(jī)體、動(dòng)力、能源、飛逡逑控以及一部分感知系統(tǒng)采用了大疆創(chuàng)新（ＤａＪｉａｎｇ邋Ｉｎｎｏｖａｔｉｏｎ，邋ＤＪＩ）的成套解決方案經(jīng)逡逑緯１００邋（Ｍａｔｒｉｃｅｓ邋１００，Ｍ１００）。對(duì)于感知系統(tǒng)，我們采用了一個(gè)能覆蓋半球面視野的逡逑魚眼攝像頭和一個(gè)覆蓋１２０度的廣角攝像頭，以盡可能的覆蓋更大視野范圍，以及一逡逑個(gè)Ｈｏｋｕｙｏ／ＲＰｌｉｄａｒ的激光雷達(dá)來規(guī)避障礙物。機(jī)載電腦是硬件系統(tǒng)中最重要的部分之一，逡逑需要滿足重量、功耗、尺寸、性能等一系列苛刻的要求，在整個(gè)參賽過程中，我們主要采逡逑用了因特爾ＮＵＣ、英偉徶ＴＫ１、ＴＸ２三款機(jī)載電腦。執(zhí)行機(jī)構(gòu)是使空中機(jī)器人物理接觸地逡逑面目標(biāo)機(jī)器人的機(jī)構(gòu)，我們?cè)O(shè)計(jì)了并聯(lián)機(jī)械臂以達(dá)到這個(gè)目的。逡逑ＲＰＬＩＤＡＲ邋Ａ２邐７Ｘ２逡逑R[邐／邐ＨＩＳＳ－邐一邐邐／逡逑＼邋０ＪＩ邋Ｇｕｉｄａｎｃｅ逡逑廣，明像頭邋／邐Ｎ邐逡逑＼邋０ＪＩ邋Ｇｕｉｄａｎｃｅ逡逑２０１７年參賽空中機(jī)器人邐２０１８年參賽空中機(jī)器人逡逑圖１．２邋ＺＭＡＲＴ團(tuán)隊(duì)參加國際空中機(jī)器人大賽的飛行平臺(tái)逡逑算法部分是我們工作的主要部分
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP242

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鄧怡辰;李宇潔;張亞南;宋強(qiáng);;無軌服務(wù)型機(jī)器人的設(shè)計(jì)[J];電腦知識(shí)與技術(shù);2018年33期

2 宋承秀;劉凱;;機(jī)器人視覺檢測(cè)在工業(yè)中的應(yīng)用探討[J];汽車實(shí)用技術(shù);2019年07期

3 孔佐君;;淺談高職院校機(jī)器人技術(shù)課程教學(xué)的創(chuàng)新實(shí)踐[J];現(xiàn)代職業(yè)教育;2016年30期

4 華永明;楊春玉;;機(jī)器人視覺系統(tǒng)在立體編織自動(dòng)鋪紗過程中的應(yīng)用研究[J];玻璃纖維;2011年01期

5 小平;機(jī)器人視覺系統(tǒng)[J];光機(jī)電信息;2002年03期

6 黎亞龍;;一種用小型計(jì)算機(jī)實(shí)現(xiàn)的機(jī)器人視覺系統(tǒng)[J];中南礦冶學(xué)院學(xué)報(bào);1987年06期

7 范偉;李嚴(yán);;手一眼式機(jī)器人視覺系統(tǒng)物像關(guān)系的初步研究[J];佳木斯工學(xué)院學(xué)報(bào);1988年04期

8 范偉;李嚴(yán);;機(jī)器人視覺系統(tǒng)[J];佳木斯工學(xué)院學(xué)報(bào);1989年03期

9 劉晨;;基于機(jī)器人視覺系統(tǒng)的人臉檢測(cè)技術(shù)研究[J];電子設(shè)計(jì)工程;2019年05期

10 曲豪;張棟梁;;基于三目視覺標(biāo)定的機(jī)器人精確移載視覺系統(tǒng)[J];組合機(jī)床與自動(dòng)化加工技術(shù);2017年11期

相關(guān)會(huì)議論文 前8條

1 馬宏偉;尚利歌;馮偉;;超聲測(cè)距技術(shù)在移動(dòng)機(jī)器人視覺系統(tǒng)中的應(yīng)用[A];第六屆全國信息獲取與處理學(xué)術(shù)會(huì)議論文集（1）[C];2008年

2 張亞靜;喬軍;劉剛;李民贊;;水果采摘機(jī)器人視覺系統(tǒng)的發(fā)展現(xiàn)狀研究[A];2007年中國農(nóng)業(yè)工程學(xué)會(huì)學(xué)術(shù)年會(huì)論文摘要集[C];2007年

3 高瑞;劉剛;司永勝;劉兆祥;;蘋果采摘機(jī)器人視覺系統(tǒng)研究[A];紀(jì)念中國農(nóng)業(yè)工程學(xué)會(huì)成立30周年暨中國農(nóng)業(yè)工程學(xué)會(huì)2009年學(xué)術(shù)年會(huì)（CSAE 2009）論文集[C];2009年

4 徐大宏;;基于彩色識(shí)別的足球機(jī)器人視覺系統(tǒng)研究與實(shí)現(xiàn)[A];中國圖象圖形學(xué)會(huì)第十屆全國圖像圖形學(xué)術(shù)會(huì)議（CIG’2001）和第一屆全國虛擬現(xiàn)實(shí)技術(shù)研討會(huì)（CVR’2001）論文集[C];2001年

5 雍超;竺長(zhǎng)安;杜華生;;基于視覺和超聲技術(shù)的機(jī)器人視覺系統(tǒng)[A];第六屆全國計(jì)算機(jī)應(yīng)用聯(lián)合學(xué)術(shù)會(huì)議論文集[C];2002年

6 劉碩;吳兆躍;袁家政;劉宏哲;;物體定位與識(shí)別研究綜述[A];中國計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)2017年第二十一屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會(huì)論文集[C];2017年

7 井建輝;張振東;吳文琪;;攝像機(jī)定標(biāo)在機(jī)器人視覺系統(tǒng)中的應(yīng)用[A];全國第十五屆計(jì)算機(jī)科學(xué)與技術(shù)應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2003年

8 張海波;廖學(xué)軍;張志威;;基于直線跟蹤的室內(nèi)移動(dòng)機(jī)器人視覺導(dǎo)航研究[A];第十三屆全國圖象圖形學(xué)學(xué)術(shù)會(huì)議論文集[C];2006年

相關(guān)重要報(bào)紙文章 前6條

1 記者 陳曦 通訊員 朱甜媛;“洛陽造”機(jī)器人視覺系統(tǒng)助力鄭煤機(jī)加速“機(jī)器換人”[N];洛陽日?qǐng)?bào);2019年

2 蔣敏華;蕭山機(jī)器人小鎮(zhèn)揚(yáng)帆起航[N];浙江日?qǐng)?bào);2018年

3 李薇o

本文編號(hào)：2686971