本文關(guān)鍵詞：專家知識(shí)輔助的強(qiáng)化學(xué)習(xí)研究及其在無(wú)人機(jī)路徑規(guī)劃中的應(yīng)用

  更多相關(guān)文章： 強(qiáng)化學(xué)習(xí) 知識(shí)遷移 深度學(xué)習(xí) 動(dòng)態(tài)運(yùn)動(dòng)基元 示教學(xué)習(xí) 對(duì)稱性 批量運(yùn)算

【摘要】：隨著科技不斷發(fā)展進(jìn)步,無(wú)人機(jī)的應(yīng)用范圍逐漸擴(kuò)大,這無(wú)形中對(duì)其智能化提出了更高的要求。未來(lái)的無(wú)人機(jī)應(yīng)該通過(guò)與環(huán)境交互自主完成障礙躲避、路徑規(guī)劃等常規(guī)任務(wù),而不是僅僅依賴于手動(dòng)編寫的程序。強(qiáng)化學(xué)習(xí)算法是實(shí)現(xiàn)自主化的一條可行技術(shù)路線,并已被用于游戲及其它一些人工較難掌控任務(wù)的學(xué)習(xí)中,然而,其在訓(xùn)練時(shí)較大的在線運(yùn)算壓力及較長(zhǎng)的交互過(guò)程阻礙了它更為廣泛的應(yīng)用,特別是在無(wú)人機(jī)領(lǐng)域。針對(duì)此種情形,本文以強(qiáng)化學(xué)習(xí)算法及其在無(wú)人機(jī)路徑規(guī)劃中的應(yīng)用為主要研究?jī)?nèi)容,嘗試在強(qiáng)化學(xué)習(xí)開始前賦予智能體特定的專家知識(shí)來(lái)提高學(xué)習(xí)算法的實(shí)用性。研究主要從以下兩方面展開:一是結(jié)合專家對(duì)任務(wù)的了解,通過(guò)引入批量遞歸最小二乘或構(gòu)造特殊基函數(shù)來(lái)降低對(duì)稱任務(wù)中學(xué)習(xí)的運(yùn)算復(fù)雜度;二是從遷移的角度出發(fā),重點(diǎn)研究在新任務(wù)強(qiáng)化學(xué)習(xí)中復(fù)用源任務(wù)示教軌跡所含專家知識(shí)的方法,并進(jìn)一步探索了示教知識(shí)遷移輔助的強(qiáng)化學(xué)習(xí)在無(wú)人機(jī)路徑規(guī)劃中的應(yīng)用。本文的主要研究工作和貢獻(xiàn)歸納如下:1、系統(tǒng)綜述了強(qiáng)化學(xué)習(xí)算法及其應(yīng)用現(xiàn)狀,著重介紹了引入專家知識(shí)以彌補(bǔ)其白板學(xué)習(xí)盲目性的研究,特別是與遷移算法相結(jié)合的部分;總結(jié)了遷移在強(qiáng)化學(xué)習(xí)中應(yīng)用的難點(diǎn),并提出從簡(jiǎn)單源任務(wù)的示教軌跡中挖掘并遷移知識(shí)到新任務(wù)中加速?gòu)?qiáng)化學(xué)習(xí)的框架。2、針對(duì)在Actor-Critic結(jié)構(gòu)強(qiáng)化學(xué)習(xí)算法中智能體用最小二乘法估計(jì)自然梯度的運(yùn)算量是估計(jì)普通梯度數(shù)倍的問(wèn)題,本文提出利用批量遞歸的思想來(lái)有效降低智能體在線運(yùn)算壓力。強(qiáng)化學(xué)習(xí)過(guò)程中,智能體可以在交互數(shù)據(jù)達(dá)到專家設(shè)定的數(shù)量之后再用遞歸最小二乘法估計(jì)自然梯度,從而明顯減少了梯度估計(jì)次數(shù);與此同時(shí),由于每次梯度估計(jì)更為準(zhǔn)確,智能體可以適當(dāng)增大策略參數(shù)更新步長(zhǎng)以保證算法收斂速度不受明顯影響。總之,批量遞歸使得智能體能夠在可接受的在線運(yùn)算壓力下靈活處理交互數(shù)據(jù)。3、針對(duì)狀態(tài)動(dòng)作空間存在對(duì)稱性的任務(wù),本文提出一種能夠近似對(duì)稱狀態(tài)值函數(shù)及策略的特殊基函數(shù)。專家在構(gòu)造基函數(shù)時(shí),同時(shí)考慮中心點(diǎn)及其對(duì)稱位置信息從而使基函數(shù)的值在對(duì)稱位置自然相等,進(jìn)而使得狀態(tài)值函數(shù)在對(duì)稱狀態(tài)也相等。然而,由于特殊基函數(shù)數(shù)量與常規(guī)基函數(shù)相比較少,強(qiáng)化學(xué)習(xí)速度明顯加快且運(yùn)算壓力顯著降低。4、由于源任務(wù)示教軌跡數(shù)量有限且單個(gè)軌跡所含數(shù)據(jù)較多,用機(jī)器學(xué)習(xí)分類較難,本文提出結(jié)合動(dòng)態(tài)運(yùn)動(dòng)基元與卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類的方法。算法首先將示教軌跡視作獨(dú)立的多維時(shí)間序列并用不同動(dòng)態(tài)運(yùn)動(dòng)基元的參數(shù)依次作為各個(gè)維度的表征;之后,用改造的卷積神經(jīng)網(wǎng)絡(luò)發(fā)掘基元參數(shù)序列的結(jié)構(gòu)變化信息進(jìn)行分類;最后,綜合各維度分類情況以確定軌跡類別。5、針對(duì)專家較易示教簡(jiǎn)單任務(wù)而強(qiáng)化學(xué)習(xí)適于解決較難問(wèn)題的情況,本文提出多種在較難任務(wù)強(qiáng)化學(xué)習(xí)中復(fù)用與之相關(guān)源任務(wù)示教軌跡所含專家知識(shí)的方法。本文嘗試從多個(gè)角度挖掘示教軌跡所含專家知識(shí),并經(jīng)由智能體空間或任務(wù)間關(guān)系映射遷移到新任務(wù)中,通過(guò)引導(dǎo)學(xué)習(xí)的探索過(guò)程、鼓勵(lì)訪問(wèn)某些狀態(tài)或直接作為選擇動(dòng)作的初始策略等方式加快新任務(wù)的學(xué)習(xí)速度。6、為在無(wú)人機(jī)路徑規(guī)劃中應(yīng)用強(qiáng)化學(xué)習(xí),本文提出用重構(gòu)的示教軌跡來(lái)引導(dǎo)智能體探索的方法。專家首先示教多個(gè)參數(shù)已知的任務(wù)從而賦予智能體多種避障技能;當(dāng)遇到相似情形時(shí),智能體可通過(guò)任務(wù)間的構(gòu)造關(guān)系泛化出新的避障軌跡;最后,依照推薦軌跡次序構(gòu)造出勢(shì)函數(shù)并用Q學(xué)習(xí)訓(xùn)練得到較好策略。算法減少了智能體學(xué)習(xí)失敗的次數(shù),驗(yàn)證了強(qiáng)化學(xué)習(xí)在無(wú)人機(jī)領(lǐng)域應(yīng)用的可行性。
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2017
【分類號(hào)】：V279;TP18

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 辛健成;美國(guó)海軍無(wú)人機(jī)發(fā)展歷程[J];機(jī)器人技術(shù)與應(yīng)用;2000年05期

2 時(shí)兆峰;以色列組建專門的無(wú)人機(jī)管理部門[J];飛航導(dǎo)彈;2001年10期

3 徐文;俄羅斯的無(wú)人機(jī)系統(tǒng)——格蘭特[J];飛航導(dǎo)彈;2003年07期

4 何一波;各國(guó)使用的主要輕型無(wú)人機(jī)[J];飛航導(dǎo)彈;2003年11期

5 馬曉平;系統(tǒng)工程學(xué)在無(wú)人機(jī)研制中的應(yīng)用[J];航空科學(xué)技術(shù);2003年04期

6 柯邊;“影子200”戰(zhàn)術(shù)無(wú)人機(jī)[J];航天電子對(duì)抗;2003年06期

7 溫羨嶠,李英;從美國(guó)無(wú)人機(jī)的發(fā)展來(lái)看無(wú)人機(jī)在未來(lái)戰(zhàn)爭(zhēng)中的應(yīng)用前景[J];現(xiàn)代防御技術(shù);2003年05期

8 王永壽;日本無(wú)人機(jī)的研究開發(fā)現(xiàn)狀與動(dòng)向[J];飛航導(dǎo)彈;2003年08期

9 袁剛輝;徐志紅;;不斷壯大的俄羅斯無(wú)人機(jī)家族[J];現(xiàn)代兵器;2003年02期

10 徐文;俄羅斯無(wú)人機(jī)的發(fā)展現(xiàn)狀[J];飛航導(dǎo)彈;2004年02期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 王林;張慶杰;朱華勇;沈林成;;遠(yuǎn)程異地多無(wú)人機(jī)系統(tǒng)控制權(quán)切換技術(shù)研究[A];2009中國(guó)控制與決策會(huì)議論文集（3）[C];2009年

2 譚健美;張琚;閆娟;;信息無(wú)人機(jī)系統(tǒng)——無(wú)人機(jī)發(fā)展史上新的里程碑[A];第二屆中國(guó)航空學(xué)會(huì)青年科技論壇文集[C];2006年

3 黃愛鳳;鄧克緒;;民用無(wú)人機(jī)發(fā)展現(xiàn)狀及關(guān)鍵技術(shù)[A];第九屆長(zhǎng)三角科技論壇——航空航天科技創(chuàng)新與長(zhǎng)三角經(jīng)濟(jì)轉(zhuǎn)型發(fā)展分論壇論文集[C];2012年

4 劉長(zhǎng)亮;;無(wú)人機(jī)發(fā)動(dòng)機(jī)氣道開度自適應(yīng)機(jī)構(gòu)的設(shè)計(jì)與實(shí)現(xiàn)[A];2009年中國(guó)智能自動(dòng)化會(huì)議論文集（第三分冊(cè)）[C];2009年

5 丁霖;;無(wú)人機(jī)系統(tǒng)人機(jī)交互界面淺析[A];探索 創(chuàng)新 交流（第4集）——第四屆中國(guó)航空學(xué)會(huì)青年科技論壇文集[C];2010年

6 劉澤坤;呂繼淮;;艦載無(wú)人機(jī)系統(tǒng)的環(huán)境適應(yīng)性[A];人—機(jī)—環(huán)境系統(tǒng)工程創(chuàng)立20周年紀(jì)念大會(huì)暨第五屆全國(guó)人—機(jī)—環(huán)境系統(tǒng)工程學(xué)術(shù)會(huì)議論文集[C];2001年

7 葉烽;宋祖勛;;無(wú)人機(jī)系統(tǒng)電磁兼容性測(cè)試研究[A];第十四屆全國(guó)電磁兼容學(xué)術(shù)會(huì)議論文集[C];2004年

8 易當(dāng)祥;呂國(guó)志;沈玲玲;;多級(jí)路況下車載無(wú)人機(jī)疲勞載荷仿真[A];第十二屆全國(guó)疲勞與斷裂學(xué)術(shù)會(huì)議論文集[C];2004年

9 錢正祥;金繼才;楊鷺怡;;未來(lái)局部戰(zhàn)爭(zhēng)中反無(wú)人機(jī)作戰(zhàn)對(duì)策研究[A];探索創(chuàng)新交流－－中國(guó)航空學(xué)會(huì)青年科技論壇文集[C];2004年

10 高鵬騏;晏磊;趙紅穎;何定洲;;無(wú)人機(jī)遙感控制平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[A];第十五屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2005年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 洪山;法國(guó)、德國(guó)和西班牙簽約共同研發(fā)三國(guó)無(wú)人機(jī)系統(tǒng)[N];中國(guó)航空?qǐng)?bào);2007年

2 崔璽康;對(duì)抗無(wú)人機(jī)所面臨的新挑戰(zhàn)[N];中國(guó)航空?qǐng)?bào);2007年

3 林英;無(wú)人機(jī)將進(jìn)入現(xiàn)代化農(nóng)業(yè)領(lǐng)域[N];光明日?qǐng)?bào);2007年

4 本報(bào)記者 陳永杰　馬佳;中國(guó)無(wú)人機(jī)亮相：戰(zhàn)爭(zhēng)“零傷亡”將實(shí)現(xiàn)[N];北京科技報(bào);2008年

5 祖茜楓;“綜合者”：攜帶小導(dǎo)彈的小無(wú)人機(jī)[N];中國(guó)國(guó)防報(bào);2008年

6 王磊;印度期望打造強(qiáng)大無(wú)人機(jī)部隊(duì)[N];學(xué)習(xí)時(shí)報(bào);2009年

7 李荔;無(wú)人機(jī)“俯瞰”黃河災(zāi)情[N];北京科技報(bào);2011年

8 本報(bào)記者 宋斌斌;我國(guó)無(wú)人機(jī)應(yīng)用高端化趨勢(shì)明顯[N];中國(guó)工業(yè)報(bào);2011年

9 吳飛;反恐十年無(wú)人機(jī)扶搖直上[N];中國(guó)航空?qǐng)?bào);2011年

10 司古;美無(wú)人機(jī)遭神秘病毒入侵[N];國(guó)防時(shí)報(bào);2011年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 劉洋;動(dòng)態(tài)環(huán)境中的無(wú)人機(jī)路徑規(guī)劃研究[D];西北工業(yè)大學(xué);2015年

2 高九州;無(wú)人機(jī)自主著陸控制[D];中國(guó)科學(xué)院研究生院(長(zhǎng)春光學(xué)精密機(jī)械與物理研究所);2016年

3 楊永明;無(wú)人機(jī)遙感系統(tǒng)數(shù)據(jù)獲取與處理關(guān)鍵技術(shù)研究[D];昆明理工大學(xué);2016年

4 孫小雷;基于多階段航跡預(yù)測(cè)的無(wú)人機(jī)任務(wù)規(guī)劃方法研究[D];哈爾濱工業(yè)大學(xué);2015年

5 張艷超;農(nóng)田信息低空遙感中圖像采集與處理的關(guān)鍵技術(shù)研究[D];浙江大學(xué);2016年

6 王剛;一種螺旋槳?jiǎng)恿ε淦降男⌒碗妱?dòng)無(wú)尾無(wú)人機(jī)研究[D];西北工業(yè)大學(xué);2016年

7 張潮;神經(jīng)智能控制在小型快遞無(wú)人機(jī)系統(tǒng)中的研究與應(yīng)用[D];北京科技大學(xué);2017年

8 李辰;面向四旋翼無(wú)人機(jī)的非線性控制方法與實(shí)現(xiàn)[D];浙江大學(xué);2017年

9 徐博;植保無(wú)人機(jī)航線規(guī)劃方法研究[D];中國(guó)農(nóng)業(yè)大學(xué);2017年

10 王國(guó)芳;專家知識(shí)輔助的強(qiáng)化學(xué)習(xí)研究及其在無(wú)人機(jī)路徑規(guī)劃中的應(yīng)用[D];浙江大學(xué);2017年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 趙敏;分布式多類型無(wú)人機(jī)協(xié)同任務(wù)分配研究及仿真[D];南京理工大學(xué);2009年

2 劉志花;無(wú)人機(jī)故障預(yù)測(cè)與健康管理技術(shù)研究[D];北京化工大學(xué);2010年

3 劉愛兵;可變形無(wú)人機(jī)設(shè)計(jì)[D];南京航空航天大學(xué);2009年

4 易姝姝;無(wú)人機(jī)飛行場(chǎng)景及數(shù)據(jù)的可視化仿真與實(shí)現(xiàn)[D];電子科技大學(xué);2010年

5 張佳璐;無(wú)人機(jī)項(xiàng)目綜合評(píng)價(jià)研究[D];北京郵電大學(xué);2011年

6 趙志鴻;某型無(wú)人機(jī)雙發(fā)火箭助推發(fā)射動(dòng)力學(xué)建模與仿真研究[D];南京理工大學(xué);2007年

7 李建華;某無(wú)人機(jī)發(fā)射系統(tǒng)技術(shù)研究[D];南京理工大學(xué);2008年

8 戴世通;無(wú)人機(jī)飛行可視化仿真系統(tǒng)設(shè)計(jì)[D];西安理工大學(xué);2008年

9 曹攀峰;敵對(duì)與非敵對(duì)環(huán)境下無(wú)人機(jī)群的協(xié)同搜索路徑與策略研究[D];復(fù)旦大學(xué);2010年

10 張錫憲;無(wú)人機(jī)測(cè)控中數(shù)據(jù)傳輸系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2009年

，

本文編號(hào)：1298194