【摘要】：強(qiáng)化學(xué)習(xí)在機(jī)器人視覺伺服控制中的應(yīng)用一直都是一個(gè)極具挑戰(zhàn)性的課題。為了構(gòu)建一套基于深度強(qiáng)化學(xué)習(xí)算法的視覺伺服控制系統(tǒng),本文從兩方面展開工作:一方面是強(qiáng)化學(xué)習(xí)在機(jī)器人控制系統(tǒng)中的建模方法,另一方面是提升強(qiáng)化學(xué)習(xí)模型泛化性能的工程化方法。首先,本文從伺服控制建模的角度出發(fā),討論了強(qiáng)化學(xué)習(xí)的基本算法框架。一般而言,基于模型的方式進(jìn)行機(jī)器人控制是強(qiáng)化學(xué)習(xí)首選方法,這種方法先經(jīng)過環(huán)境模型推斷獲取實(shí)際環(huán)境的參數(shù)化形式,然后利用這個(gè)參數(shù)化模型進(jìn)行策略優(yōu)化。因此這種方法依賴于人工建模,可拓展性不高。為此,本文介紹了一種不依賴于模型而且具備異策略學(xué)習(xí)能力的策略引導(dǎo)算法。這種算法采用重要性采樣的方式,不僅能夠在訓(xùn)練過程中引入外部示教數(shù)據(jù),而且能夠通過歷史數(shù)據(jù)重采樣的方式,提升數(shù)據(jù)利用效率。此外,策略引導(dǎo)算法在實(shí)現(xiàn)策略引導(dǎo)過程中能夠結(jié)合逆向強(qiáng)化學(xué)習(xí),對環(huán)境模型進(jìn)行估計(jì)。在這種算法框架下,逆向強(qiáng)化學(xué)習(xí)作為引入人類知識的途徑,是一種重要的強(qiáng)化學(xué)習(xí)方法。因此本文接下來探討了具有非確定性策略模型以及非線性回報(bào)值函數(shù)結(jié)構(gòu)的最大熵深度逆向強(qiáng)化學(xué)習(xí)方法。這種方法增加了強(qiáng)化學(xué)習(xí)模型的表征能力,能夠完成復(fù)雜的視覺伺服控制任務(wù)。通過引導(dǎo)策略算法和逆向強(qiáng)化學(xué)習(xí)的結(jié)合,雖然能夠表征復(fù)雜問題,但是因?yàn)橐肓撕芏喾蔷�性結(jié)構(gòu),所以模型訓(xùn)練變得很困難。因此,本文接下來介紹了強(qiáng)化學(xué)習(xí)的工程優(yōu)化方法。首先,為了降低視覺伺服應(yīng)用中圖像的高維度影響,文中采用了遷移的卷積網(wǎng)絡(luò)進(jìn)行狀態(tài)壓縮和特征提取。然后,為了減少強(qiáng)化學(xué)習(xí)訓(xùn)練樣本,文中介紹了仿真環(huán)境進(jìn)行模型預(yù)訓(xùn)練的方法,這種方法中利用域隨機(jī)的方式擴(kuò)充訓(xùn)練樣本,同時(shí)提升強(qiáng)化學(xué)習(xí)模型的泛化性能。最后,完成視覺模型遷移和決策模型的預(yù)訓(xùn)練后,利用真實(shí)的示教數(shù)據(jù)對模型進(jìn)行微調(diào),可以獲得較好的實(shí)驗(yàn)效果。最后,在上述理論指導(dǎo)下,設(shè)計(jì)了機(jī)器人視覺伺服控制的強(qiáng)化學(xué)習(xí)系統(tǒng)。并使用ROS搭建了針對Jetson TX1和UR5機(jī)器人的學(xué)習(xí)及控制軟件。在這套系統(tǒng)上完成機(jī)械臂伸手實(shí)驗(yàn)以后,可以發(fā)現(xiàn)基于視覺伺服的強(qiáng)化學(xué)習(xí)方法能夠成功完成復(fù)雜的視覺任務(wù),而且有很好的適應(yīng)能力。
【圖文】：

通過目標(biāo)檢測過程獲取觀察目標(biāo)的相對位置信息，這些信息包括目標(biāo)的類別、輪廓以及距離；然后對不同目標(biāo)進(jìn)行姿態(tài)辨識，辨識過程一般通過模式匹配的方式實(shí)現(xiàn)，例如點(diǎn)云匹配、回歸預(yù)測；最后，，利用目標(biāo)檢測和位姿辨識獲得的信息，結(jié)合實(shí)際控制系統(tǒng)，規(guī)劃機(jī)械臂的執(zhí)行路徑，即運(yùn)動規(guī)劃。整個(gè)過程不斷迭代最后完成既定任務(wù)。由于建模精度和傳感器噪聲的影響這種方法對整個(gè)控制系統(tǒng)采用的模型有很大的依賴性，因此算法的精度和效率直接與建模的精度相關(guān)。正因?yàn)檫@種依賴性，這種方法在解決實(shí)際問題的過程中，其工作范圍和適應(yīng)能力收到了很大限制。在這種背景下，基于數(shù)據(jù)驅(qū)動的方法成為了一種可替代的視覺伺服解決方案。這種方法并不僅不依賴人工建模，而且對傳感器帶來的系統(tǒng)誤差以及外界條件擾動帶來的隨機(jī)誤差也有很好過濾作用。因?yàn)檫@類方法通常采用機(jī)器學(xué)習(xí)的方式，利用人工示教數(shù)據(jù)訓(xùn)練感知和控制模型，因此這種方式也被稱為基于經(jīng)驗(yàn)的方法或者學(xué)習(xí)方法。在實(shí)踐中也有很多實(shí)例證明，通過訓(xùn)練得到的模型具有很強(qiáng)的魯棒性和自適應(yīng)性[6]。其中強(qiáng)化學(xué)習(xí)(Reinforcement Learning, RL)是一種重要的機(jī)器人學(xué)習(xí)算法，這種算法在最近幾年出現(xiàn)了很多研究成果。

前 言流分揀、無人機(jī)等。而在機(jī)器人的應(yīng)用中，機(jī)器人學(xué)習(xí)這一領(lǐng)域開始領(lǐng)域研究者和產(chǎn)業(yè)工作者的關(guān)注，例如美國加州伯克利大學(xué)的 BAIR[，PieterAbbeel 和 Sergey Levine 等人在機(jī)器人學(xué)習(xí)控制方面做了很多如在中，F(xiàn)inn 等人[13]利用 Meta-Learning 通過少量的樣本讓機(jī)器人學(xué)品放到對應(yīng)顏色的盤子內(nèi)。Levine[14]則更進(jìn)一步提出了一種端到端的方法，用于控制 PR2 機(jī)器人抓取不同物品。這些案例表明基于學(xué)習(xí)的雜任務(wù)處理上有很好的綜合性能，能夠完成很多基于模型的方法所不問題。而且也展示了強(qiáng)化學(xué)習(xí)作為一種數(shù)據(jù)驅(qū)動方法是一種很有發(fā)展覺伺服控制方法。
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TP18;TP242.62

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 吳作君;劉國華;;自適應(yīng)環(huán)境的機(jī)器人視覺伺服控制方法[J];計(jì)算機(jī)測量與控制;2016年12期

2 李慶民;;機(jī)器人視覺伺服控制應(yīng)用研究[J];自動化應(yīng)用;2017年05期

3 平振宇;王付兵;黃榮昌;;基于模糊控制的機(jī)器人視覺伺服控制[J];科技資訊;2015年35期

4 辛菁;劉丁;楊延西;;基于圖像的機(jī)器人視覺伺服免疫控制[J];儀器儀表學(xué)報(bào);2008年11期

5 劉洋;倪受東;袁祖強(qiáng);;機(jī)器人視覺伺服仿真研究[J];機(jī)床與液壓;2008年04期

6 段彥婷;蔡陳生;王鵬飛;王寧;陳平;;機(jī)器人視覺伺服技術(shù)發(fā)展概況綜述[J];伺服控制;2007年06期

7 孫洪淋;孫煒;石玉秋;廖繼旺;;基于模糊控制的機(jī)器人視覺伺服系統(tǒng)[J];科學(xué)技術(shù)與工程;2006年17期

8 鐘金明,徐剛,張海波;機(jī)器人視覺伺服系統(tǒng)的研究與發(fā)展[J];現(xiàn)代制造工程;2005年08期

9 王麟琨,徐德,譚民;機(jī)器人視覺伺服研究進(jìn)展[J];機(jī)器人;2004年03期

10 林靖,陳輝堂,王月娟,蔣平;機(jī)器人視覺伺服系統(tǒng)的研究[J];控制理論與應(yīng)用;2000年04期

相關(guān)會議論文 前4條

1 劉曉玉;方康玲;;基于模糊行為和神經(jīng)網(wǎng)絡(luò)的機(jī)器人視覺伺服控制[A];第25屆中國控制會議論文集（下冊）[C];2006年

2 唐潤宏;陳文楷;余躍慶;陳煒;呂雁;;基于圖像的機(jī)器人視覺伺服FCMAC控制研究[A];先進(jìn)制造技術(shù)論壇暨第五屆制造業(yè)自動化與信息化技術(shù)交流會論文集[C];2006年

3 郝婷;孟正大;;機(jī)器人在復(fù)雜環(huán)境下的火炬識別[A];2005全國自動化新技術(shù)學(xué)術(shù)交流會論文集（二）[C];2005年

4 郝婷;孟正大;;機(jī)器人在復(fù)雜環(huán)境下的火炬識別[A];2005年全國自動化新技術(shù)學(xué)術(shù)交流會論文集[C];2005年

相關(guān)博士學(xué)位論文 前9條

1 楊延西;基于圖像的智能機(jī)器人視覺伺服系統(tǒng)[D];西安理工大學(xué);2003年

2 劉涵;基于位置的機(jī)器人視覺伺服控制的研究[D];西安理工大學(xué);2003年

3 王社陽;機(jī)器人視覺伺服系統(tǒng)的若干問題研究[D];哈爾濱工業(yè)大學(xué);2006年

4 薛艷敏;智能方法在機(jī)器人視覺伺服中的應(yīng)用研究[D];西安理工大學(xué);2009年

5 宗曉萍;智能機(jī)器人視覺伺服系統(tǒng)研究[D];河北大學(xué);2007年

6 趙棟杰;對靶噴霧機(jī)器人視覺伺服控制系統(tǒng)研究[D];中國農(nóng)業(yè)大學(xué);2017年

7 張曉暉;機(jī)器人視覺伺服及網(wǎng)絡(luò)控制研究[D];西安理工大學(xué);2009年

8 王婷婷;帶有約束的機(jī)器人視覺伺服控制方法的研究[D];江南大學(xué);2012年

9 金梅;基于深度無關(guān)立體視覺模型的機(jī)器人控制系統(tǒng)研究[D];燕山大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 黃志峰;深度逆向強(qiáng)化學(xué)習(xí)在機(jī)器人視覺伺服控制中的應(yīng)用[D];上海交通大學(xué);2018年

2 王冠龍;柔性裝配機(jī)器人視覺伺服控制系統(tǒng)設(shè)計(jì)[D];寧夏大學(xué);2019年

3 孫濤;服務(wù)機(jī)器人視覺伺服控制方法研究[D];華中科技大學(xué);2018年

4 朱振偉;關(guān)節(jié)機(jī)器人視覺伺服控制系統(tǒng)研究[D];鄭州大學(xué);2009年

5 孫冬雪;基于模型預(yù)測方法的機(jī)器人視覺伺服控制研究[D];長春工業(yè)大學(xué);2018年

6 董鵬飛;基于位置的工業(yè)機(jī)器人視覺伺服控制系統(tǒng)研究[D];華南理工大學(xué);2015年

7 李萍;基于網(wǎng)絡(luò)的機(jī)器人視覺伺服控制研究[D];河南科技大學(xué);2006年

8 石玉秋;神經(jīng)網(wǎng)絡(luò)技術(shù)在機(jī)器人視覺伺服控制中的應(yīng)用[D];湖南大學(xué);2006年

9 淮小利;機(jī)器人視覺伺服控制研究[D];河北大學(xué);2008年

10 許雅田;機(jī)器人視覺伺服半實(shí)物仿真研究[D];河北大學(xué);2010年

本文編號：2658158