當(dāng)前機器人為實現(xiàn)精細(xì)操作都搭載各種各樣的感知系統(tǒng)與外界環(huán)境進(jìn)行交互。若各感知系統(tǒng)之間相互獨立,將會忽略各模態(tài)感知系統(tǒng)之間的信息關(guān)聯(lián)性,導(dǎo)致信息利用不徹底,造成信息的浪費。完成同一任務(wù),將會更加的復(fù)雜,最終降低了機器人的智能性。本文以ZED相機和薄膜壓力傳感器為中心分別搭建視覺感知系統(tǒng)和觸覺感知系統(tǒng)兩個子系統(tǒng),采用視-觸覺融合的理論,研究機器人抓取任務(wù)中的柔性體抓取問題和抓取狀態(tài)的滑覺檢測問題。在柔性體抓取方面,視覺感知系統(tǒng)和觸覺感知系統(tǒng)之間采用串行操作。首先視覺感知系統(tǒng)將使用MATLAB標(biāo)定工具箱進(jìn)行雙目相機的標(biāo)定和機械臂標(biāo)定。標(biāo)定完成后,不采用傳統(tǒng)的SIFT算法和早期的深度學(xué)習(xí)算法,而是使用檢測效率更高的YOLOv3算法對ZED相機內(nèi)置的目標(biāo)檢測模塊進(jìn)行開發(fā),并結(jié)合ZED相機的深度信息處理模塊進(jìn)行目標(biāo)的三維坐標(biāo)解算,完成ZED相機的二次開發(fā)。得到物體的坐標(biāo)后,觸覺感知系統(tǒng)將調(diào)用預(yù)采集的觸覺信息庫,輸出合適的握力,控制機械爪進(jìn)行抓握。在滑覺檢測方面,視覺感知系統(tǒng)和觸覺感知系統(tǒng)之間采用并行操作。抓取過程與基于視-觸覺的柔性體抓取過程一致。在滑覺檢測部分,不單獨依靠某一系統(tǒng)進(jìn)行判斷,而是綜... 

【文章來源】：中國科學(xué)院大學(xué)(中國科學(xué)院大學(xué)人工智能學(xué)院)北京市

【文章頁數(shù)】：94 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖１．２機械臂開門動作實驗示意圖Ｍ??

面向機器人抓取任務(wù)的視－觸覺感知融合系統(tǒng)研宄??圖１．３瑞典皇家理工學(xué)院機器人實驗平臺丨蚓??Ｆｉｇｕｒｅ?１．３?Ｔｈｅ?ｒｏｂｏｔ?ｅｘｐｅｒｉｍｅｎｔａｌ?ｐｌａｔｆｏｒｍ?ｏｆ?Ｒｏｙａｌ?Ｉｎｓｔｉｔｕｔｅ?ｏｆ?Ｔｅｃｈｎｏｌｏｇｙ?，４４Ｊ??２０１４年，Ｇｕｌｅｒ等人通過視－觸覺研究容器內(nèi)部乘裝物體的類別（米、水），??通過觸覺傳感器獲取的觸覺信息和相機觀察到的視覺信息聯(lián)合判定物體類別。由??于需要事先建立物體３Ｄ模型，實際應(yīng)用有限１４５］。??２０１５年，Ｓｔｅｉｎｂａｃｈ等人利用視覺傳感器和觸覺傳感器聯(lián)合設(shè)計了一種圖像??－觸覺傳感器，主要是利用可變性材料的變形特點，由視覺測量變形材料的形變??來估計力的大�。郏矗叮荨�??２０１７年，福州大學(xué)的盧丹靈在研究機械臂抓取問題時，通過背景相減的方??法來給出目標(biāo)的三維坐標(biāo)，并使用Ｓｏｂｅｌ算子對物體邊緣進(jìn)行方向估計，最終得??出機械臂抓取的主要方位信息。實驗過程中通過設(shè)定電機力矩的閾值來判定抓取??狀態(tài)［４７］。??２０１７年，Ｊ?Ｇｕｏ等人研制出一種視－觸覺融合的機械手套，該手套使用主成??分分析（ＰＣＡ）算法建立手傳感器分布模型。該手套結(jié)合視覺輔助和分布在拇指、??食指和中指的三個傳感器可以有效地估計抓取動作。通過自適應(yīng)壓力閾值對物體??進(jìn)行分類。實驗結(jié)果顯示，基于觸覺和視覺傳感器融合方法分類的準(zhǔn)確率達(dá)到??９４％，比兩個感知系統(tǒng)單獨使用識別率提高１．６－１．７倍［４８】。??２０１８年，ＳＬｕｏ等人提出了一種基于觸覺和視覺的織物紋理識別算法一一深??度最大協(xié)方差分析。該算法利用深度神經(jīng)網(wǎng)絡(luò)對攝像機圖像和觸覺數(shù)據(jù)進(jìn)行學(xué)習(xí)。??為降低特征的維度和冗余性

第１章緒論??Ｊ視－觸覺柔性體抓＇??Ｍ?取實驗???＇ｉ?（?１?（?１?＾＾??國內(nèi)外研究進(jìn)展視－觸覺技術(shù)分析—深度學(xué)習(xí)算法選擇＆??１?■??１?Ｌ視－觸覺滑覺檢測??視覺技術(shù)分析?ｆ觸覺技術(shù)分析??＾??／?ｖ??／?????????ＺＥＤ相機ｊ?［薄膜壓力傳感器Ｙ??圖１．４論文組織結(jié)構(gòu)圖??Ｆｉｇｕｒｅ?１．４?Ｏｒｇａｎｉｚａｔｉｏｎ?ｃｈａｒｔ?ｏｆ?ｔｈｅ?ｐａｐｅｒ??本文第一章是緒論部分，首先介紹了視－觸覺融合感知系統(tǒng)的研宄背景和意??義，然后分別對視覺感知系統(tǒng)、觸覺感知系統(tǒng)、視－觸融合感知系統(tǒng)的國內(nèi)外研宄??現(xiàn)狀進(jìn)行了介紹。本課題使用視－觸覺融合感知的方法代替?zhèn)鹘y(tǒng)單一的視覺感知??系統(tǒng)和觸覺感知系統(tǒng)進(jìn)行抓取任務(wù)。??本文第二章將介紹視－觸覺感知系統(tǒng)的關(guān)鍵技術(shù)分析，主要介紹使用ＺＥＤ相??機和薄膜壓力傳感器搭建視－觸覺感知融合系統(tǒng)的相關(guān)技術(shù)原理。ＺＥＤ相機是視??覺感知系統(tǒng)獲取圖像信息的重要媒介，通過對ＺＥＤ相機的成像原理、等進(jìn)行分??析，可以對整個視覺感知系統(tǒng)進(jìn)行三維坐標(biāo)檢測的過程有著清晰的把控。薄膜壓??力傳感器是觸覺感知系統(tǒng)進(jìn)行觸覺測量的重要元器件，觸覺感知系統(tǒng)平臺是根據(jù)??薄膜壓力傳感器的壓力與電流變化的原理搭建。??本文第三章介紹視覺感知系統(tǒng)目標(biāo)檢測算法的選擇，包括自建數(shù)據(jù)集的類型??選擇與創(chuàng)建、深度學(xué)習(xí)算法的對比選擇，以及應(yīng)用選擇好的算法對ＺＥＤ相機進(jìn)??行二次開發(fā)的流程。通過對比?ＹＯＬＯ?（Ｙｏｕ?Ｏｎｌｙ?Ｌｏｏｋ?Ｏｎｃｅ）、ＳＳＤ?（Ｓｉｎｇｌｅ?Ｓｈｏｔ??ＭｕｌｔｉＢｏｘ?Ｄｅｔｅｃｔｏｒ）、Ｙ０Ｌ０ｖ３算法可以發(fā)現(xiàn)Ｙ０Ｌ０

【參考文獻(xiàn)】：
期刊論文
[1]電容式柔性觸覺傳感器設(shè)計[J]. 易藝,宋愛國,李會軍,冷明鑫,徐波.  傳感技術(shù)學(xué)報. 2019(08)
[2]基于雙目視覺的機械手識別、定位、抓取系統(tǒng)研究[J]. 陳立挺,聶曉根.  機電工程. 2019(08)
[3]協(xié)作機器人觸覺傳感裝置的設(shè)計與碰撞實驗[J]. 張秀麗,韓春燕.  北京交通大學(xué)學(xué)報. 2019(04)
[4]基于改進(jìn)型抓取質(zhì)量判斷網(wǎng)絡(luò)的機器人抓取研究[J]. 成超鵬,張瑩,牟清萍,張東波,薛亮.  電子測量與儀器學(xué)報. 2019(05)
[5]面向小型機器人的超大視場紅外立體視覺可行性分析[J]. 陳一超,劉秉琦,黃富瑜.  半導(dǎo)體光電. 2019(02)
[6]基于CNN-LSTM的機器人觸覺識別與自適應(yīng)抓取控制[J]. 惠文珊,李會軍,陳萌,宋愛國.  儀器儀表學(xué)報. 2019(01)
[7]基于視覺感知的海生物吸納式水下機器人目標(biāo)捕獲控制[J]. 周浩,姜述強,黃海,萬兆亮.  機器人. 2019(02)
[8]基于觸覺反饋和表面肌電信號的隨機時延夾持器遙操作方法[J]. 章華濤,吳常鋮,熊鵬文,宋愛國.  機器人. 2018(04)
[9]一種可感知三維力的新型柔性觸覺傳感器及滑覺識別算法研究[J]. 毛磊東,黃英,郭小輝,張陽陽,劉平.  傳感技術(shù)學(xué)報. 2018(06)
[10]基于視觸融合的機器人操作[J]. 王濤.  人工智能. 2018(03)

博士論文
[1]基于視/觸信息的巡視器地形感知方法研究[D]. 白成超.哈爾濱工業(yè)大學(xué) 2019
[2]基于深度學(xué)習(xí)的野外巡線系統(tǒng)圖像目標(biāo)檢測研究[D]. 王振華.中國地質(zhì)大學(xué)(北京) 2018
[3]可見光遙感圖像海面目標(biāo)自動檢測關(guān)鍵技術(shù)研究[D]. 徐芳.中國科學(xué)院大學(xué)(中國科學(xué)院長春光學(xué)精密機械與物理研究所) 2018
[4]自主移動機器人全向視覺系統(tǒng)研究[D]. 盧惠民.國防科學(xué)技術(shù)大學(xué) 2010

碩士論文
[1]智慧停車系統(tǒng)設(shè)計與應(yīng)用算法研究[D]. 韓朋.河南科技大學(xué) 2019
[2]基于Faster RCNN的目標(biāo)檢測系統(tǒng)[D]. 陳怡佳.哈爾濱理工大學(xué) 2019
[3]基于深度學(xué)習(xí)的小樣本圖像缺陷檢測方法研究[D]. 顧小東.哈爾濱工業(yè)大學(xué) 2019
[4]行車視頻中基于深度學(xué)習(xí)的目標(biāo)檢測[D]. 張芳慧.北京交通大學(xué) 2018
[5]番茄智能采摘機構(gòu)優(yōu)化設(shè)計及試驗研究[D]. 湯亞東.河南農(nóng)業(yè)大學(xué) 2018
[6]機器人抓取中視覺觸覺融合的技術(shù)研究[D]. 郭迎達(dá).北方工業(yè)大學(xué) 2018
[7]教室監(jiān)控視頻中人員異常行為檢測研究[D]. 劉冬寅.電子科技大學(xué) 2018
[8]基于雙目視覺的機械手定位抓取技術(shù)的研究[D]. 徐凱.浙江大學(xué) 2018
[9]基于視觸覺融合的機械手臂目標(biāo)抓取研究[D]. 盧丹靈.福州大學(xué) 2017
[10]機器人雙目視覺定位技術(shù)研究[D]. 林琳.西安電子科技大學(xué) 2009



本文編號：3362144