本文關鍵詞：基于深度相機的場景物體定位與抓取研究　出處：《南京大學》2017年碩士論文　論文類型：學位論文

  更多相關文章： RGB-D 深度攝像機 點云配準 物體抓取

【摘要】：近年來,深度攝像頭因其功能強大、成本相對較低、部署方便,在室內場景建模、機器人自動定位導航等領域得到廣泛使用。但是,在利用深度攝像機的深度視覺數(shù)據(jù)來驅動機械臂進行物體抓取方面,由于對精度和實時性有較高要求,現(xiàn)有方法較難滿足要求。本文對這一問題進行了系統(tǒng)研究,論文選題具有較強的理論意義和實用價值。本文提出了一種基于3D點云配準、深度攝像頭驅動的機械臂自動物體抓取方法。具體來講,本文結合RGB-D數(shù)據(jù)的相關特點,對基于視覺驅動的機械臂定位與抓取問題進行了綜述,梳理出當前機械臂領域的研究與應用現(xiàn)況。之后,本文給出了一種新的深度數(shù)據(jù)驅動的機械臂抓取算法框架,并將其分為區(qū)域分割、物體分類、點云配準以及機械臂驅動四個算法模塊,具體工作包括:1.預處理與3D抓取區(qū)域的標注:使用3D掃描儀對常見桌面級物體進行建模,并在3D點云模型上標注出物體的可抓取部位;之后采集物體的二維圖片,以訓練分類器;2.結合深度與顏色信息的物體篩選:利用深度攝像頭采集的深度信息對二維圖片進行區(qū)域分割,再利用預處理時生成的物體分類器進行分割后的區(qū)域進行分類,得到物體的二維候選區(qū)域;3.點云配準:利用深度信息和攝像機的內參生成點云數(shù)據(jù),進而利用生成的點云數(shù)據(jù)和掃描物體的點云數(shù)據(jù)進行點云配準,獲取空間的轉移矩陣,最終通過轉移矩陣將物體的可抓取部分映射回深度相機的三維空間;4.視覺驅動的機械臂抓取:利用棋盤標定來估算外參后,將相機空間預測的區(qū)域轉換到機械臂空間,從而驅動機械臂實施抓取任務。本實驗采集了五類常見的桌面級物體(瓶子、茶杯、易拉罐、茶壺和盒子),分別對其建模并利用提出的算法進行了測試,并利用杰卡德相似度作為評判標準。實驗結果表明,本文所提出的方法取得了良好的效果。
[Abstract]:In recent years, depth camera has been widely used in many fields such as indoor scene modeling, robot automatic positioning and navigation because of its powerful function, relatively low cost and convenient deployment. In the aspect of using depth vision data of depth camera to drive the robot arm to grab objects, there are high requirements for accuracy and real-time. The existing methods are difficult to meet the requirements. This paper makes a systematic study of this problem, the topic of this paper has strong theoretical significance and practical value. In this paper, a method based on 3D point cloud registration is proposed. Depth camera driven robotic arm automatic object capture method. Specifically, combining with the characteristics of RGB-D data, this paper summarizes the problem of robot arm location and capture based on visual drive. After combing out the current research and application status in the field of manipulator, this paper presents a new depth data-driven arm grab algorithm framework, and divides it into region segmentation and object classification. Point cloud registration and robot arm drive four algorithm modules, the specific work includes: 1. Preprocessing and 3D capture region tagging: using 3D scanner to model common desktop objects. At the same time, the grabable part of the object is marked out on the 3D point cloud model. Secondly, the two-dimensional images of the objects are collected to train the classifier. 2. Object selection based on depth and color information: using depth information collected by depth camera to segment two-dimensional images. Then, the object classifier generated by preprocessing is used to classify the segmented regions, and the candidate regions of the objects are obtained. 3. Point cloud registration: point cloud data are generated by using depth information and camera parameters, and then point cloud registration is carried out by using the generated point cloud data and the point cloud data of scanned objects, and the spatial transfer matrix is obtained. Finally, the grabable part of the object is mapped back to the 3D space of the depth camera through the transfer matrix. 4. Visual driven manipulator grab: after the outer parameters are estimated by the checkerboard calibration, the area of camera space prediction is converted to the manipulator space. In this experiment, five kinds of common desktop objects (bottles, teacups, cans, teapots and boxes) were collected, and their models were modeled and tested by using the proposed algorithm. The experimental results show that the proposed method has good results.
【學位授予單位】：南京大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP391.41

【相似文獻】

相關期刊論文 前10條

1 梁新合;宋志真;;改進的點云精確匹配技術[J];裝備制造技術;2008年03期

2 葉愛芬;龔聲蓉;王朝暉;劉純平;;基于隨機分布估計的點云密度提取[J];計算機工程;2009年04期

3 梁新合;梁晉;郭成;曹巨明;;法向約束的多幅點云數(shù)據(jù)融合算法[J];西安交通大學學報;2009年05期

4 孟凡文;吳祿慎;;用繼承與優(yōu)化算法精密拼接無序點云[J];光學精密工程;2009年04期

5 李海亮;鄧非;李剛;;攝影測量激光點云空洞修補[J];測繪科學;2010年05期

6 張晶;楊云生;豐少偉;;基于點云法矢變化的點云簡化方法研究[J];計算機與數(shù)字工程;2011年12期

7 李曉久;景曉寧;;基于非接觸式測量的人體點云簡化方法[J];紡織學報;2012年07期

8 高恩陽;鄭昊鴻;;點云數(shù)據(jù)濾波方法綜述[J];科技資訊;2012年33期

9 范然;金小剛;;大規(guī)模點云選擇及精簡[J];圖學學報;2013年03期

10 李偉;李旭東;趙慧潔;張穎;;基于姿態(tài)標準化的線特征點云提取方法[J];北京航空航天大學學報;2013年08期

相關會議論文 前10條

1 李文濤;韋群;楊海龍;;基于圖像的點云生成和預處理[A];2011年全國通信安全學術會議論文集[C];2011年

2 蔡來良;李儒;;點云數(shù)據(jù)處理算法與實現(xiàn)初步研究[A];第四屆“測繪科學前沿技術論壇”論文精選[C];2012年

3 馬國慶;陶萍萍;楊周旺;;點云空間曲線的微分信息計算及匹配方法[A];第四屆全國幾何設計與計算學術會議論文集[C];2009年

4 江倩殷;劉忠途;李熙瑩;;一種有效的點云精簡算法[A];第十五屆全國圖象圖形學學術會議論文集[C];2010年

5 解輝;張愛武;孟憲剛;;機載激光點云快速繪制方法[A];第二十五屆全國空間探測學術研討會摘要集[C];2012年

6 李凱;張愛武;;基于激光點云的糧倉儲糧數(shù)量測量方法[A];第二屆“測繪科學前沿技術論壇”論文精選[C];2010年

7 朱曉強;余燁;劉曉平;袁曉輝;Bill P.Buckles;;基于航拍圖像和LiDAR點云的城市道路提取[A];全國第19屆計算機技術與應用（CACIS）學術會議論文集（上冊）[C];2008年

8 劉虎;;基于線性八叉樹的點云簡化與特征提取研究[A];促進科技經濟結合，服務創(chuàng)新驅動發(fā)展——蚌埠市科協(xié)2012年度學術年會論文集[C];2012年

9 李濱;王佳;;基于點云的建筑測繪信息提取[A];第四屆“測繪科學前沿技術論壇”論文精選[C];2012年

10 楊雪春;;反求工程建模中點云切片技術研究[A];全國先進制造技術高層論壇暨第八屆制造業(yè)自動化與信息化技術研討會論文集[C];2009年

相關重要報紙文章 前2條

1 曹裕華 高化猛 江鴻賓;激光點云 亦真亦幻[N];解放軍報;2013年

2 中國工程院院士 劉先林;四維遠見的裝備創(chuàng)新[N];中國測繪報;2012年

相關博士學位論文 前10條

1 彭檢貴;融合點云與高分辨率影像的城區(qū)道路提取與表面重建研究[D];武漢大學;2012年

2 劉涌;基于連續(xù)序列自動快速拼接的全方位三維測量技術研究[D];西南交通大學;2013年

3 賴祖龍;基于LiDAR點云與影像的海岸線提取和地物分類研究[D];武漢大學;2013年

4 王瑞巖;計算機視覺中相機標定及點云配準技術研究[D];西安電子科技大學;2015年

5 段敏燕;機載激光雷達點云電力線三維重建方法研究[D];武漢大學;2015年

6 李艷紅;車載移動測量系統(tǒng)數(shù)據(jù)配準與分類識別關鍵技術研究[D];武漢大學;2014年

7 崔婷婷;結合車載點云和全景影像的建筑物立面重建[D];武漢大學;2015年

8 韓峰;基于點云信息的既有鐵路狀態(tài)檢測與評估技術研究[D];西南交通大學;2015年

9 金龍存;3D點云復雜曲面重構關鍵算法研究[D];上海大學;2012年

10 李揚彥;基于點云的三維重建與形變事件分析[D];中國科學院深圳先進技術研究院;2013年

相關碩士學位論文 前10條

1 龔碩然;基于Delaunay三角剖分的點云三維網格重構[D];河北大學;2015年

2 楊紅粉;頻域技術應用于點云配準研究[D];北京建筑大學;2015年

3 段紅娟;點云圖像交互式曲線骨架提取技術及其應用[D];西南交通大學;2015年

4 張永恒;散亂點云數(shù)據(jù)配準方法研究[D];長安大學;2015年

5 吳愛;面向特征擬合的點云簡化方法研究[D];中國地質大學(北京);2015年

6 薛廣順;基于立體視覺的牛體點云獲取方法研究與實現(xiàn)[D];西北農林科技大學;2015年

7 胡誠;精度約束下地表LiDAR點云抽稀方法研究[D];西南交通大學;2015年

8 余明;三維離散點云數(shù)據(jù)處理技術研究[D];南京理工大學;2015年

9 陳星宇;基于三維彩色點云的地形分類方法研究[D];南京理工大學;2015年

10 朱東方;基于復雜拓撲結構點云的曲線擬合研究與應用[D];山東大學;2015年

，

本文編號：1403730