面向機(jī)器人揀選的物體三維重建與定位抓取技術(shù)研究
發(fā)布時間:2022-01-26 01:16
隨著電子商業(yè)的高速發(fā)展,在物流倉儲行業(yè)中,小零件貨物的訂單數(shù)量日益增多,但它們的揀選往往需要大量工人手動進(jìn)行。因?yàn)槊刻爝M(jìn)入倉庫的新貨物種類數(shù)目多,外形多樣,并且倉庫貨架環(huán)境復(fù)雜,很難使用傳統(tǒng)的自動化分揀流水線,人工揀選更為穩(wěn)定和高效。但在人力成本升高和“機(jī)器人換人”的趨勢下,使用機(jī)器人完成物流揀選任務(wù)成為了新的研究熱點(diǎn)。一般情況下,機(jī)器人揀選首先需要在場景中識別出目標(biāo)物體,并獲取目標(biāo)物體的六自由度位姿,最后控制機(jī)器人進(jìn)行抓取。但由于倉庫中貨物流通速度快,揀選機(jī)器人的準(zhǔn)備時間短,所以在物體識別與定位上主要有三個難點(diǎn):需要在短時間內(nèi),獲取新入庫物體的形狀、顏色等特征;需要在短時間內(nèi),自動生成并標(biāo)注新物體的數(shù)據(jù)集,以便于訓(xùn)練物體檢測算法;需要在復(fù)雜場景下,實(shí)現(xiàn)對多種物體的識別與位姿估計,并降低算法復(fù)雜度和訓(xùn)練時間。因此,本文提出了一種面向機(jī)器人揀選的物體特征信息獲取與位姿估計方法,并搭建了機(jī)器人抓取系統(tǒng),主要內(nèi)容包含以下幾個方面:1)針對快速獲取新入庫物體的特征信息問題,本文搭建了一套物體快速三維重建系統(tǒng)。該系統(tǒng)使用RGBD相機(jī),通過二維碼計算相機(jī)初始位姿,使用點(diǎn)云-模型的配準(zhǔn)方法優(yōu)化相機(jī)位...
【文章來源】:上海交通大學(xué)上海市 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:86 頁
【學(xué)位級別】:碩士
【部分圖文】:
物流倉庫環(huán)境示意圖
肺锪韃摯庵杏?2.5萬名工人專門負(fù)責(zé)揀選工作,工作時間和強(qiáng)度一直居高不下。為了實(shí)現(xiàn)物流揀選自動化,一些大型物流公司舉辦了各種機(jī)器人比賽。2015年到2017年,亞馬遜公司連續(xù)三年舉辦“亞馬遜機(jī)器人挑戰(zhàn)賽(AmazonRoboticChallenge)”,比賽吸引了國內(nèi)外該領(lǐng)域的多家頂級研究團(tuán)隊,如MIT&Princeton、新加坡南洋理工大學(xué)、荷蘭代爾夫特大學(xué)、德國波恩大學(xué)、日本安川機(jī)器人等等。在國內(nèi),2018年,京東公司舉辦了“京東機(jī)器人挑戰(zhàn)賽(JRC2018)”,探索移動機(jī)器人在物流揀選中的可行方案,同樣吸引了國內(nèi)外大量研究團(tuán)隊參加。圖1-2(a)Kiva機(jī)器人將貨柜移至人工揀選工位前,(b)機(jī)器人揀選Fig.1-2(a)Kivarobottakescontainertomanualpickingstation,(b)Roboticsorting在物流行業(yè)報告和物流揀選機(jī)器人比賽的總結(jié)中,可以得到小零件貨物的揀選流程和要求。由于物流倉庫每天會進(jìn)入較多新種類物體,機(jī)器人需要在新物體錄入倉儲系統(tǒng)的短時間內(nèi),獲取新物體的外形特征信息,并能夠?qū)W習(xí)識別該物體的特征。在得到訂單后,機(jī)器人需要在限定時間內(nèi)自動從物流貨架中識別、揀選
??泳醮?釁髦鸞コ晌?趨勢。2011年,WillowGarage公司在開源操作系統(tǒng)ROS(RobotOperatingSystem)的基礎(chǔ)上開發(fā)了一套完整的移動抓取機(jī)器人PR2。PR2機(jī)器人主要由移動底座、兩條7自由度機(jī)械臂、和頭部的各種視覺傳感器組成(包括激光雷達(dá)、雙目相機(jī)、深度相機(jī)Kinect)。由于ROS系統(tǒng)的模塊性很強(qiáng),PR2可以調(diào)用各種功能組件完成復(fù)雜任務(wù)。HsiaoK等人[3][4][5]使用PR2完成了物體識別與位姿獲娶抓取點(diǎn)選擇等多種復(fù)雜任務(wù),但他們在論文中提到PR2使用的是二指夾爪末端,所以在抓取物體時需要考慮力閉合和抓取空間的多種限制。圖1-3PR2機(jī)器人Fig.1-3PR2robot2015年,亞馬遜公司開始舉辦面向物流自動揀選任務(wù)的機(jī)器人挑戰(zhàn)賽,各研究團(tuán)隊提出了思路各異的解決方案。TeamDelft團(tuán)隊奪得了2016年比賽的冠軍[6],他們使用的是安川單臂機(jī)器人,視覺傳感器結(jié)合了高精度深度相機(jī)與單目工業(yè)相機(jī)。在視覺算法上,他們先使用Faster-RCNN[7]獲得目標(biāo)物體的boundingbox,再使用位姿估計方法Super4PCS[8]將物體的三維模型與場景點(diǎn)云進(jìn)行匹配,以獲得較為精確的物體6D姿態(tài),從而進(jìn)行抓齲值得注意的是,在數(shù)據(jù)準(zhǔn)備方面,他們使用的是多姿態(tài)拍攝真實(shí)物體,再與隨機(jī)背景合成的方法,得到預(yù)訓(xùn)練數(shù)據(jù)集。另外還需要有500張真實(shí)環(huán)境的標(biāo)注圖片作為精訓(xùn)練的數(shù)據(jù)集,物體的模型通過計算機(jī)輔助設(shè)計(CAD)建模軟件生成。在運(yùn)動和抓取規(guī)劃上,他們將機(jī)械臂規(guī)劃分
【參考文獻(xiàn)】:
碩士論文
[1]基于RGB-D圖像的機(jī)械臂抓取位姿檢測[D]. 張凱宇.浙江大學(xué) 2019
[2]基于單目稀疏視角的無紋理零件位姿估計技術(shù)研究[D]. 江智偉.浙江大學(xué) 2019
[3]基于雙目視覺的機(jī)械手定位抓取技術(shù)的研究[D]. 徐凱.浙江大學(xué) 2018
[4]基于雙目立體視覺的工件識別定位與抓取系統(tǒng)研究[D]. 張海波.中國計量學(xué)院 2014
本文編號:3609519
【文章來源】:上海交通大學(xué)上海市 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:86 頁
【學(xué)位級別】:碩士
【部分圖文】:
物流倉庫環(huán)境示意圖
肺锪韃摯庵杏?2.5萬名工人專門負(fù)責(zé)揀選工作,工作時間和強(qiáng)度一直居高不下。為了實(shí)現(xiàn)物流揀選自動化,一些大型物流公司舉辦了各種機(jī)器人比賽。2015年到2017年,亞馬遜公司連續(xù)三年舉辦“亞馬遜機(jī)器人挑戰(zhàn)賽(AmazonRoboticChallenge)”,比賽吸引了國內(nèi)外該領(lǐng)域的多家頂級研究團(tuán)隊,如MIT&Princeton、新加坡南洋理工大學(xué)、荷蘭代爾夫特大學(xué)、德國波恩大學(xué)、日本安川機(jī)器人等等。在國內(nèi),2018年,京東公司舉辦了“京東機(jī)器人挑戰(zhàn)賽(JRC2018)”,探索移動機(jī)器人在物流揀選中的可行方案,同樣吸引了國內(nèi)外大量研究團(tuán)隊參加。圖1-2(a)Kiva機(jī)器人將貨柜移至人工揀選工位前,(b)機(jī)器人揀選Fig.1-2(a)Kivarobottakescontainertomanualpickingstation,(b)Roboticsorting在物流行業(yè)報告和物流揀選機(jī)器人比賽的總結(jié)中,可以得到小零件貨物的揀選流程和要求。由于物流倉庫每天會進(jìn)入較多新種類物體,機(jī)器人需要在新物體錄入倉儲系統(tǒng)的短時間內(nèi),獲取新物體的外形特征信息,并能夠?qū)W習(xí)識別該物體的特征。在得到訂單后,機(jī)器人需要在限定時間內(nèi)自動從物流貨架中識別、揀選
??泳醮?釁髦鸞コ晌?趨勢。2011年,WillowGarage公司在開源操作系統(tǒng)ROS(RobotOperatingSystem)的基礎(chǔ)上開發(fā)了一套完整的移動抓取機(jī)器人PR2。PR2機(jī)器人主要由移動底座、兩條7自由度機(jī)械臂、和頭部的各種視覺傳感器組成(包括激光雷達(dá)、雙目相機(jī)、深度相機(jī)Kinect)。由于ROS系統(tǒng)的模塊性很強(qiáng),PR2可以調(diào)用各種功能組件完成復(fù)雜任務(wù)。HsiaoK等人[3][4][5]使用PR2完成了物體識別與位姿獲娶抓取點(diǎn)選擇等多種復(fù)雜任務(wù),但他們在論文中提到PR2使用的是二指夾爪末端,所以在抓取物體時需要考慮力閉合和抓取空間的多種限制。圖1-3PR2機(jī)器人Fig.1-3PR2robot2015年,亞馬遜公司開始舉辦面向物流自動揀選任務(wù)的機(jī)器人挑戰(zhàn)賽,各研究團(tuán)隊提出了思路各異的解決方案。TeamDelft團(tuán)隊奪得了2016年比賽的冠軍[6],他們使用的是安川單臂機(jī)器人,視覺傳感器結(jié)合了高精度深度相機(jī)與單目工業(yè)相機(jī)。在視覺算法上,他們先使用Faster-RCNN[7]獲得目標(biāo)物體的boundingbox,再使用位姿估計方法Super4PCS[8]將物體的三維模型與場景點(diǎn)云進(jìn)行匹配,以獲得較為精確的物體6D姿態(tài),從而進(jìn)行抓齲值得注意的是,在數(shù)據(jù)準(zhǔn)備方面,他們使用的是多姿態(tài)拍攝真實(shí)物體,再與隨機(jī)背景合成的方法,得到預(yù)訓(xùn)練數(shù)據(jù)集。另外還需要有500張真實(shí)環(huán)境的標(biāo)注圖片作為精訓(xùn)練的數(shù)據(jù)集,物體的模型通過計算機(jī)輔助設(shè)計(CAD)建模軟件生成。在運(yùn)動和抓取規(guī)劃上,他們將機(jī)械臂規(guī)劃分
【參考文獻(xiàn)】:
碩士論文
[1]基于RGB-D圖像的機(jī)械臂抓取位姿檢測[D]. 張凱宇.浙江大學(xué) 2019
[2]基于單目稀疏視角的無紋理零件位姿估計技術(shù)研究[D]. 江智偉.浙江大學(xué) 2019
[3]基于雙目視覺的機(jī)械手定位抓取技術(shù)的研究[D]. 徐凱.浙江大學(xué) 2018
[4]基于雙目立體視覺的工件識別定位與抓取系統(tǒng)研究[D]. 張海波.中國計量學(xué)院 2014
本文編號:3609519
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/3609519.html
最近更新
教材專著