基于信息融合的采摘機(jī)器人視覺(jué)識(shí)別與定位系統(tǒng)研究
發(fā)布時(shí)間:2021-12-17 21:31
隨著人工智能與機(jī)器人技術(shù)的不斷發(fā)展,農(nóng)業(yè)裝備將逐步向自動(dòng)化、智能化方向發(fā)展。果實(shí)的識(shí)別與定位是智能采摘的關(guān)鍵。我國(guó)蘋(píng)果果園環(huán)境復(fù)雜,蘋(píng)果果樹(shù)掛果率高,果實(shí)姿態(tài)各異,果實(shí)直徑大,果實(shí)重疊、遮擋率高。如何在上述非結(jié)構(gòu)化的場(chǎng)景下實(shí)現(xiàn)蘋(píng)果的識(shí)別與定位是必須要解決的難題。針對(duì)這個(gè)問(wèn)題,本文提出了基于信息融合的采摘機(jī)器人視覺(jué)識(shí)別與定位方法,論文主要研究?jī)?nèi)容如下:(1)建立蘋(píng)果采摘機(jī)器人立體視覺(jué)識(shí)別系統(tǒng)。運(yùn)用剛性配準(zhǔn)的方法計(jì)算深度圖與彩色圖的映射矩陣,進(jìn)而融合彩色與深度信息得到蘋(píng)果特征向量P[x,y,z,r,g,b];研究了機(jī)器人手眼標(biāo)定方法,對(duì)立體視覺(jué)系統(tǒng)中埃夫特四軸機(jī)械臂與Kinect設(shè)備進(jìn)行手眼標(biāo)定。(2)提出了一種適用于蘋(píng)果果園的蘋(píng)果特征提取方法。運(yùn)用R-G、ExR、S分量(HSI空間)以及a*分量(L*a*b*空間)對(duì)所采集的蘋(píng)果圖像灰度化,運(yùn)用otsu全局最優(yōu)化閾值和k-means聚類對(duì)灰度特征圖進(jìn)行蘋(píng)果圖像粗分割;分析它們?cè)诓煌h(huán)境下對(duì)背景噪聲的抑制效果以及蘋(píng)果特征提取效果,比較時(shí)間復(fù)雜度及特征提取效果,確定了蘋(píng)果圖片顏色特征提取所需的灰度算子及圖像分割算法,提取目標(biāo)蘋(píng)果果實(shí)粗分割圖像...
【文章來(lái)源】:華南理工大學(xué)廣東省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:97 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
近十年我國(guó)蘋(píng)果年產(chǎn)量統(tǒng)計(jì)
幀率 30fps 30fps深度檢測(cè)范圍 0.5-4.5m 0.8-4.0m水平視野角 70° 57.5°深度視野角 60° 43.5°數(shù)據(jù)接口 USB3.0 USB2.0理代 Kinect v1 攝像機(jī),通過(guò)結(jié)構(gòu)光與光編碼(Light Coding)的 2-2a)所示,Kinect v2 攝像機(jī)的深度數(shù)據(jù)讀取是基于飛行時(shí),如圖 2-2b)所示。其基本原理是通過(guò) Kinect v2 中的紅外發(fā)光,紅外光照射到物體產(chǎn)生反射光,反射光被 Kinect v2 中紅光線發(fā)射與接收的時(shí)間差,獲取視場(chǎng)中各物體的深度數(shù)據(jù)。K方式,相比 Kinect v1 靈敏度和分辨率都要更高,因此本文中為數(shù)據(jù)采集設(shè)備。
機(jī)進(jìn)行單目標(biāo)定得到各自的內(nèi)、外參數(shù)和畸變參數(shù),然后在此基礎(chǔ)上,對(duì)于 Kinect 設(shè)備中集成的彩色攝像機(jī)和紅外攝像機(jī)進(jìn)行立體標(biāo)定,求解出彩色攝像機(jī)和紅外攝像機(jī)之間的空間位姿變換關(guān)系,本文立體視覺(jué)系統(tǒng)標(biāo)定流程圖如圖 2-9 所示。輸出立體視覺(jué)系統(tǒng)同步立體標(biāo)定內(nèi)參數(shù)及畸變參數(shù)圖像采集 角點(diǎn)檢測(cè)圖像采集 角點(diǎn)檢測(cè) 外參數(shù)外參數(shù)內(nèi)參數(shù)及畸變參數(shù)彩色紅外圖 2-9 立體視覺(jué)標(biāo)定流程圖b.標(biāo)定實(shí)驗(yàn)與結(jié)果分析實(shí)驗(yàn)采用的標(biāo)定板是棋盤(pán)格式標(biāo)定板,材質(zhì)采用氧化鋁面板,浮法玻璃基板,具有不反光、不透明的特點(diǎn)。標(biāo)定板外形尺寸 200×200mm,標(biāo)定板內(nèi)共有 9×12 塊黑白相間的方形小格,各小格的邊長(zhǎng)為 15mm,打印精度±0.01mm。如圖 2-10 所示。
【參考文獻(xiàn)】:
期刊論文
[1]基于隨機(jī)Hough變換圓檢測(cè)算法的MRI質(zhì)量控制空間線性度自動(dòng)檢測(cè)程序設(shè)計(jì)[J]. 林迪逵,吳劍威,李威,付麗媛,熊暉,陳自謙. 中國(guó)醫(yī)療設(shè)備. 2018(10)
[2]基于隨機(jī)森林算法的自然光照條件下綠色蘋(píng)果識(shí)別[J]. 廖崴,鄭立華,李民贊,孫紅,楊瑋. 農(nóng)業(yè)機(jī)械學(xué)報(bào). 2017(S1)
[3]基于RANSAC的便攜式激光掃描測(cè)量臂手眼標(biāo)定方法[J]. 吳晗,李巍,董明利. 計(jì)算機(jī)工程與應(yīng)用. 2017(23)
[4]基于區(qū)域生長(zhǎng)的圖像分割研究進(jìn)展[J]. 徐蔚波,劉穎,章浩偉. 北京生物醫(yī)學(xué)工程. 2017(03)
[5]基于區(qū)域劃分和霍夫變換的車牌傾斜校正[J]. 王越,黃龍超,李琴. 重慶理工大學(xué)學(xué)報(bào)(自然科學(xué)). 2017(03)
[6]雙足機(jī)器人下樓梯動(dòng)作的設(shè)計(jì)與生成[J]. 張勤,邱俊佳,范吉斌. 計(jì)算機(jī)測(cè)量與控制. 2016(09)
[7]基于Kinect相機(jī)的蘋(píng)果樹(shù)三維點(diǎn)云配準(zhǔn)[J]. 鄭立華,麥春艷,廖崴,文瑤,劉剛. 農(nóng)業(yè)機(jī)械學(xué)報(bào). 2016(05)
[8]番茄采摘機(jī)器人夜間照明系統(tǒng)設(shè)計(jì)與試驗(yàn)[J]. 項(xiàng)榮,段鵬飛. 農(nóng)業(yè)機(jī)械學(xué)報(bào). 2016(07)
[9]一種基于信息融合蘋(píng)果果實(shí)世界定位方法[J]. 麥春艷,鄭立華,肖昌一,陳元,李民贊,劉剛. 東北農(nóng)業(yè)大學(xué)學(xué)報(bào). 2016(01)
[10]融合旋轉(zhuǎn)平移信息的機(jī)器人手眼標(biāo)定方法[J]. 張召瑞,張旭,鄭澤龍,屠大維. 儀器儀表學(xué)報(bào). 2015(11)
博士論文
[1]采摘機(jī)器人圖像處理系統(tǒng)中的關(guān)鍵算法研究[D]. 謝忠紅.南京農(nóng)業(yè)大學(xué) 2013
碩士論文
[1]機(jī)器人視覺(jué)伺服系統(tǒng)的建模與跟蹤控制技術(shù)研究[D]. 林燕龍.華南理工大學(xué) 2018
[2]機(jī)器人堆疊目標(biāo)識(shí)別與定位抓取系統(tǒng)研究[D]. 彭澤林.華南理工大學(xué) 2018
[3]基于機(jī)器視覺(jué)的簇生獼猴桃果實(shí)多目標(biāo)識(shí)別方法研究[D]. 陳禮鵬.西北農(nóng)林科技大學(xué) 2018
[4]基于雙目視覺(jué)的柑橘采摘機(jī)器人目標(biāo)識(shí)別及定位技術(shù)研究[D]. 李揚(yáng).重慶理工大學(xué) 2017
[5]基于Kinect的虛擬試衣系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 李智超.東南大學(xué) 2017
[6]圖像邊界檢出及在同心度測(cè)量中的應(yīng)用研究[D]. 王禎元.華南理工大學(xué) 2014
[7]海量灰度圖像8連通域標(biāo)記算法的設(shè)計(jì)與應(yīng)用[D]. 王晶晶.河南大學(xué) 2014
[8]田間獼猴桃圖像識(shí)別方法研究[D]. 詹文田.西北農(nóng)林科技大學(xué) 2014
[9]成熟蘋(píng)果的圖像識(shí)別及其位姿的獲取研究[D]. 趙文旻.南京農(nóng)業(yè)大學(xué) 2012
[10]蘋(píng)果果梗/花萼與缺陷的紋理特征識(shí)別方法[D]. 宋怡煥.浙江大學(xué) 2012
本文編號(hào):3540980
【文章來(lái)源】:華南理工大學(xué)廣東省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:97 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
近十年我國(guó)蘋(píng)果年產(chǎn)量統(tǒng)計(jì)
幀率 30fps 30fps深度檢測(cè)范圍 0.5-4.5m 0.8-4.0m水平視野角 70° 57.5°深度視野角 60° 43.5°數(shù)據(jù)接口 USB3.0 USB2.0理代 Kinect v1 攝像機(jī),通過(guò)結(jié)構(gòu)光與光編碼(Light Coding)的 2-2a)所示,Kinect v2 攝像機(jī)的深度數(shù)據(jù)讀取是基于飛行時(shí),如圖 2-2b)所示。其基本原理是通過(guò) Kinect v2 中的紅外發(fā)光,紅外光照射到物體產(chǎn)生反射光,反射光被 Kinect v2 中紅光線發(fā)射與接收的時(shí)間差,獲取視場(chǎng)中各物體的深度數(shù)據(jù)。K方式,相比 Kinect v1 靈敏度和分辨率都要更高,因此本文中為數(shù)據(jù)采集設(shè)備。
機(jī)進(jìn)行單目標(biāo)定得到各自的內(nèi)、外參數(shù)和畸變參數(shù),然后在此基礎(chǔ)上,對(duì)于 Kinect 設(shè)備中集成的彩色攝像機(jī)和紅外攝像機(jī)進(jìn)行立體標(biāo)定,求解出彩色攝像機(jī)和紅外攝像機(jī)之間的空間位姿變換關(guān)系,本文立體視覺(jué)系統(tǒng)標(biāo)定流程圖如圖 2-9 所示。輸出立體視覺(jué)系統(tǒng)同步立體標(biāo)定內(nèi)參數(shù)及畸變參數(shù)圖像采集 角點(diǎn)檢測(cè)圖像采集 角點(diǎn)檢測(cè) 外參數(shù)外參數(shù)內(nèi)參數(shù)及畸變參數(shù)彩色紅外圖 2-9 立體視覺(jué)標(biāo)定流程圖b.標(biāo)定實(shí)驗(yàn)與結(jié)果分析實(shí)驗(yàn)采用的標(biāo)定板是棋盤(pán)格式標(biāo)定板,材質(zhì)采用氧化鋁面板,浮法玻璃基板,具有不反光、不透明的特點(diǎn)。標(biāo)定板外形尺寸 200×200mm,標(biāo)定板內(nèi)共有 9×12 塊黑白相間的方形小格,各小格的邊長(zhǎng)為 15mm,打印精度±0.01mm。如圖 2-10 所示。
【參考文獻(xiàn)】:
期刊論文
[1]基于隨機(jī)Hough變換圓檢測(cè)算法的MRI質(zhì)量控制空間線性度自動(dòng)檢測(cè)程序設(shè)計(jì)[J]. 林迪逵,吳劍威,李威,付麗媛,熊暉,陳自謙. 中國(guó)醫(yī)療設(shè)備. 2018(10)
[2]基于隨機(jī)森林算法的自然光照條件下綠色蘋(píng)果識(shí)別[J]. 廖崴,鄭立華,李民贊,孫紅,楊瑋. 農(nóng)業(yè)機(jī)械學(xué)報(bào). 2017(S1)
[3]基于RANSAC的便攜式激光掃描測(cè)量臂手眼標(biāo)定方法[J]. 吳晗,李巍,董明利. 計(jì)算機(jī)工程與應(yīng)用. 2017(23)
[4]基于區(qū)域生長(zhǎng)的圖像分割研究進(jìn)展[J]. 徐蔚波,劉穎,章浩偉. 北京生物醫(yī)學(xué)工程. 2017(03)
[5]基于區(qū)域劃分和霍夫變換的車牌傾斜校正[J]. 王越,黃龍超,李琴. 重慶理工大學(xué)學(xué)報(bào)(自然科學(xué)). 2017(03)
[6]雙足機(jī)器人下樓梯動(dòng)作的設(shè)計(jì)與生成[J]. 張勤,邱俊佳,范吉斌. 計(jì)算機(jī)測(cè)量與控制. 2016(09)
[7]基于Kinect相機(jī)的蘋(píng)果樹(shù)三維點(diǎn)云配準(zhǔn)[J]. 鄭立華,麥春艷,廖崴,文瑤,劉剛. 農(nóng)業(yè)機(jī)械學(xué)報(bào). 2016(05)
[8]番茄采摘機(jī)器人夜間照明系統(tǒng)設(shè)計(jì)與試驗(yàn)[J]. 項(xiàng)榮,段鵬飛. 農(nóng)業(yè)機(jī)械學(xué)報(bào). 2016(07)
[9]一種基于信息融合蘋(píng)果果實(shí)世界定位方法[J]. 麥春艷,鄭立華,肖昌一,陳元,李民贊,劉剛. 東北農(nóng)業(yè)大學(xué)學(xué)報(bào). 2016(01)
[10]融合旋轉(zhuǎn)平移信息的機(jī)器人手眼標(biāo)定方法[J]. 張召瑞,張旭,鄭澤龍,屠大維. 儀器儀表學(xué)報(bào). 2015(11)
博士論文
[1]采摘機(jī)器人圖像處理系統(tǒng)中的關(guān)鍵算法研究[D]. 謝忠紅.南京農(nóng)業(yè)大學(xué) 2013
碩士論文
[1]機(jī)器人視覺(jué)伺服系統(tǒng)的建模與跟蹤控制技術(shù)研究[D]. 林燕龍.華南理工大學(xué) 2018
[2]機(jī)器人堆疊目標(biāo)識(shí)別與定位抓取系統(tǒng)研究[D]. 彭澤林.華南理工大學(xué) 2018
[3]基于機(jī)器視覺(jué)的簇生獼猴桃果實(shí)多目標(biāo)識(shí)別方法研究[D]. 陳禮鵬.西北農(nóng)林科技大學(xué) 2018
[4]基于雙目視覺(jué)的柑橘采摘機(jī)器人目標(biāo)識(shí)別及定位技術(shù)研究[D]. 李揚(yáng).重慶理工大學(xué) 2017
[5]基于Kinect的虛擬試衣系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 李智超.東南大學(xué) 2017
[6]圖像邊界檢出及在同心度測(cè)量中的應(yīng)用研究[D]. 王禎元.華南理工大學(xué) 2014
[7]海量灰度圖像8連通域標(biāo)記算法的設(shè)計(jì)與應(yīng)用[D]. 王晶晶.河南大學(xué) 2014
[8]田間獼猴桃圖像識(shí)別方法研究[D]. 詹文田.西北農(nóng)林科技大學(xué) 2014
[9]成熟蘋(píng)果的圖像識(shí)別及其位姿的獲取研究[D]. 趙文旻.南京農(nóng)業(yè)大學(xué) 2012
[10]蘋(píng)果果梗/花萼與缺陷的紋理特征識(shí)別方法[D]. 宋怡煥.浙江大學(xué) 2012
本文編號(hào):3540980
本文鏈接:http://sikaile.net/nykjlw/nygclw/3540980.html
最近更新
教材專著