發(fā)布時間：2020-04-02 05:16

【摘要】：蘋果是我國大規(guī)模種植的農(nóng)產(chǎn)品之一,是農(nóng)業(yè)經(jīng)濟發(fā)展的重要支柱。但是,目前蘋果的采摘作業(yè)主要依靠勞動力來完成,其勞動強度大、生產(chǎn)成本高、生產(chǎn)率低。因此,研究智能化水平較高的蘋果采摘機器人代替人工采摘具有重要的意義。本文主要針對田間環(huán)境下墻型種植模式的爵士蘋果,使用Kinect相機獲取對齊的彩色圖像、深度圖像和點云數(shù)據(jù)。首先基于常用的兩種卷積神經(jīng)網(wǎng)絡(luò)對原始彩色蘋果圖像進行果實檢測方法的研究,但枝干遮擋的果實易被分成幾個獨立的部分,可能導(dǎo)致一個果實被誤檢測為幾個果實,且不能確定果實遮擋的果實采摘順序,需對果實再進行多分類標(biāo)記;然后為進一步提高檢測精度,針對墻型種植模式下的蘋果圖像背景復(fù)雜的缺點,利用深度圖像去除復(fù)雜背景,再以結(jié)果較優(yōu)的卷積神經(jīng)網(wǎng)絡(luò)進行去背景后的蘋果圖像檢測;最后基于點云數(shù)據(jù)進行蘋果果實定位方法的研究。本文主要研究內(nèi)容具體如下:(1)基于原始彩色蘋果圖像檢測研究。首先使用幾何變換和圖像增強的方法對采集到的圖像進行數(shù)據(jù)增廣;然后分別進行果實標(biāo)記和果實多分類標(biāo)記,對數(shù)據(jù)增廣的樣本進行標(biāo)記文件映射;最后采用基于Faster-RCNN原理的VGG16和ZF網(wǎng)絡(luò)模型進行圖像的訓(xùn)練和檢測。實驗結(jié)果表明:VGG16網(wǎng)絡(luò)模型平均檢測精度較高,在果實檢測模型中,果實AP值為88.12%,檢測時間為0.182s/幅;在果實多分類檢測模型中,單個無遮擋的果實AP值為90.90%,樹葉遮擋的果實AP值為89.94%,枝干遮擋的果實AP值為85.82%,果實遮擋的果實AP值為84.82%,mAP值為87.87%,檢測時間為0.241s/幅。(2)基于去背景彩色蘋果圖像檢測研究。首先找出深度圖像中深度值超過200 cm的像素點;然后將同分辨率的彩色圖像中對應(yīng)像素點的值置0,并進行圖像數(shù)據(jù)增廣和相應(yīng)的標(biāo)記文件映射;最后使用遷移原始圖像最佳檢測模型參數(shù)的方法對新的VGG16網(wǎng)絡(luò)模型進行訓(xùn)練和檢測。實驗結(jié)果表明:在果實檢測模型中,果實AP值為89.32%,比原始圖像檢測值提高了 1.2%,檢測時間為0.181s/幅;在果實多分類檢測模型中,單個無遮擋的果實AP值為91.12%,樹葉遮擋的果實AP值為90.25%,枝干遮擋的果實AP值為87.34%,果實遮擋的果實AP值為86.48%,mAP值為88.80%,分別比原始圖像檢測值提高了0.22%、0.31%、1.52%、1.66%和0.93%,檢測時間為0.240s/幅。(3)蘋果果實的三維空間定位研究。首先使用MATLAB編程獲取去除背景后的蘋果邊界框的左上角和右下角兩個像素點坐標(biāo),再計算其平均值作為中心像素點坐標(biāo),并依次獲取中心像素點的上、下、左、右、左上、左下、右上、右下8個領(lǐng)域像素點坐標(biāo);然后分別使用直通濾波、統(tǒng)計濾波和雙邊濾波的方法對點云進行背景去除、離群點去除和內(nèi)部高頻噪聲去除;最后提取這9個像素點的三維空間坐標(biāo)值,計算其平均值作為蘋果果實最終抓取點的三位空間坐標(biāo)。通過基于Faster-RCNN原理的VGG16和ZF網(wǎng)絡(luò)模型對原始彩色蘋果圖像分別進行果實檢測和果實多分類檢測,VGG16網(wǎng)絡(luò)模型相比于ZF網(wǎng)絡(luò)模型對田間環(huán)境下蘋果均有較好的檢測效果;然后對原始彩色蘋果圖像進行復(fù)雜背景去除,進一步提高了檢測精度;最后從去噪后的點云數(shù)據(jù)中獲取了果實的三維空間坐標(biāo)并確定了果實的采摘順序。本文為蘋果采摘機器人的目標(biāo)檢測與定位提供了一些方法,取得了一些可供參考的結(jié)論。
【圖文】：

逡逑相比傳統(tǒng)種植模式下的蘋果矮化冠狀樹形，爵士蘋果的樹形為墻型，如圖１－１所示。逡逑多數(shù)蘋果果實位于果樹兩側(cè)，枝條遮擋較少，使得采摘機械手可以直接到達需要采摘的逡逑目標(biāo)果實前，，避免了枝條阻礙采摘路線，非常有利于機械化采摘。因此，在標(biāo)準(zhǔn)化的蘋逡逑果種植模式下，有望實現(xiàn)蘋果的采摘自動化作業(yè)，對提高蘋果采摘工作效率，促進蘋果逡逑產(chǎn)業(yè)發(fā)展具有重要的科學(xué)研宄意義。逡逑sE逡逑圖１－１墻型種植蘋果樹逡逑Ｆｉｇ．邋１－１邋Ａｐｐｌｅ邋ｔｒｅｅ邋ｐｌａｎｔｅｄ邋ｉｎ邋ｗａｌｌ逡逑在傳統(tǒng)的果實檢測方法中，生要針對果實的顏色、紋理和形狀進行檢測，但檢測過逡逑程較為復(fù)雜，近年來，隨著人工智能技術(shù)的快速發(fā)展，深度學(xué)習(xí)已成為機器學(xué)習(xí)研宄中逡逑的＾個新的領(lǐng)域。通過建立和模擬人腦進行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，模仿人腦的機制來解逡逑釋數(shù)據(jù)，已在圖像、聲音和文本等領(lǐng)域發(fā)揮了巨大的作用。卷積神經(jīng)網(wǎng)絡(luò)（Ｃｏｎｖｏｌｕｔｉｏｎ逡逑Ｎｅｕｒａｌ邋Ｎｅｔｗｏｒｋ

圖２－１邋Ｆａｓｔｅｒ－ＲＣＮＮ網(wǎng)絡(luò)結(jié)構(gòu)示意圖逡逑Ｆｉｇ．邋２－１邋Ｔｈｅ邋ｓｃｈｅｍａｔｉｃ邋ｄｉａｇｒａｍ邋ｏｆ邋Ｆａｓｔｅｒ－ＲＣＮＮ邋ｎｅｔｗｏｒｋ邋ａｒｃｈｉｔｅｃｔｕｒｅ逡逑ＲＰＮ部分網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖２－２所示。每個滑動窗；Ｐ位置被映射為一個低維的特逡逑征向量，低維是相對于特征圖大�。鳎璧�，其中，ＺＦ網(wǎng)絡(luò)中為２５６維，ＶＧＧ１６網(wǎng)絡(luò)為逡逑５１２維。之后，特征向復(fù)輸入到ｒｅｇ邊框回歸網(wǎng)絡(luò)和ｄｓ邊框分類網(wǎng)絡(luò)兩個子網(wǎng)絡(luò)中，分逡逑別對區(qū)域建議生成的邊界框進行位置精修和對每個ａｎｃｈｏｒ是否屬于目標(biāo)或背景進行打逡逑分，所以會有ｗｘｈｘ９個結(jié)果。逡逑２ｋ邋ｓｃｏｒｅｓ邐４々邋ｃｏｏｒｄｉｎａｔｅｓ邐＾邋ａｎｃｈｏｒ邋ｂｏｘｅｓ逡逑ｅｌｓ邋ｌａｙｅｒ邐舍邋ｒｅｇ邋ｌａｙｅｒ邐ｂ逡逑２５６－ｄ邐■逡逑ｔ邋ｉｎｔｅｒｍｅｄｉａｔｅ邋ｌａｙｅｒ逡逑＼＾＾二二．Ｆ逡逑＼邐＼邐＼邐Ｖ邋＼邐邋邋？逡逑？逡逑Ｃｏｎｖ邋ｆｅａｔｕｒｅ邋ｍａｐ邐？逡逑圖２－２邋ＲＰＮ網(wǎng)絡(luò)結(jié)構(gòu)示意圖逡逑Ｆｉｇ．邋２－２邋Ｔｈｅ邋ｓｃｈｅｍａｔｉｃ邋ｄｉａｇｒａｍ邋ｏｆ邋ＲＰＮ邋ｎｅｔｗｏｒｋ邋ａｒｃｈｉｔｅｃｔｕｒｅ逡逑２．１．２網(wǎng)絡(luò)模型訓(xùn)練方法逡逑ＲＰＮ網(wǎng)絡(luò)和Ｆａｓｔ－ＲＣＮＮ網(wǎng)絡(luò)共享了一個提取特征的ＶＧＧ１６或ＺＦ網(wǎng)絡(luò)，為了精調(diào)逡逑這個網(wǎng)絡(luò)模型
【學(xué)位授予單位】：西北農(nóng)林科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：S661.1;TP391.41

【相似文獻】

相關(guān)期刊論文 前10條

1 王田利;;2019年蘋果產(chǎn)銷形勢分析與建議[J];西北園藝(果樹);2019年02期

2 閆海濤;;矮砧蘋果引領(lǐng)千陽走向致富路[J];西部大開發(fā);2018年07期

3 王秋萍;;山西·吉縣推廣蘋果園無人機作業(yè)[J];中國果業(yè)信息;2017年05期

4 潘換來;潘小剛;范婷;;蘋果花臉病的發(fā)生與防治技術(shù)[J];果農(nóng)之友;2017年01期

5 張敬惠;;如何采蘋果花蜜[J];中國蜂業(yè);2016年03期

6 王大為;;《蘋果花》[J];人民公交;2015年02期

7 曹文生;;蘋果謠[J];當(dāng)代人;2016年09期

8 童子;;尺蠖,尺蠖,開起火車[J];少年文藝(上旬版);2016年12期

9 干露;;語文老師的柔軟心[J];七彩語文(教師論壇);2017年01期

10 成向陽;;蘋果樹下有人打鐵(外二篇)[J];鴨綠江(上半月版);2017年02期

相關(guān)會議論文 前10條

1 李紹華;孟昭清;李天紅;柳華志;涂亦澄;;蘋果花誘導(dǎo)時期研究的新方法[A];中國園藝學(xué)會首屆青年學(xué)術(shù)討論會論文集[C];1994年

2 曹尚銀;張秋明;;蘋果花芽孕育的蛋白質(zhì)組學(xué)及其特異蛋白的研究[A];中國遺傳學(xué)會植物遺傳和基因組學(xué)專業(yè)委員會2007年學(xué)術(shù)研討會摘要集[C];2007年

3 孟玉平;曹秋芬;張春芬;小森貞男;壽松木章;;γ射線照射蘋果花粉授粉后受精及胚發(fā)育過程的探討[A];2012年園藝植物染色體倍性操作與遺傳改良學(xué)術(shù)研討會論文摘要集[C];2012年

4 成文博;劉國成;呂德國;馬懷宇;秦嗣軍;;‘寒富'蘋果花芽的抗寒性研究[A];第四屆全國果樹種質(zhì)資源研究與開發(fā)利用學(xué)術(shù)研討會論文匯編[C];2010年

5 曹尚銀;張秋明;;蘋果花芽孕育的蛋白質(zhì)組學(xué)及其特異蛋白的研究[A];2007中國植物生理學(xué)會全國學(xué)術(shù)會議論文摘要匯編[C];2007年

6 孫智輝;劉志超;雷延鵬;曹雪梅;;基于互聯(lián)網(wǎng)+的蘋果氣象服務(wù)系統(tǒng)的建立[A];第34屆中國氣象學(xué)會年會 S11 創(chuàng)新驅(qū)動智慧氣象服務(wù)——第七屆氣象服務(wù)發(fā)展論壇論文集[C];2017年

7 曹尚銀;;蘋果花芽孕育的蛋白質(zhì)組學(xué)初步分析[A];中國遺傳學(xué)會第八次代表大會暨學(xué)術(shù)討論會論文摘要匯編（2004-2008）[C];2008年

8 曹尚銀;湯一卒;張俊昌;;GA_3和PP_(333)對蘋果花芽形態(tài)建成及其內(nèi)源激素比例變化的影響[A];中國園藝學(xué)會第九屆學(xué)術(shù)年會論文集[C];2001年

9 張乃鑫;李亞新;;偽鈍綏螨Amblyseius fallacis的花粉飼養(yǎng)研究[A];北京昆蟲學(xué)會成立四十周年學(xué)術(shù)討論會論文摘要匯編[C];1990年

10 關(guān)軍鋒;許棟芬;郭喜花;張新忠;;IAA對蘋果花粉萌發(fā)和花粉管生長的作用及其與Ca~(2+)的關(guān)系[A];中國科協(xié)第3屆青年學(xué)術(shù)年會園藝學(xué)衛(wèi)星會議暨中國園藝學(xué)會第2屆青年學(xué)術(shù)討論會論文集[C];1998年

相關(guān)重要報紙文章 前10條

1 卯龍艷 孫華超;讓蘋果產(chǎn)業(yè)真正鼓起群眾“錢袋子”[N];畢節(jié)日報;2019年

2 本報記者 王愛榮 通訊員 范筱霞;蘋果花開枝頭俏 人勤春早果業(yè)興[N];延安日報;2019年

3 通訊員 楊帆 任健 本報記者 劉卓;讓蘋果恢復(fù)原有的“味道”[N];延安日報;2019年

4 本報記者 思博海;延安脫貧，蘋果立功![N];延安日報;2019年

5 記者 邢云;蘋果花開鳳凰嶺[N];河北日報;2019年

6 記者 李晨 通訊員 何文上;蘋果的紅色從哪來[N];中國科學(xué)報;2019年

7 李華;蘋果花后不偷懶 噴藥澆水要趁早[N];農(nóng)業(yè)科技報;2019年

8 本報記者 王愛榮 通訊員 張志林 候芳;蘋果富民 文化養(yǎng)民[N];延安日報;2018年

9 河北省農(nóng)科院石家莊果樹所研究員 徐國良;蘋果樹管理問答[N];河北科技報;2019年

10 本報記者 楊曉慧;蘋果花開 這里春光美[N];榆林日報;2019年

相關(guān)博士學(xué)位論文 前5條

1 王憶;蘋果再生體系建立與MxIrt1基因功能的初步研究[D];中國農(nóng)業(yè)大學(xué);2005年

2 曹尚銀;蘋果花芽孕育的蛋白質(zhì)組學(xué)及其特異蛋白的研究[D];湖南農(nóng)業(yè)大學(xué);2005年

3 周瑞金;外源CpTI基因在轉(zhuǎn)基因蘋果中的表達及特性[D];河北農(nóng)業(yè)大學(xué);2007年

4 李潔;晉西黃土果農(nóng)復(fù)合系統(tǒng)蘋果樹耗水特征及影響因素研究[D];北京林業(yè)大學(xué);2008年

5 李威;蘋果花粉MdPPa參與自交不親和性反應(yīng)的分子機制[D];中國農(nóng)業(yè)大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 潘振邦;甘肅省平?jīng)鍪刑O果產(chǎn)業(yè)發(fā)展對策研究[D];蘭州大學(xué);2019年

2 宋盼盼;宋堡村的蘋果產(chǎn)業(yè)：一項經(jīng)濟人類學(xué)的研究[D];蘭州大學(xué);2019年

3 齊思言;蘋果不同開花能力類型芽轉(zhuǎn)錄組、DNA甲基化比較分析及候選MdCDF家族鑒定與表達分析[D];西北農(nóng)林科技大學(xué);2019年

4 閆婕;轉(zhuǎn)錄組分析兩種樹形對‘煙富3號’蘋果成花相關(guān)基因表達變化的影響[D];西北農(nóng)林科技大學(xué);2019年

5 趙海東;基于Kinect的田間蘋果檢測與定位方法研究[D];西北農(nóng)林科技大學(xué);2019年

6 方楠;蘋果MdCSP3基因在不同逆境脅迫下的功能分析[D];西北農(nóng)林科技大學(xué);2019年

7 bF國棟;運城市蘋果樹主要病蟲害調(diào)查及生物防控技術(shù)的探索[D];山西農(nóng)業(yè)大學(xué);2017年

8 邱家海;不同鉀肥施用量對煙臺富士蘋果品質(zhì)的影響[D];煙臺大學(xué);2018年

9 韓培汕;河北蘋果主產(chǎn)區(qū)養(yǎng)分資源特征與施肥調(diào)控技術(shù)[D];河北農(nóng)業(yè)大學(xué);2018年

10 石江鵬;蘋果花藥培養(yǎng)再生新種質(zhì)的倍性鑒定及表型多樣性分析[D];山西大學(xué);2018年

本文編號：2611509