本文關(guān)鍵詞：基于流形學(xué)習(xí)算法的馬鈴薯機(jī)械損傷機(jī)器視覺(jué)檢測(cè)方法，由筆耕文化傳播整理發(fā)布。

第30卷 第1期 農(nóng) 業(yè) 工 程 學(xué) 報(bào) Vol.30 No.1

2014年 1月 Transactions of the Chinese Society of Agricultural Engineering Jan. 2014 245

·農(nóng)產(chǎn)品加工工程·

基于流形學(xué)習(xí)算法的馬鈴薯機(jī)械損傷機(jī)器視覺(jué)檢測(cè)方法

汪成龍1，李小昱1，武振中1，周 竹2，馮耀澤1

※

（1. 華中農(nóng)業(yè)大學(xué)工學(xué)院，武漢 43007； 2. 浙江農(nóng)林大學(xué)信息工程學(xué)院，臨安 311300）

摘 要：針對(duì)馬鈴薯表面芽眼和凹凸不平的影響，使之馬鈴薯機(jī)械損傷難以檢測(cè)的問(wèn)題，該文提出了一種基于流形學(xué)習(xí)算法的馬鈴薯機(jī)械損傷檢測(cè)方法。首先利用馬鈴薯圖像的顯著圖分割出馬鈴薯區(qū)域，然后利用主成分分析（principal component analysis，PCA）、等距映射（isometric mapping，Isomap）和局部線性嵌入（locally-linear embedding，LLE）3種流形學(xué)習(xí)方法提取馬鈴薯區(qū)域圖像特征參數(shù)，然后分別建立基于3種流形特征的支持向量機(jī)（support vector machine，SVM）分類模型PCA-SVM、Isomap-SVM和LLE-SVM，利用網(wǎng)格搜索法（grid search）、遺傳算法（genetic algorithm，GA）以及粒子群算法（particle swarm optimization，PSO）3種模型參數(shù)優(yōu)化方法，優(yōu)化支持向量機(jī)模型的懲罰參數(shù)c和RBF核參數(shù)g，以建立最優(yōu)分類模型，最后比較3種分類模型的識(shí)別效果，確定最優(yōu)分類模型。研究結(jié)果表明，PCA-SVM分類模型對(duì)訓(xùn)練集識(shí)別率為100%，測(cè)試集識(shí)別率為100%；Isomap-SVM分類模型對(duì)訓(xùn)練集識(shí)別率為100%，測(cè)試集識(shí)別率為91.7%；LLE-SVM分類模型對(duì)訓(xùn)練集識(shí)別率為100%，測(cè)試集識(shí)別率為91.7%，表明 PCA、Isomap和LLE 3種流形學(xué)習(xí)方法用于馬鈴薯機(jī)械損傷檢測(cè)是可行的，其中PCA-SVM分類模型檢測(cè)效果最優(yōu)。

關(guān)鍵詞：機(jī)器視覺(jué)，識(shí)別，算法，流形學(xué)習(xí)，機(jī)械損傷，馬鈴薯 doi：10.3969/j.issn.1002-6819.2014.01.031

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1002-6819(2014)-01-0245-08

李小昱，武振中，等. 基于流形學(xué)習(xí)算法的馬鈴薯機(jī)械損傷機(jī)器視覺(jué)檢測(cè)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2014，汪成龍，

30(1)：245－252.

Wang Chenglong, Li Xiaoyu, Wu Zhenzhong, et al. Machine vision detecting potato mechanical damage based on manifold learning algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(1): 245－252. (in Chinese with English abstract)

0 引 言

基于機(jī)器視覺(jué)的農(nóng)產(chǎn)品表面缺陷檢測(cè)和分級(jí)方法國(guó)內(nèi)外已有廣泛研究[1-3]。水果方面，應(yīng)義斌等先后提出了傅里葉變換、區(qū)域增長(zhǎng)法和最小外接矩形法檢測(cè)黃花梨的果形、表面缺陷面積和大小[4-6]，并建立了基于機(jī)器視覺(jué)的黃花品質(zhì)檢測(cè)系統(tǒng)和水

隨后又提出了一種水果表面亮果實(shí)時(shí)分級(jí)系統(tǒng)[7-8]，

度不均校正算法，利用單閾值灰度分割法正確率達(dá)到97%[9]。馬鈴薯方面，高曉陽(yáng)等提出了基于不變矩的馬鈴薯形檢測(cè)方法，薯形分選準(zhǔn)確率為96%[10]；郝敏等利用Zernike矩進(jìn)行馬鈴薯薯形檢測(cè)，薯形良好和畸形的檢測(cè)準(zhǔn)確率達(dá)93%和100%[11]，隨后又提出邊界點(diǎn)矩特征傅里葉描述子

收稿日期：2013-07-25 修訂日期：2013-11-15

基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目（61275156）；湖北省自然科學(xué)基金重點(diǎn)項(xiàng)目（2011CDA033）

作者簡(jiǎn)介：汪成龍（1986－），男，湖北荊州人，研究方向?yàn)橹悄芑瘷z測(cè)技術(shù)。武漢 華中農(nóng)業(yè)大學(xué)工學(xué)院，430070。 Email：181817906@qq.com

※通信作者：李小昱（1953－），女，教授，博士生導(dǎo)師，中國(guó)農(nóng)業(yè)工程學(xué)會(huì)高級(jí)會(huì)員（E041200068S），研究方向?yàn)橹悄芑瘷z測(cè)技術(shù)。武漢 華中農(nóng)業(yè)大學(xué)工學(xué)院，430070。Email：lixiaoyu@mail.hzau.edu.cn

檢測(cè)馬鈴薯薯形，取得了較好的效果[12]，但兩者均

未對(duì)馬鈴薯表面缺陷作相應(yīng)研究。本課題組前期也進(jìn)行了馬鈴薯外部品質(zhì)相關(guān)研究，李小昱等以馬鈴薯缺陷面積為特征研究了馬鈴薯表面缺陷的機(jī)器視覺(jué)檢測(cè)方法[13]，但其孔洞識(shí)別率有待提高。Zhou等人利用HSV空間的閾值分割法檢測(cè)馬鈴薯綠皮特征，其分級(jí)準(zhǔn)確率較低[14]。Noordam等利用線性判別分析和馬氏距離建立了馬鈴薯表面缺陷的像素分類器，但無(wú)法解決其表面灰度不均勻?qū)θ毕輽z測(cè)的影響[15]。馬鈴薯表面的芽眼和凹凸不平，給機(jī)器視覺(jué)檢測(cè)其機(jī)械損傷帶來(lái)很大干擾，導(dǎo)致基于像素級(jí)特征提取方法受光照條件和缺陷灰度值的變化影響較大，因此考慮嘗試采用能表征圖像低維度特征的流形特征檢測(cè)馬鈴薯的機(jī)械損傷。1996年，Nayar等提出了高維的圖像數(shù)據(jù)中具有低維流形的現(xiàn)象[16]，而人類認(rèn)識(shí)事物主要是通過(guò)低維流形信息進(jìn)行的，此后，流形學(xué)習(xí)開(kāi)始廣泛應(yīng)用于人臉等[17-21]方面的識(shí)別。流形學(xué)習(xí)主要分為線性流形學(xué)習(xí)算法和非線性流形學(xué)習(xí)算法，非線性流形學(xué)習(xí)算法包括等距映射（isometric mapping，Isomap），局部線性嵌入（locally-linear embedding，LLE），拉普拉斯

246

農(nóng)業(yè)工程學(xué)報(bào) 2014年

特征映射（laplacian eigenmaps，LE）等。而線性方法則是對(duì)非線性方法的線性擴(kuò)展，如主成分分析（principal component analysis，PCA），多維尺度變換（multidimensional scaling，MDS）等。

雖然流形學(xué)習(xí)算法在人臉識(shí)別已有較廣泛研究，但國(guó)內(nèi)外未見(jiàn)有學(xué)者將流形學(xué)習(xí)方法應(yīng)用于農(nóng)產(chǎn)品外部品質(zhì)檢測(cè)，本文提出了基于流形學(xué)習(xí)算法的馬鈴薯機(jī)械損傷檢測(cè)方法，首先利用基于視覺(jué)顯著性（Saliency）和H維圖像的馬鈴薯區(qū)域分割方法對(duì)馬鈴薯目標(biāo)進(jìn)行定位和分割，然后利用流形學(xué)習(xí)算法進(jìn)行特征提取，并建立基于支持向量機(jī)（support vector machine，SVM）的馬鈴薯機(jī)械損傷分類模型，最后利用網(wǎng)格搜索法（grid search）、遺傳算法（genetic algorithm，GA）以及粒群算法（particle swarm optimization，PSO）優(yōu)化模型參數(shù)，確定最優(yōu)模型，以期為流形學(xué)習(xí)算法應(yīng)用于農(nóng)產(chǎn)品外部機(jī)械損傷檢測(cè)提供了參考。

1 試驗(yàn)設(shè)備

1.1 試驗(yàn)樣本

選用武漢關(guān)山小區(qū)農(nóng)貿(mào)市場(chǎng)采購(gòu)的陜北定邊紫花白馬鈴薯，樣本集由50個(gè)正常馬鈴薯和50個(gè)機(jī)械損傷馬鈴薯構(gòu)成，正常樣本和機(jī)械損傷樣本符合馬鈴薯等級(jí)規(guī)格（NY/T 1066-2006）[22]中的相關(guān)要求，并按照3:1的比例分為訓(xùn)練集（76個(gè)）和測(cè)試集（24個(gè)），樣本參數(shù)如表1所示。

表1 馬鈴薯樣本參數(shù)

Table 1 Parameters of potato samples

樣本類型 樣本數(shù)量 樣本參數(shù) 均值 最大值 最小值Type Number Parameters

Average MaximumMin

質(zhì)量/g

128.8 269.5 57.4 正常樣本Normal

50個(gè)

長(zhǎng)徑/mm 68.8 92.6 45.2 短徑/mm 61.6 80.0 44.6 厚度/mm 51.7 64.6 40.4 質(zhì)量/g 140.2 283.1 58.5 長(zhǎng)徑/mm

70.9 102.6 51.2 機(jī)械損傷樣本短徑/mm

61.4 80.8 46.9 Mechanical 50個(gè)

厚度/mm 52.8 75.4 43.0 damage

機(jī)械損傷長(zhǎng)度/mm 19.0 61.6 8.1 機(jī)械損傷寬度/mm

2.7 8.1 1.0

1.2 馬鈴薯視覺(jué)在線采集試驗(yàn)平臺(tái)

馬鈴薯視覺(jué)在線采集試驗(yàn)平臺(tái)如圖1所示，主要由步進(jìn)電機(jī)（型號(hào)為110BYG2501）、圖像采集箱、工業(yè)相機(jī)（型號(hào)為scA1390-17fc）、圖像采集卡（型號(hào)為Meteor2-1394）、主機(jī)（CPU為AMD750，內(nèi)存為4G）、顯示器（型號(hào)為L(zhǎng)G-E2242）、環(huán)形光源（宏新三基色32W）、圓柱形托輥、摩擦板、鏈條、鏈輪等構(gòu)成。

圖像采集過(guò)程：馬鈴薯在圓柱形托輥上沿水平向左移動(dòng)并自轉(zhuǎn)，馬鈴薯進(jìn)入圖像采集箱后，程序自動(dòng)采集多幅圖像，每個(gè)馬鈴薯選擇其中一幅圖像作為圖像樣本。對(duì)于機(jī)械損傷樣本，所選圖像應(yīng)為機(jī)械損傷面，而對(duì)于正常樣本，則隨機(jī)選擇任意一面。最終由100副圖像構(gòu)成圖像樣本集，圖像分辨率為1024×768，顏色空間為RGB，存儲(chǔ)格式為BMP。

1. 工業(yè)相機(jī) 2. 環(huán)形光源 3. 圖像采集箱 4. 圓柱形托輥 5. 摩擦板 6. 馬鈴薯 7. 鏈條 8. 鏈輪

1. Industrial camera 2. Ring light 3. Image capture box 4. Cylindrical roller 5. Friction plate 6. Potato 7. Chain 8. Sprocket

圖1 馬鈴薯視覺(jué)在線采集試驗(yàn)平臺(tái)

Fig.1 Online image acquisition platform of potatoes based on

machine vision

2 馬鈴薯區(qū)域分割

由于試驗(yàn)采用在線采集的馬鈴薯圖像，因此圖像中的托輥、鏈條和摩擦板對(duì)馬鈴薯的分割具有較大的干擾，利用基于灰度的分割方法效果不佳。對(duì)馬鈴薯RGB圖像（圖2a），利用最大類間方差法maximum between-cluster，OSTU）進(jìn)行二值分割結(jié)果如圖2b所示，，馬鈴薯區(qū)域分割不完整，且有較多其他噪聲信號(hào)。

a. RBG圖像 b. OSTU法分割結(jié)果

a. RBG image

b. Segmentation result of OSTU

圖2 灰度分割法 Fig.2 Grayscale segmentation

為了有效地分割馬鈴薯區(qū)域，本文提出了一種基于視覺(jué)顯著性（Saliency）和H維（色調(diào)）圖像的馬鈴薯區(qū)域分割方法（簡(jiǎn)稱Saliency-H法）。顯著性（Saliency）是一種模擬生物體視覺(jué)注意機(jī)制的選擇性注意模型，其利用圖像的顏色、灰度、對(duì)比度和方向等信息模擬人類視覺(jué)體系，與單閾值分割相比，具有較好的分割效果[23]。該文采用基于圖

（

第1期 汪成龍等：基于流形學(xué)習(xí)算法的馬鈴薯機(jī)械損傷機(jī)器視覺(jué)檢測(cè)方法

247

論的視覺(jué)顯著性算法（graph-based visual saliency，GBVS），并在Matlab軟件平臺(tái)下對(duì)Saliency-H法和基于H維的圖像分割方法（簡(jiǎn)稱H法）2種算法進(jìn)行了仿真。

2.1 Saliency-H分割法

Saliency-H分割法具體算法步驟：1）RGB三通道圖像中值濾波預(yù)處理（圖3a）；2）RGB圖像轉(zhuǎn)Gray圖像（圖3b）；3）基于Gray圖像的顯著性分割；首先利用GBVS算法求得其顯著圖（圖3c），對(duì)顯著圖利用OSTU方法進(jìn)行二值化處理（圖3d），得到初級(jí)目標(biāo)區(qū)域掩膜圖像（圖3e）。將RGB圖像（圖3a）由初級(jí)目標(biāo)區(qū)域水平方向向兩側(cè)各擴(kuò)展50像素，垂直方向兩側(cè)擴(kuò)展至邊界處，得到包含馬鈴薯區(qū)域的二次分割圖像（圖3f）；4）GBVS顯著性分割后的RGB圖像轉(zhuǎn)HSI空間（圖3g）；5）H維圖像濾波：14次3×3模板的均值濾波（圖3h）；6）H維圖像分割：最大類間方差法OSTU）分割，經(jīng)過(guò)填充，8連通區(qū)域標(biāo)記，連通區(qū)域面積篩選等操作得到最終的馬鈴薯區(qū)域分割圖像（圖3i），將得到的馬鈴薯區(qū)域圖像水平方向擴(kuò)展至原圖像大小即得到最終分割圖像（圖3j）。

a. 中值濾波 b. 灰度圖像 c. 顯著圖

a. Median filter

b. Grayscale images

c. Saliency map

d. OSTU分割 e. 掩膜圖像 f. 初分割圖像 d. OSTU e. Mask image

f. Initial segmented

segmentation

image

g. H維圖像 h. 均值濾波 i. OSTU分割 j. 分割結(jié)果 g. H image

h. Mean filter

i. OSTU j. Segmentation

segmentation

result

圖3 Saliency-H法 Fig.3 Saliency-H segmentation

2.2 基于H維的圖像分割方法

H法具體算法步驟：1）RGB三通道圖像中值

濾波預(yù)處理（圖4a）；2）RGB圖像轉(zhuǎn)HSI顏色空間（圖4b）；3）H維圖像濾波：14次3×3模板的均值濾波（圖4c）；4）H維圖像分割：最大類間方差法（OSTU）分割，經(jīng)過(guò)填充，8連通區(qū)域標(biāo)記，連通區(qū)域面積篩選等操作得到最終的馬鈴薯區(qū)域分割圖像（圖4d）。

a. 中值濾波 b. H維圖像

a. Median filter

b. H image

c. 均值濾波 d. 分割結(jié)果 c. Mean filter

d. Segmentation result

圖4 H法 Fig.4 H segmentation

2.3 Saliency-H分割法和H法結(jié)果分析

對(duì)100個(gè)馬鈴薯圖像分別使用以上2種方法進(jìn)行圖像分割，其結(jié)果如下：

1）Saliency-H法和基于H維的圖像分割方法分割效果一致，2種方法的馬鈴薯區(qū)域分割準(zhǔn)確率均達(dá)到100%，但Saliency-H法能在無(wú)監(jiān)督模式下自動(dòng)獲取圖像中馬鈴薯目標(biāo)的位置信息。結(jié)果表明與H法相比，Saliency-H法具有較好的馬鈴薯區(qū)域定位（如圖3e所示）效果。正常樣本和機(jī)械損傷樣本的分割效果如圖5所示。

b. 機(jī)械損傷樣本

c. 機(jī)械損傷樣本H法

a. 機(jī)械損傷樣本 Saliency-H法分割結(jié)果

b. Result of mechanical

分割結(jié)果 a. Mechanical damagedamage sample by

c. Result of mechanical Saliency-H segmentation

damage sample by H

method

segmentation method

e. 正常樣本Saliency-Hf. 正常樣本H法

d. 正常樣本 法分割結(jié)果 分割結(jié)果 d. Normal

e. Result of normal f. Result of normal sample by Saliency-H sample by H segmentation method segmentation method

圖5 機(jī)械損傷和正常樣本2種方法的分割結(jié)果 Fig.5 Results of 2 segmentation methods for potato images

（

248

農(nóng)業(yè)工程學(xué)報(bào) 2014年

2）Saliency-H法能去除部分無(wú)效信息，大大降低待分割圖像的計(jì)算量。對(duì)100個(gè)馬鈴薯圖像進(jìn)行Saliency-H法分割，分割后的圖像與原面積的比值如圖6所示。結(jié)果表明，分割后圖像（圖3f）的數(shù)據(jù)量能壓縮至原圖像（圖3a）數(shù)據(jù)量的0.2969～0.5322，有效的降低了后續(xù)算法處理的速度，提高了效率。

圖6 Saliency-H分割后的圖像與原面積的比值

Fig.6 Area division ratio of segmentation image and original

image by Saliency-H

3）Saliency-H法的分割速度優(yōu)于基于H維的圖像分割方法。由表2可知，Saliency-H法的分割速度優(yōu)于H法。相比于H法，Saliency-H法中RGB圖像轉(zhuǎn)HSI空間和H維圖像分割2個(gè)步驟Saliency-H法4和6步驟，H法2和4步驟）耗時(shí)均有較大幅度的降低。分析其原因在于Saliency-H法中的顯著性（GBVS顯著性）分割能對(duì)馬鈴薯目標(biāo)定位，大大的降低了后續(xù)處理的計(jì)算量。

表2 Saliency-H法和H法的各步驟耗時(shí)結(jié)果 Table 2 Average elapsed time of Saliency-H and

H-dimensional segmentation

分割方法

步驟 平均耗時(shí) Segmentation method

Step Average elapsed

time/ms 步驟1 54.6

步驟2 27.2 步驟3

97.0 Saliency-H法

步驟4 82.7 步驟5 24.8 步驟6 191.4 總耗時(shí) 477.7 步驟1 53.4 步驟2

197.3 H法

步驟3 37.9 步驟4 263.1 總耗時(shí)

551.7

3 馬鈴薯機(jī)械損傷的流形學(xué)習(xí)判別方法

流形學(xué)習(xí)算法可將圖像中的高維信息降至低

維流形，能有效地提取全局特征變量，其前提是所處理的數(shù)據(jù)存在一個(gè)潛在的流形。本文使用了主成分分析（PCA）、等距映射（Isomap）和局部線性嵌入（LLE）3種流形學(xué)習(xí)方法結(jié)合Saliency-H圖像分割法提取了馬鈴薯圖像特征。

為了減弱馬鈴薯圖像背景的干擾，減少圖像集維數(shù)，提高處理速度，將馬鈴薯原始圖像（圖7a）通過(guò)Saliency-H法分割得到馬鈴薯區(qū)域圖像（圖7b），再利用最近鄰插值法將其重采樣為64×64像素大小的小尺寸圖像（圖7c）。將64×64的重采樣圖像轉(zhuǎn)化為4 096列的一維向量（將64×64的矩陣按從左到右、從上到下的順序展開(kāi)至一維向量），最終得到100×4096的馬鈴薯圖像數(shù)據(jù)矩陣F（共100個(gè)馬鈴薯樣本）。

a. 原始RGB圖像 b. 分割結(jié)果 c. 重采樣圖像a. Original RGB image

b. Segmentation

c. Resample result image

圖7 馬鈴薯區(qū)域圖像重采樣

Fig.7 Resampling for the potato region images

利用主成分分析（PCA）、等距映射（Isomap）和局部線性嵌入（LLE）3種流形學(xué)習(xí)方法對(duì)馬鈴薯圖像數(shù)據(jù)矩陣F進(jìn)行特征提取，并建立不同特征維度的支持向量機(jī)（SVM）馬鈴薯機(jī)械損傷分類模型。然后，利用網(wǎng)格搜索法（grid search）、遺傳算法（GA）以及粒群算法（PSO）優(yōu)化馬鈴薯機(jī)械損傷分類模型的懲罰參數(shù)c和RBF核參數(shù)g，確定最優(yōu)的特征維度，比較3種模型識(shí)別效果，確定最優(yōu)的馬鈴薯機(jī)械損傷判別法。

3.1 PCA-SVM馬鈴薯機(jī)械損傷判別法

PCA是一種使用較廣泛的線性降維方法，通過(guò)原始數(shù)據(jù)的線性組合構(gòu)造方差最大的若干投影方向，從而降低原數(shù)據(jù)的維度。其對(duì)橢球狀分布的樣本集有較好的學(xué)習(xí)效果，但對(duì)具有非線性性質(zhì)的樣本集，卻無(wú)法反應(yīng)出非線性性質(zhì)。算法步驟如下：

1）將N×N大小的圖像數(shù)據(jù)轉(zhuǎn)化為N 2個(gè)元素的一維向量I，建立K×N 2維的圖像數(shù)據(jù)集樣本集

可表示為X={I1, I2, I3… Ij ,j≤K}，

K為圖像樣本數(shù)。 2）求圖像樣本集的協(xié)方差矩陣C=

1∑K

(I?u)(IT

1

K

jj?u)，其中u=j=1

K∑K

I

j

，為圖

j=1

像數(shù)據(jù)集的均值向量。

3）求出協(xié)方差矩陣C的前n個(gè)特征值λ1，λ2，

λ3…λn對(duì)應(yīng)的特征向量Φ={φ1，φ2，φ3…φn，n≤K}。

（

1

2

  本文關(guān)鍵詞：基于流形學(xué)習(xí)算法的馬鈴薯機(jī)械損傷機(jī)器視覺(jué)檢測(cè)方法，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：147103