基于遷移學(xué)習(xí)的林業(yè)業(yè)務(wù)圖像識(shí)別
發(fā)布時(shí)間:2021-03-27 18:02
【目的】林業(yè)業(yè)務(wù)圖像的識(shí)別分類有利于林業(yè)管理部門(mén)對(duì)相關(guān)事件作出合理的處置方案及指揮調(diào)度決策,從而充分發(fā)揮護(hù)林員的作用,提升森林管護(hù)的水平,達(dá)到保護(hù)森林資源和生態(tài)安全的目的!痉椒ā刻岢隽艘环N針對(duì)林業(yè)業(yè)務(wù)圖像基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks)自動(dòng)分類模型。在經(jīng)過(guò)大規(guī)模輔助圖像數(shù)據(jù)集ImageNet預(yù)訓(xùn)練的4種卷積神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上,使用林業(yè)業(yè)務(wù)圖像數(shù)據(jù)對(duì)訓(xùn)練好的模型進(jìn)行遷移學(xué)習(xí),采用新的全連接層取代原始的全連接層,其他層參數(shù)保持不變。【結(jié)果】在建立的4個(gè)類別林業(yè)業(yè)務(wù)圖像數(shù)據(jù)集上,4個(gè)預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的遷移學(xué)習(xí)模型都具有較高的分類正確率。其中,基于Inception-v3的遷移學(xué)習(xí)模型識(shí)別精度最高,達(dá)到96.4%!窘Y(jié)論】利用基于Inception-v3的遷移學(xué)習(xí)模型進(jìn)行林業(yè)業(yè)務(wù)圖像分類是可行的。相比傳統(tǒng)的特征提取識(shí)別方法以及其他預(yù)訓(xùn)練模型,Inception-v3模型具有很強(qiáng)的分類能力,可以在森林管護(hù)中發(fā)揮更廣泛的應(yīng)用。
【文章來(lái)源】:南京林業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版). 2020,44(04)北大核心CSCD
【文章頁(yè)數(shù)】:7 頁(yè)
【部分圖文】:
Inception模塊
實(shí)驗(yàn)中的模型結(jié)構(gòu)編寫(xiě)以及訓(xùn)練測(cè)試均通過(guò)深度學(xué)習(xí)框架TensorFlow實(shí)現(xiàn)。本研究采用的遷移學(xué)習(xí)方法分為兩步:第1步,用去掉最后一層全連接層的預(yù)訓(xùn)練模型對(duì)所有圖片提取特征值,實(shí)現(xiàn)參數(shù)遷移,把所有圖片對(duì)應(yīng)的特征值存儲(chǔ)在硬盤(pán)中,這些特征值將作為后續(xù)訓(xùn)練的輸入;第2步,構(gòu)造一個(gè)新的淺層網(wǎng)絡(luò),本次采用一層全連接層,使用第1步得到的特征值輸入新的網(wǎng)絡(luò),不斷訓(xùn)練這個(gè)網(wǎng)絡(luò),直至模型收斂。基于遷移學(xué)習(xí)的林業(yè)業(yè)務(wù)圖像分類模型訓(xùn)練過(guò)程見(jiàn)圖2。新的全連接層的初始化分布采用均值為0、方差為0.001的截?cái)嗾龖B(tài)分布,該部分產(chǎn)生的隨機(jī)數(shù)與均值的差距不會(huì)超過(guò)兩倍的標(biāo)準(zhǔn)差。至于剩余的池化層和卷積層等則保留其原來(lái)的參數(shù),且不參與接下來(lái)的訓(xùn)練。所有模型訓(xùn)練的步數(shù)均為6 000,都采用10折交叉驗(yàn)證法得出準(zhǔn)確率,初始的學(xué)習(xí)率設(shè)置為0.01。采用Adam優(yōu)化算法[26]對(duì)模型進(jìn)行訓(xùn)練,Adam優(yōu)化算法是一種可以替代傳統(tǒng)隨機(jī)梯度下降過(guò)程的一階優(yōu)化算法,它能基于訓(xùn)練數(shù)據(jù)迭代地更新神經(jīng)網(wǎng)絡(luò)權(quán)重。Adam算法和傳統(tǒng)的隨機(jī)梯度下降[26]不同,隨機(jī)梯度下降保持單一的學(xué)習(xí)率更新所有的權(quán)重,學(xué)習(xí)率在訓(xùn)練過(guò)程中并不會(huì)改變;而Adam通過(guò)計(jì)算梯度的一階矩估計(jì)和二階矩估計(jì)為不同的參數(shù)設(shè)計(jì)獨(dú)立的自適應(yīng)性學(xué)習(xí)率。1.4 數(shù)據(jù)增強(qiáng)
分別對(duì)4種預(yù)訓(xùn)練模型進(jìn)行遷移學(xué)習(xí),測(cè)試準(zhǔn)確率曲線如圖3所示,可以看出Inception-v3測(cè)試準(zhǔn)確率最高,Inception-v1略高于Inception-v2,VGG-16最低。觀察Inception-v3測(cè)試準(zhǔn)確率曲線,700步左右時(shí),其測(cè)試準(zhǔn)確率就達(dá)到峰值(96.4%),之后測(cè)試準(zhǔn)確率回落至95.6%左右,到達(dá)4 000步左右才基本平穩(wěn)不變,4 000步之前測(cè)試準(zhǔn)確率出現(xiàn)比較頻繁的波動(dòng)現(xiàn)象,產(chǎn)生這種現(xiàn)象的原因有兩方面:一是基于訓(xùn)練數(shù)據(jù)計(jì)算的梯度值可能使每一次參數(shù)的優(yōu)化方向只是朝局部最優(yōu)解進(jìn)行,而局部最優(yōu)解有時(shí)和全局最優(yōu)解相差甚遠(yuǎn),產(chǎn)生測(cè)試準(zhǔn)確率的上下波動(dòng);二是由于學(xué)習(xí)率比較大,使得梯度值過(guò)大,在模型測(cè)試準(zhǔn)確率接近極值的時(shí)候,反而跨過(guò)極值,在極值附近反復(fù)震蕩。2.2 測(cè)試準(zhǔn)確率和單位推斷時(shí)間分析
【參考文獻(xiàn)】:
期刊論文
[1]基于深度學(xué)習(xí)的樹(shù)種圖像自動(dòng)識(shí)別[J]. 劉嘉政,王雪峰,王甜. 南京林業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版). 2020(01)
[2]基于改進(jìn)深度卷積神經(jīng)網(wǎng)絡(luò)的蘋(píng)果病害識(shí)別[J]. 張善文,張晴晴,李萍. 林業(yè)工程學(xué)報(bào). 2019(04)
[3]基于遷移學(xué)習(xí)的樹(shù)種識(shí)別[J]. 高旋,趙亞鳳,熊強(qiáng),陳喆. 森林工程. 2019(05)
[4]深度卷積神經(jīng)網(wǎng)絡(luò)在遷移學(xué)習(xí)模式下的SAR目標(biāo)識(shí)別[J]. 李松,魏中浩,張冰塵,洪文. 中國(guó)科學(xué)院大學(xué)學(xué)報(bào). 2018(01)
[5]大連市護(hù)林員隊(duì)伍體系建設(shè)措施及建議[J]. 張罡. 現(xiàn)代農(nóng)業(yè)科技. 2018(01)
[6]基于遷移學(xué)習(xí)的水產(chǎn)動(dòng)物圖像識(shí)別方法[J]. 王柯力,袁紅春. 計(jì)算機(jī)應(yīng)用. 2018(05)
[7]森林管護(hù)措施及造林工作探析[J]. 李維剛. 黑龍江科學(xué). 2017(24)
[8]基于詞袋模型的林業(yè)業(yè)務(wù)圖像分類[J]. 張廣群,李英杰,汪杭軍. 浙江農(nóng)林大學(xué)學(xué)報(bào). 2017(05)
[9]基于北斗位置服務(wù)的森林管護(hù)及系統(tǒng)研發(fā)[J]. 胡鴻,楊雪清,吳東亮. 中南林業(yè)科技大學(xué)學(xué)報(bào). 2017(09)
[10]遙感圖像飛機(jī)目標(biāo)分類的卷積神經(jīng)網(wǎng)絡(luò)方法[J]. 周敏,史振威,丁火平. 中國(guó)圖象圖形學(xué)報(bào). 2017(05)
本文編號(hào):3103950
【文章來(lái)源】:南京林業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版). 2020,44(04)北大核心CSCD
【文章頁(yè)數(shù)】:7 頁(yè)
【部分圖文】:
Inception模塊
實(shí)驗(yàn)中的模型結(jié)構(gòu)編寫(xiě)以及訓(xùn)練測(cè)試均通過(guò)深度學(xué)習(xí)框架TensorFlow實(shí)現(xiàn)。本研究采用的遷移學(xué)習(xí)方法分為兩步:第1步,用去掉最后一層全連接層的預(yù)訓(xùn)練模型對(duì)所有圖片提取特征值,實(shí)現(xiàn)參數(shù)遷移,把所有圖片對(duì)應(yīng)的特征值存儲(chǔ)在硬盤(pán)中,這些特征值將作為后續(xù)訓(xùn)練的輸入;第2步,構(gòu)造一個(gè)新的淺層網(wǎng)絡(luò),本次采用一層全連接層,使用第1步得到的特征值輸入新的網(wǎng)絡(luò),不斷訓(xùn)練這個(gè)網(wǎng)絡(luò),直至模型收斂。基于遷移學(xué)習(xí)的林業(yè)業(yè)務(wù)圖像分類模型訓(xùn)練過(guò)程見(jiàn)圖2。新的全連接層的初始化分布采用均值為0、方差為0.001的截?cái)嗾龖B(tài)分布,該部分產(chǎn)生的隨機(jī)數(shù)與均值的差距不會(huì)超過(guò)兩倍的標(biāo)準(zhǔn)差。至于剩余的池化層和卷積層等則保留其原來(lái)的參數(shù),且不參與接下來(lái)的訓(xùn)練。所有模型訓(xùn)練的步數(shù)均為6 000,都采用10折交叉驗(yàn)證法得出準(zhǔn)確率,初始的學(xué)習(xí)率設(shè)置為0.01。采用Adam優(yōu)化算法[26]對(duì)模型進(jìn)行訓(xùn)練,Adam優(yōu)化算法是一種可以替代傳統(tǒng)隨機(jī)梯度下降過(guò)程的一階優(yōu)化算法,它能基于訓(xùn)練數(shù)據(jù)迭代地更新神經(jīng)網(wǎng)絡(luò)權(quán)重。Adam算法和傳統(tǒng)的隨機(jī)梯度下降[26]不同,隨機(jī)梯度下降保持單一的學(xué)習(xí)率更新所有的權(quán)重,學(xué)習(xí)率在訓(xùn)練過(guò)程中并不會(huì)改變;而Adam通過(guò)計(jì)算梯度的一階矩估計(jì)和二階矩估計(jì)為不同的參數(shù)設(shè)計(jì)獨(dú)立的自適應(yīng)性學(xué)習(xí)率。1.4 數(shù)據(jù)增強(qiáng)
分別對(duì)4種預(yù)訓(xùn)練模型進(jìn)行遷移學(xué)習(xí),測(cè)試準(zhǔn)確率曲線如圖3所示,可以看出Inception-v3測(cè)試準(zhǔn)確率最高,Inception-v1略高于Inception-v2,VGG-16最低。觀察Inception-v3測(cè)試準(zhǔn)確率曲線,700步左右時(shí),其測(cè)試準(zhǔn)確率就達(dá)到峰值(96.4%),之后測(cè)試準(zhǔn)確率回落至95.6%左右,到達(dá)4 000步左右才基本平穩(wěn)不變,4 000步之前測(cè)試準(zhǔn)確率出現(xiàn)比較頻繁的波動(dòng)現(xiàn)象,產(chǎn)生這種現(xiàn)象的原因有兩方面:一是基于訓(xùn)練數(shù)據(jù)計(jì)算的梯度值可能使每一次參數(shù)的優(yōu)化方向只是朝局部最優(yōu)解進(jìn)行,而局部最優(yōu)解有時(shí)和全局最優(yōu)解相差甚遠(yuǎn),產(chǎn)生測(cè)試準(zhǔn)確率的上下波動(dòng);二是由于學(xué)習(xí)率比較大,使得梯度值過(guò)大,在模型測(cè)試準(zhǔn)確率接近極值的時(shí)候,反而跨過(guò)極值,在極值附近反復(fù)震蕩。2.2 測(cè)試準(zhǔn)確率和單位推斷時(shí)間分析
【參考文獻(xiàn)】:
期刊論文
[1]基于深度學(xué)習(xí)的樹(shù)種圖像自動(dòng)識(shí)別[J]. 劉嘉政,王雪峰,王甜. 南京林業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版). 2020(01)
[2]基于改進(jìn)深度卷積神經(jīng)網(wǎng)絡(luò)的蘋(píng)果病害識(shí)別[J]. 張善文,張晴晴,李萍. 林業(yè)工程學(xué)報(bào). 2019(04)
[3]基于遷移學(xué)習(xí)的樹(shù)種識(shí)別[J]. 高旋,趙亞鳳,熊強(qiáng),陳喆. 森林工程. 2019(05)
[4]深度卷積神經(jīng)網(wǎng)絡(luò)在遷移學(xué)習(xí)模式下的SAR目標(biāo)識(shí)別[J]. 李松,魏中浩,張冰塵,洪文. 中國(guó)科學(xué)院大學(xué)學(xué)報(bào). 2018(01)
[5]大連市護(hù)林員隊(duì)伍體系建設(shè)措施及建議[J]. 張罡. 現(xiàn)代農(nóng)業(yè)科技. 2018(01)
[6]基于遷移學(xué)習(xí)的水產(chǎn)動(dòng)物圖像識(shí)別方法[J]. 王柯力,袁紅春. 計(jì)算機(jī)應(yīng)用. 2018(05)
[7]森林管護(hù)措施及造林工作探析[J]. 李維剛. 黑龍江科學(xué). 2017(24)
[8]基于詞袋模型的林業(yè)業(yè)務(wù)圖像分類[J]. 張廣群,李英杰,汪杭軍. 浙江農(nóng)林大學(xué)學(xué)報(bào). 2017(05)
[9]基于北斗位置服務(wù)的森林管護(hù)及系統(tǒng)研發(fā)[J]. 胡鴻,楊雪清,吳東亮. 中南林業(yè)科技大學(xué)學(xué)報(bào). 2017(09)
[10]遙感圖像飛機(jī)目標(biāo)分類的卷積神經(jīng)網(wǎng)絡(luò)方法[J]. 周敏,史振威,丁火平. 中國(guó)圖象圖形學(xué)報(bào). 2017(05)
本文編號(hào):3103950
本文鏈接:http://sikaile.net/nykjlw/lylw/3103950.html
最近更新
教材專著