研究了一種將遷移學(xué)習(xí)引入到地基云圖自動識別深度學(xué)習(xí)網(wǎng)絡(luò)中的學(xué)習(xí)過程,其中深度學(xué)習(xí)網(wǎng)絡(luò)采用AlexNet經(jīng)典網(wǎng)絡(luò)模型,數(shù)據(jù)集采用ImageNet樣本庫進行預(yù)訓(xùn)練,學(xué)習(xí)過程中采用微調(diào)操作對網(wǎng)絡(luò)的權(quán)值進行最佳調(diào)整。通過對10類地基云圖的仿真實驗,可以看出,由于云圖類別較多,分類任務(wù)較難,將遷移學(xué)習(xí)和微調(diào)方法引入到深度學(xué)習(xí)地基云圖自動識別中,是可行和有效的。該方法的有效實施,為深度學(xué)習(xí)在高精度的地基云圖分類以及其他領(lǐng)域圖像識別奠定了技術(shù)基礎(chǔ)。 

【文章來源】：電子器件. 2020,43(06)北大核心

【文章頁數(shù)】：5 頁

【部分圖文】：

AlexNet網(wǎng)絡(luò)

檢驗網(wǎng)絡(luò)預(yù)訓(xùn)練模型樣例

如果訓(xùn)練精度較高,則考慮測試精度。如果測試精度也很高,則可以接受超參數(shù)的選擇,或者可以對超參數(shù)進行更多的調(diào)整,以確定達(dá)到更高更滿意的精度。當(dāng)訓(xùn)練精度較高而測試精度較低時,則模型很可能存在過擬合。處理過擬合采用增加樣本數(shù)、增加模型中的正則化量和減少模型中的參數(shù)個數(shù)。增加正則化的數(shù)量包括增加L2正則化對權(quán)重的影響、增加隨機失活或添加批標(biāo)準(zhǔn)化;減少參數(shù)的數(shù)量則可以通過減少神經(jīng)元層的數(shù)量或減少層的數(shù)量來實現(xiàn)。一般情況下,當(dāng)增加正則化不能提高驗證精度時,可以減少模型參數(shù),以避免降低模型的表達(dá)能力。但如果模型對訓(xùn)練數(shù)據(jù)執(zhí)行得近乎完美,而對驗證數(shù)據(jù)執(zhí)行得很差,那么在樣本充足的前提下,減少參數(shù)的數(shù)量可以對超參數(shù)有效調(diào)整。實驗中批處理大小設(shè)置為32,訓(xùn)練在180個epoch處停止。使用Adam優(yōu)化器[9],微調(diào)層的學(xué)習(xí)率為0.000 1,學(xué)習(xí)率[10]衰減為0.99,凍結(jié)層的學(xué)習(xí)率為0。訓(xùn)練通過權(quán)重衰減來正則化(L2正則化系數(shù)設(shè)置為0.001),前兩個全連接層則通過隨機失活進行正則化(隨機失活比例默認(rèn)設(shè)置為0.5)。

【參考文獻】：
期刊論文
[1]基于遷移學(xué)習(xí)的水產(chǎn)動物圖像識別方法[J]. 王柯力,袁紅春.  計算機應(yīng)用. 2018(05)
[2]遷移學(xué)習(xí)研究綜述[J]. 王惠.  電腦知識與技術(shù). 2017(32)



本文編號：3068258