深度神經(jīng)網(wǎng)絡(luò)模型直接用于識(shí)別有限的佤語(yǔ)語(yǔ)音很容易陷入過(guò)擬合的窘境.而元學(xué)習(xí)善于解決小樣本因數(shù)據(jù)不足導(dǎo)致的過(guò)擬合學(xué)習(xí)問(wèn)題,利用平攤機(jī)制將以往經(jīng)驗(yàn)應(yīng)用于新任務(wù)學(xué)習(xí)能夠有效減少對(duì)目標(biāo)數(shù)據(jù)集的要求.選用原始的與模型無(wú)關(guān)的元學(xué)習(xí)(MAML)和近似一階MAML梯度更新的Reptile對(duì)佤語(yǔ)語(yǔ)譜圖進(jìn)行識(shí)別研究.基于兩組對(duì)比實(shí)驗(yàn)結(jié)果表明,元學(xué)習(xí)具有快速學(xué)習(xí)能力,并且能顯著提高網(wǎng)絡(luò)的收斂能力和泛化能力.在相同的實(shí)驗(yàn)設(shè)置條件下,MAML和Reptile對(duì)5-way 1-shot的實(shí)驗(yàn)準(zhǔn)確率分別達(dá)到74.5%和61.6%,對(duì)5-way 5-shot的識(shí)別準(zhǔn)確率分別達(dá)到94.5%和93.6%.

【文章頁(yè)數(shù)】：7 頁(yè)

【部分圖文】：

圖1基學(xué)習(xí)器和元學(xué)習(xí)的學(xué)習(xí)過(guò)程圖[16]

2017年Fine[20]提出了1種與模型無(wú)關(guān)的元學(xué)習(xí)方法(MAML),該方法在元訓(xùn)練階段Metatrain通過(guò)梯度下降的方法為不同的任務(wù)場(chǎng)景初始化模型參數(shù),在元測(cè)試階段Metatest通過(guò)幾步微調(diào)就可以實(shí)現(xiàn)很好的識(shí)別結(jié)果.因此,MAML的關(guān)鍵是新任務(wù)下初始參數(shù)的獲得,即Meta....

圖2基于Reptile的學(xué)習(xí)過(guò)程[26]

Retile通過(guò)學(xué)習(xí)不同任務(wù)的初始參數(shù)W,當(dāng)面對(duì)新任務(wù)時(shí)能夠通過(guò)公共最近快速找到新任務(wù)的梯度下降方向,如圖2所示.3實(shí)驗(yàn)

圖3佤語(yǔ)語(yǔ)譜圖

佤語(yǔ)數(shù)據(jù)集作為實(shí)驗(yàn)的研究對(duì)象,數(shù)據(jù)集由兩男兩女對(duì)1860類孤立詞進(jìn)行發(fā)音,每人對(duì)每類孤立詞讀5遍,總計(jì)37200條佤語(yǔ)孤立詞語(yǔ)音.相比imageNet數(shù)據(jù)集中1200類,每類1000個(gè)樣本,佤語(yǔ)數(shù)據(jù)集中的數(shù)據(jù)類別多,每類所含數(shù)據(jù)少的特點(diǎn),訓(xùn)練樣本不足.將語(yǔ)音信號(hào)通過(guò)傅里葉....

圖4MAML準(zhǔn)確率變化曲線

元學(xué)習(xí)使任務(wù)分配上的損失最小化,在同一任務(wù)的梯度更新內(nèi)積最大化,即使在小樣本學(xué)習(xí)的情況下也能達(dá)到不錯(cuò)的效果.MAML和Reptile模型在相同的實(shí)驗(yàn)設(shè)置下對(duì)佤語(yǔ)語(yǔ)譜圖進(jìn)行識(shí)別,實(shí)驗(yàn)結(jié)果表明MMAL達(dá)到的識(shí)別精度更高,而Reptile的收斂速度更快.本實(shí)驗(yàn)的佤語(yǔ)語(yǔ)譜圖并非全屏語(yǔ)譜圖....

本文編號(hào)：3951460