基于深度神經(jīng)網(wǎng)絡(luò)的低資源條件下關(guān)鍵詞檢索已經(jīng)取得了很大的進(jìn)展,但這些方法仍舊需要較多的參數(shù)才能保證模型的精度。為了進(jìn)一步減少模型的參數(shù)量,本文將Squeeze-and-Excitation網(wǎng)絡(luò)和深度可分離卷積應(yīng)用在關(guān)鍵詞檢索任務(wù)中。首先利用Squeeze-and-Excitation網(wǎng)絡(luò)對(duì)不同特征通道之間的相互依賴關(guān)系建模的能力進(jìn)一步提升模型的精度,然后通過(guò)將標(biāo)準(zhǔn)卷積替換為深度可分離卷積來(lái)有效的減少模型所需要的參數(shù)。在谷歌語(yǔ)音命令數(shù)據(jù)集上的實(shí)驗(yàn)證明我們的模型可以在保證高精度的同時(shí)把參數(shù)量限制在一定的范圍內(nèi)。 

【文章來(lái)源】：信號(hào)處理. 2020,36(06)北大核心CSCD

【文章頁(yè)數(shù)】：6 頁(yè)

【部分圖文】：

ReSE16模型結(jié)構(gòu)示意圖

Squeeze-and-Excitation網(wǎng)絡(luò)是一種通過(guò)建模特征圖各個(gè)通道之間的相互依賴關(guān)系來(lái)提高網(wǎng)絡(luò)表示能力的新型結(jié)構(gòu)。通過(guò)這種結(jié)構(gòu),網(wǎng)絡(luò)可以學(xué)習(xí)使用全局信息來(lái)選擇性地強(qiáng)調(diào)某些通道的特征并抑制不太有用的一些通道。如圖1所示,SE網(wǎng)絡(luò)由兩部分組成,首先squeeze將卷積得到的特征圖沿著通道維度壓縮,并由此為每個(gè)通道產(chǎn)生一個(gè)統(tǒng)計(jì)量;接下來(lái)excitation利用上一步得到的結(jié)果對(duì)各個(gè)通道之間的關(guān)系進(jìn)行建模,并為每個(gè)通道計(jì)算出一個(gè)權(quán)重;最后通過(guò)給原有特征圖的各個(gè)通道賦予不同的權(quán)重來(lái)形成新的特征圖。SE網(wǎng)絡(luò)的具體實(shí)現(xiàn)方式如圖2所示,首先將卷積生成的特征圖作為輸入,通過(guò)一個(gè)平均池化層計(jì)算出每個(gè)通道上特征信息的均值。接下來(lái)的兩個(gè)全連接層接收上一步得到的均值,輸出每個(gè)通道的對(duì)應(yīng)的權(quán)重。最后將權(quán)重與原始特征圖相乘得到新的特征圖。除了最基本的結(jié)構(gòu)外,SE網(wǎng)絡(luò)還能與殘差結(jié)構(gòu)進(jìn)行組合來(lái)產(chǎn)生出不同的殘差塊(Block)。我們會(huì)在實(shí)驗(yàn)部分對(duì)不同結(jié)構(gòu)的殘差塊進(jìn)行測(cè)試。

SE網(wǎng)絡(luò)的具體實(shí)現(xiàn)方式如圖2所示,首先將卷積生成的特征圖作為輸入,通過(guò)一個(gè)平均池化層計(jì)算出每個(gè)通道上特征信息的均值。接下來(lái)的兩個(gè)全連接層接收上一步得到的均值,輸出每個(gè)通道的對(duì)應(yīng)的權(quán)重。最后將權(quán)重與原始特征圖相乘得到新的特征圖。除了最基本的結(jié)構(gòu)外,SE網(wǎng)絡(luò)還能與殘差結(jié)構(gòu)進(jìn)行組合來(lái)產(chǎn)生出不同的殘差塊(Block)。我們會(huì)在實(shí)驗(yàn)部分對(duì)不同結(jié)構(gòu)的殘差塊進(jìn)行測(cè)試。2.3 深度可分離卷積


本文編號(hào)：3431647