基于深度神經(jīng)網(wǎng)絡(luò)的低資源條件下關(guān)鍵詞檢索已經(jīng)取得了很大的進展,但這些方法仍舊需要較多的參數(shù)才能保證模型的精度。為了進一步減少模型的參數(shù)量,本文將Squeeze-and-Excitation網(wǎng)絡(luò)和深度可分離卷積應(yīng)用在關(guān)鍵詞檢索任務(wù)中。首先利用Squeeze-and-Excitation網(wǎng)絡(luò)對不同特征通道之間的相互依賴關(guān)系建模的能力進一步提升模型的精度,然后通過將標(biāo)準(zhǔn)卷積替換為深度可分離卷積來有效的減少模型所需要的參數(shù)。在谷歌語音命令數(shù)據(jù)集上的實驗證明我們的模型可以在保證高精度的同時把參數(shù)量限制在一定的范圍內(nèi)。 

【文章來源】：信號處理. 2020,36(06)北大核心CSCD

【文章頁數(shù)】：6 頁

【部分圖文】：

ReSE16模型結(jié)構(gòu)示意圖

Squeeze-and-Excitation網(wǎng)絡(luò)是一種通過建模特征圖各個通道之間的相互依賴關(guān)系來提高網(wǎng)絡(luò)表示能力的新型結(jié)構(gòu)。通過這種結(jié)構(gòu),網(wǎng)絡(luò)可以學(xué)習(xí)使用全局信息來選擇性地強調(diào)某些通道的特征并抑制不太有用的一些通道。如圖1所示,SE網(wǎng)絡(luò)由兩部分組成,首先squeeze將卷積得到的特征圖沿著通道維度壓縮,并由此為每個通道產(chǎn)生一個統(tǒng)計量;接下來excitation利用上一步得到的結(jié)果對各個通道之間的關(guān)系進行建模,并為每個通道計算出一個權(quán)重;最后通過給原有特征圖的各個通道賦予不同的權(quán)重來形成新的特征圖。SE網(wǎng)絡(luò)的具體實現(xiàn)方式如圖2所示,首先將卷積生成的特征圖作為輸入,通過一個平均池化層計算出每個通道上特征信息的均值。接下來的兩個全連接層接收上一步得到的均值,輸出每個通道的對應(yīng)的權(quán)重。最后將權(quán)重與原始特征圖相乘得到新的特征圖。除了最基本的結(jié)構(gòu)外,SE網(wǎng)絡(luò)還能與殘差結(jié)構(gòu)進行組合來產(chǎn)生出不同的殘差塊(Block)。我們會在實驗部分對不同結(jié)構(gòu)的殘差塊進行測試。

SE網(wǎng)絡(luò)的具體實現(xiàn)方式如圖2所示,首先將卷積生成的特征圖作為輸入,通過一個平均池化層計算出每個通道上特征信息的均值。接下來的兩個全連接層接收上一步得到的均值,輸出每個通道的對應(yīng)的權(quán)重。最后將權(quán)重與原始特征圖相乘得到新的特征圖。除了最基本的結(jié)構(gòu)外,SE網(wǎng)絡(luò)還能與殘差結(jié)構(gòu)進行組合來產(chǎn)生出不同的殘差塊(Block)。我們會在實驗部分對不同結(jié)構(gòu)的殘差塊進行測試。2.3 深度可分離卷積


本文編號：3431647