傳統(tǒng)的關(guān)鍵詞搜索（KWS, Keyword Search）系統(tǒng)依靠自動(dòng)語(yǔ)音識(shí)別（ASR, Automatic Speech Recognition）,通常在資源不足的情況下很難訓(xùn)練。為了免去訓(xùn)練完整的語(yǔ)音識(shí)別系統(tǒng),無(wú)語(yǔ)音識(shí)別（ASR-free）的關(guān)鍵詞檢索系統(tǒng)受到越來(lái)越多的歡迎。本文提出了一個(gè)端到端（E2E, End-to-End）的關(guān)鍵詞檢索系統(tǒng),該系統(tǒng)由兩個(gè)編碼器,兩個(gè)解碼器,一個(gè)注意機(jī)制和一個(gè)判別器組成。本文在所提出的系統(tǒng)中引入了注意力機(jī)制,該機(jī)制可以合并編碼器輸出的文本和音頻特征從而輔助定位關(guān)鍵詞所在的位置。在文本和音頻解碼器的不同組合情況下,使用Babel阿薩姆語(yǔ)和普什圖語(yǔ)數(shù)據(jù)集測(cè)試系統(tǒng)。實(shí)驗(yàn)結(jié)果表明,相比于基線系統(tǒng)而言,該系統(tǒng)擁有更好的檢測(cè)性能。相比于基于語(yǔ)音識(shí)別的關(guān)鍵詞檢索系統(tǒng),該系統(tǒng)對(duì)于集外詞（OOV, Out-Of-Vocabulary）,在STWV（Supremum Term Weighted Value）指標(biāo)上,取得了更好的效果。當(dāng)訓(xùn)練數(shù)據(jù)量受限時(shí),該系統(tǒng)比基于語(yǔ)音識(shí)別的關(guān)鍵詞檢索系統(tǒng)更具有優(yōu)勢(shì)。 

【文章來(lái)源】：信號(hào)處理. 2020,36(06)北大核心CSCD

【文章頁(yè)數(shù)】：13 頁(yè)

【部分圖文】：

端到端無(wú)語(yǔ)音識(shí)別關(guān)鍵詞檢索系統(tǒng)基本框架

在第2.4節(jié)中,我們介紹了注意力機(jī)制,它可以將文本編碼器和音頻編碼器所提取的文本和音頻特征進(jìn)行融合。具體而言,注意力機(jī)制可以對(duì)于每個(gè)時(shí)間步生成一組權(quán)重。然后,根據(jù)這組權(quán)重,對(duì)文本和音頻特征所結(jié)合的特征進(jìn)行加權(quán)求和,如式(5)所示。注意力機(jī)制所輸出的權(quán)重如圖2所示。其中,(a)和(b)分別展示了在訓(xùn)練剛開(kāi)始的時(shí)候,對(duì)于負(fù)樣本和正樣本,注意機(jī)制的輸出,圖中底部的高亮水平線表示此時(shí)注意機(jī)制僅僅無(wú)差別的關(guān)注了最末端所對(duì)應(yīng)的特征,此時(shí)對(duì)于關(guān)鍵詞檢索,注意力機(jī)制沒(méi)有起到我們預(yù)想的作用。(c)和(d)分別表示在經(jīng)過(guò)訓(xùn)練模型收斂后,負(fù)樣本和正樣本對(duì)應(yīng)的注意力機(jī)制輸出,可以看到,注意機(jī)制關(guān)注正樣本的總體特征的上半部分(也就是語(yǔ)音段中比較靠前的部分),而對(duì)于負(fù)樣本的注意力機(jī)制則幾乎無(wú)差別地關(guān)注了所有時(shí)間步。需要指出的是,在基于注意力機(jī)制的語(yǔ)音識(shí)別系統(tǒng)中,注意力機(jī)制輸出的圖像一般是類(lèi)似于階梯狀的,其原理在于訓(xùn)練模型的對(duì)齊能力。然而,對(duì)于關(guān)鍵詞檢索系統(tǒng)的注意力機(jī)制中,僅僅需要使注意力機(jī)制更多地注意到關(guān)鍵詞可能存在的地方,而并不需要對(duì)齊,所以此處的注意力機(jī)制所輸出的權(quán)重是不呈階梯狀的。這是語(yǔ)音識(shí)別中和關(guān)鍵詞檢索中的注意力機(jī)制的主要差別。

【參考文獻(xiàn)】：
期刊論文
[1]采用詞圖相交融合的語(yǔ)音關(guān)鍵詞檢測(cè)方法[J]. 李鵬,屈丹.  信號(hào)處理. 2015(06)



本文編號(hào)：3586071