關(guān)鍵詞識別（Keyword spotting,KWS）是一個(gè)熱門的研究方向,在可穿戴設(shè)備、機(jī)器人和智能家居等領(lǐng)域有著大量的應(yīng)用空間。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）能夠聯(lián)合語音信號時(shí)域和頻域的特征,并且對于噪聲有很好的魯棒性,因此成為關(guān)鍵詞識別中最重要的神經(jīng)網(wǎng)絡(luò)算法之一。但是CNN參數(shù)量和計(jì)算量巨大,限制了關(guān)鍵詞識別在便攜式設(shè)備的部署,因此卷積神經(jīng)網(wǎng)絡(luò)的壓縮有著十分重大的現(xiàn)實(shí)意義。本文的KWS系統(tǒng)是基于CNN實(shí)現(xiàn)的,而CNN是計(jì)算密集型和存儲密集型,因此本文對CNN進(jìn)行壓縮,壓縮主要包括量化和剪枝兩個(gè)方面。通過對權(quán)重參數(shù)、激活值和網(wǎng)絡(luò)輸入進(jìn)行量化以及對卷積層進(jìn)行剪枝,可以大大減小模型的參數(shù)量和計(jì)算量。權(quán)重二值化可以大大壓縮參數(shù)的存儲空間,但二值化造成網(wǎng)絡(luò)性能下降,本文采用漸進(jìn)量化的策略對權(quán)重進(jìn)行二值化,有效減少了網(wǎng)絡(luò)的性能損失。由于CNN模型在計(jì)算過程中每層有大量的輸出（激活值）,通過對激活值進(jìn)行低位寬量化可以大大減小模型大小。對網(wǎng)絡(luò)輸入進(jìn)行量化造成了極大的信息損失,本文提出高階殘差量化方案,通過高階殘差量化從量化丟失的信息中提取有用信息... 

【文章來源】：東南大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：79 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景與意義
        1.1.1 關(guān)鍵詞識別的研究進(jìn)展
        1.1.2 深度神經(jīng)網(wǎng)絡(luò)壓縮的意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 研究內(nèi)容與設(shè)計(jì)指標(biāo)
    1.4 論文組織結(jié)構(gòu)
第二章 卷積神經(jīng)網(wǎng)絡(luò)算法特性分析
    2.1 卷積神經(jīng)網(wǎng)絡(luò)基本算法分析
        2.1.1 神經(jīng)元的模型
        2.1.2 卷積神經(jīng)網(wǎng)絡(luò)算法
    2.2 卷積神經(jīng)網(wǎng)絡(luò)計(jì)算和存儲特性分析
        2.2.1 卷積層計(jì)算特性分析
        2.2.2 全連接層參數(shù)特性分析
    2.3 本章小結(jié)
第三章 基于漸進(jìn)量化和卷積核級剪枝的神經(jīng)網(wǎng)絡(luò)模型壓縮研究
    3.1 神經(jīng)網(wǎng)絡(luò)的量化方案
        3.1.1 權(quán)重的漸進(jìn)量化
        3.1.2 激活值的量化
    3.2 高階殘差量化
    3.3 卷積核級剪枝
        3.3.1 卷積核級剪枝的可行性分析
        3.3.2 基于前后級聯(lián)合評價(jià)策略的卷積核級剪枝方案
    3.4 本章小結(jié)
第四章 基于卷積神經(jīng)網(wǎng)絡(luò)壓縮算法的關(guān)鍵詞識別系統(tǒng)設(shè)計(jì)
    4.1 基于卷積神經(jīng)網(wǎng)絡(luò)的關(guān)鍵詞識別系統(tǒng)設(shè)計(jì)
        4.1.1 特征提取方案設(shè)計(jì)
        4.1.2 關(guān)鍵詞識別網(wǎng)絡(luò)結(jié)構(gòu)
    4.2 基于量化剪枝卷積神經(jīng)網(wǎng)絡(luò)的關(guān)鍵詞識別系統(tǒng)設(shè)計(jì)
        4.2.1 量化技術(shù)在關(guān)鍵詞識別網(wǎng)絡(luò)中的實(shí)施方案
        4.2.2 基于前后級聯(lián)合評價(jià)策略的卷積核級剪枝實(shí)施方案
    4.3 KWS系統(tǒng)的FPGA實(shí)現(xiàn)
    4.4 本章小結(jié)
第五章 驗(yàn)證與結(jié)果分析
    5.1 壓縮技術(shù)有效性驗(yàn)證
        5.1.1 量化方案驗(yàn)證及分析
        5.1.2 基于前后級聯(lián)合評價(jià)策略的卷積核級剪枝方案有效性驗(yàn)證
    5.2 基于卷積神經(jīng)網(wǎng)絡(luò)量化剪枝的KWS系統(tǒng)測試與驗(yàn)證
        5.2.1 KWS系統(tǒng)中量化方案驗(yàn)證
        5.2.2 KWS系統(tǒng)中量化和剪枝聯(lián)合實(shí)施方案驗(yàn)證
        5.2.3 FPGA驗(yàn)證
    5.3 方案對比
第六章 總結(jié)與展望
    6.1 總結(jié)
    6.2 展望
致謝
參考文獻(xiàn)
作者簡介



本文編號：3163136