以深度神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)最近發(fā)展迅速,并實(shí)際運(yùn)用在圖像識(shí)別、語音識(shí)別和自然語言處理等諸多領(lǐng)域。然而有研究指出深度學(xué)習(xí)還存在一些問題,其中可能會(huì)造成重大安全問題的對(duì)抗樣本問題引起了學(xué)術(shù)界廣泛關(guān)注。對(duì)深度學(xué)習(xí)對(duì)抗樣本問題進(jìn)行深度而全面的探討,不僅有助于解決潛藏的安全隱患,也利于促進(jìn)深度學(xué)習(xí)理論的研究,具有重要的理論和現(xiàn)實(shí)意義。本文針對(duì)深度學(xué)習(xí)對(duì)抗樣本問題,對(duì)深度神經(jīng)網(wǎng)絡(luò)和對(duì)抗樣本進(jìn)行深入地理論研究和實(shí)驗(yàn)分析,并將知識(shí)蒸餾應(yīng)用于深度學(xué)習(xí)對(duì)抗樣本問題,提出了一種新的對(duì)抗樣本的防御策略,并且在對(duì)抗樣本的應(yīng)用上基于對(duì)抗樣本和知識(shí)蒸餾提出一種新的模型集成方法。本文的主要工作和成果如下:1.針對(duì)對(duì)抗樣本問題,提出一種基于對(duì)抗訓(xùn)練和知識(shí)蒸餾的防御方法,兩階段對(duì)抗知識(shí)遷移。此方法先將對(duì)抗樣本作為訓(xùn)練數(shù)據(jù)進(jìn)行對(duì)抗訓(xùn)練得到魯棒性強(qiáng)的復(fù)雜的教師網(wǎng)絡(luò),完成將對(duì)抗知識(shí)從數(shù)據(jù)遷移到模型;其次利用教師網(wǎng)路對(duì)干凈樣本和對(duì)抗樣本輸出的軟標(biāo)簽進(jìn)行知識(shí)蒸餾,得到魯棒性強(qiáng)的學(xué)生網(wǎng)絡(luò),完成將對(duì)抗知識(shí)從模型遷移到模型。2.針對(duì)對(duì)抗樣本的應(yīng)用,提出一種基于知識(shí)蒸餾和對(duì)抗樣本的集成方法。影響模型集成的要素有模型準(zhǔn)確性和模型差異性,...

【文章頁數(shù)】：69 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第1章 引言
    1.1 研究背景
    1.2 研究現(xiàn)狀
    1.3 研究意義
    1.4 論文結(jié)構(gòu)
    參考文獻(xiàn)
第2章 深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)
    2.1 人工神經(jīng)網(wǎng)絡(luò)
    2.2 深度學(xué)習(xí)
        2.2.1 CNN結(jié)構(gòu)
        2.2.2 經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)
        2.2.3 深度神經(jīng)網(wǎng)絡(luò)的壓縮
    參考文獻(xiàn)
第3章 深度學(xué)習(xí)中的對(duì)抗樣本問題
    3.1 對(duì)抗樣本的定義
    3.2 生成對(duì)抗樣本的攻擊方法
        3.2.1 Box-constrained L-BFGS攻擊方法
        3.2.2 FGSM攻擊方法及其衍生方法
        3.2.3 C&W攻擊方法及其衍生方法
        3.2.4 DeepFool攻擊方法
        3.2.5 JSMA攻擊方法
    3.3 防御對(duì)抗樣本的防御策略
        3.3.1 對(duì)抗訓(xùn)練
        3.3.2 隱藏梯度信息
    參考文獻(xiàn)
第4章 兩階段對(duì)抗知識(shí)遷移
    4.1 對(duì)抗知識(shí)遷移
        4.1.1 對(duì)抗知識(shí)從數(shù)據(jù)到模型遷移
        4.1.2 對(duì)抗知識(shí)從模型到模型遷移
    4.2 實(shí)驗(yàn)評(píng)估
        4.2.1 數(shù)據(jù)集與模型設(shè)置
        4.2.2 對(duì)抗知識(shí)遷移的有效性
        4.2.3 模型的魯棒性評(píng)估
        4.2.4 訓(xùn)練過程的收斂性分析
    4.3 結(jié)論
    參考文獻(xiàn)
第5章 基于對(duì)抗樣本蒸餾的神經(jīng)網(wǎng)絡(luò)集成
    5.1 預(yù)備知識(shí)
        5.1.1 對(duì)抗樣本增強(qiáng)知識(shí)蒸餾
        5.1.2 神經(jīng)網(wǎng)絡(luò)集成
    5.2 基于對(duì)抗樣本蒸餾的神經(jīng)網(wǎng)絡(luò)集成
        5.2.1 知識(shí)蒸餾和邊界支持對(duì)抗樣本的實(shí)現(xiàn)
        5.2.2 神經(jīng)網(wǎng)絡(luò)集成的實(shí)現(xiàn)
        5.2.3 基于對(duì)抗樣本蒸餾的神經(jīng)網(wǎng)絡(luò)集成
    5.3 實(shí)驗(yàn)評(píng)估
        5.3.1 數(shù)據(jù)集與網(wǎng)絡(luò)結(jié)構(gòu)
        5.3.2 不同溫度下知識(shí)蒸餾網(wǎng)絡(luò)的性能
        5.3.3 知識(shí)蒸餾模型的集成
        5.3.4 基于對(duì)抗樣本蒸餾的神經(jīng)網(wǎng)絡(luò)集成
    5.4 結(jié)論
    參考文獻(xiàn)
第6章 結(jié)論與展望
    6.1 結(jié)論
    6.2 展望
致謝
攻讀學(xué)位期間參加的科研項(xiàng)目和成果



本文編號(hào)：3864743