近年來,深度學(xué)習(xí)及相關(guān)方法已經(jīng)在計算機(jī)視覺研究領(lǐng)域占據(jù)了統(tǒng)治地位。隨著GPU等高速計算處理硬件的逐步普及,在計算量得到保證的情況下,設(shè)計包含更多層數(shù)的卷積神經(jīng)網(wǎng)絡(luò)模型可以簡單有效地大幅提升各種計算機(jī)視覺任務(wù)的精確度。然而,簡單地增加網(wǎng)絡(luò)層數(shù)存在一些明顯的問題。首先,模型的精確度隨著層數(shù)增加到一定程度后達(dá)到穩(wěn)定,無法進(jìn)一步上升甚至不升反降。這種現(xiàn)象稱為模型退化（Degradation）。堆疊卷積層并不能增加模型學(xué)習(xí)到的非線性項,所以并不利于復(fù)雜問題中的特征分布擬合。其次,層數(shù)的增加帶來了參數(shù)與計算量的大幅增加,導(dǎo)致模型訓(xùn)練時間大幅上升,不利于實際問題中的模型應(yīng)用�？梢钥闯�,卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計尚存在較大的研究空間。受到將單支神經(jīng)網(wǎng)絡(luò)改進(jìn)為多支網(wǎng)絡(luò)的啟發(fā),我們將神經(jīng)網(wǎng)絡(luò)中的每一個卷積層都改進(jìn)為一個由并行的兩分支組成的二階響應(yīng)變換（Second-Order Response Transform,SORT）模塊。在傳統(tǒng)的兩分支神經(jīng)網(wǎng)絡(luò)對于分支輸出求和的基礎(chǔ)上,我們增加了按位求乘積的操作,使得最終傳遞的響應(yīng)同時包含一階項和二階項。二階響應(yīng)變換的一大優(yōu)勢是可以促進(jìn)網(wǎng)絡(luò)中不同分支間的響應(yīng)的共享和傳播... 

【文章頁數(shù)】：93 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景及意義
        1.1.1 圖像模式識別
        1.1.2 深度卷積神經(jīng)網(wǎng)絡(luò)
        1.1.3 卷積神經(jīng)網(wǎng)絡(luò)改進(jìn)
    1.2 本文的主要研究內(nèi)容與創(chuàng)新成果
    1.3 本文的結(jié)構(gòu)安排
第二章 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)演變
    2.1 卷積神經(jīng)網(wǎng)絡(luò)
        2.1.1 GoogLeNet與 Inception模塊
        2.1.2 由Highway網(wǎng)絡(luò)到殘差神經(jīng)網(wǎng)絡(luò)
        2.1.3 多支網(wǎng)絡(luò)結(jié)構(gòu)的近期發(fā)展
        2.1.4 雙線性神經(jīng)網(wǎng)絡(luò)(Bilinear CNN)
    2.2 本章小結(jié)
第三章 二階響應(yīng)變換
    3.1 研究背景:多分支網(wǎng)絡(luò)連接方法
    3.2 二階響應(yīng)變換模塊
        3.2.1 結(jié)構(gòu)簡述
        3.2.2 分支間的響應(yīng)傳播
        3.2.3 網(wǎng)絡(luò)中的非線性
        3.2.4 與其他研究工作的關(guān)系
    3.3 小規(guī)模圖片數(shù)據(jù)集上的實驗
        3.3.1 實驗環(huán)境
        3.3.2 實驗?zāi)Ｐ?br>        3.3.3 實驗結(jié)果
        3.3.4 實驗結(jié)果分析與討論
    3.4 大規(guī)模圖片數(shù)據(jù)集上的實驗
        3.4.1 實驗環(huán)境
        3.4.2 實驗結(jié)果
        3.4.3 實驗結(jié)果討論與分析
    3.5 遷移學(xué)習(xí)
    3.6 本章小結(jié)
第四章 多尺度空間不對稱校正
    4.1 研究背景:注意力模型
    4.2 多尺度空間不對稱校正模塊
        4.2.1 卷積網(wǎng)絡(luò)與空間不對稱性
        4.2.2 空間不對稱重標(biāo)定
        4.2.3 多尺度空間不對稱重標(biāo)定
        4.2.4 多種卷積神經(jīng)網(wǎng)絡(luò)上的重標(biāo)定模型設(shè)計
        4.2.5 模型計算量
    4.3 CIFAR數(shù)據(jù)集上的實驗
        4.3.1 實驗環(huán)境
        4.3.2 實驗結(jié)果與分析
    4.4 消融實驗與分析
    4.5 ILSVRC2012 數(shù)據(jù)集上的實驗
        4.5.1 實驗環(huán)境
        4.5.2 實驗結(jié)果與分析
    4.6 本章小結(jié)
第五章 全文總結(jié)與研究展望
    5.1 全文總結(jié)
    5.2 研究展望
參考文獻(xiàn)
致謝
攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文



本文編號：3682228