近年來(lái),隨著卷積神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展,網(wǎng)絡(luò)的深度不斷增加,對(duì)硬件設(shè)備的計(jì)算能力和存儲(chǔ)空間提出了越來(lái)越高的要求。降低卷積神經(jīng)網(wǎng)絡(luò)的資源消耗對(duì)深度學(xué)習(xí)在嵌入式平臺(tái)上的部署具有重要意義。二值化神經(jīng)網(wǎng)絡(luò)可以有效提高硬件設(shè)備的計(jì)算效率,既可以加速硬件計(jì)算,也可以降低內(nèi)存開(kāi)銷(xiāo),為深度學(xué)習(xí)在嵌入式設(shè)備上的部署提供了一種新的方法。FPGA芯片內(nèi)有著豐富的邏輯與計(jì)算單元,它高性能,低功耗優(yōu)點(diǎn)使其非常適合作為嵌入式端的專(zhuān)用計(jì)算設(shè)備,可以滿(mǎn)足深度學(xué)習(xí)算法的計(jì)算需求。本文圍繞二值化卷積神經(jīng)網(wǎng)絡(luò)在嵌入式平臺(tái)上的性能優(yōu)化開(kāi)展研究,提出了一種新型的二值化卷積神經(jīng)網(wǎng)絡(luò),并在FPGA平臺(tái)上實(shí)現(xiàn)了前向計(jì)算加速,本文的主要研究?jī)?nèi)容如下:(1)為提高二值化卷積神經(jīng)網(wǎng)絡(luò)的性能,研究了二值化神經(jīng)網(wǎng)絡(luò)的反向傳播算法并進(jìn)行改進(jìn),利用密集連接增強(qiáng)二值化神經(jīng)網(wǎng)絡(luò)的表示能力,有效提升了網(wǎng)絡(luò)的性能,同時(shí)保證了網(wǎng)絡(luò)模型的參數(shù)數(shù)量不增加。(2)為有效將二值化神經(jīng)網(wǎng)絡(luò)模型遷移到硬件平臺(tái)實(shí)現(xiàn),首先進(jìn)行了本文網(wǎng)絡(luò)模型的可并行性研究,確定了多個(gè)層次上的并行方案。其次,以上述并行方案為基礎(chǔ)完成了二值化卷積神經(jīng)網(wǎng)絡(luò)總體并行架構(gòu)的設(shè)計(jì)。最后,針對(duì)二值化神經(jīng)網(wǎng)絡(luò)...

【文章頁(yè)數(shù)】：64 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 卷積神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀
        1.2.2 二值化神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀
        1.2.3 卷積神經(jīng)網(wǎng)絡(luò)硬件加速研究現(xiàn)狀
    1.3 本文研究?jī)?nèi)容
    1.4 本文結(jié)構(gòu)安排
第二章 卷積神經(jīng)網(wǎng)絡(luò)及其二值化算法
    2.1 卷積神經(jīng)網(wǎng)絡(luò)概述
        2.1.1 深度學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介
        2.1.2 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)
    2.2 神經(jīng)網(wǎng)絡(luò)量化概述
        2.2.1 神經(jīng)網(wǎng)絡(luò)量化方法簡(jiǎn)介
        2.2.2 二值化神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介
    2.3 本章小結(jié)
第三章 深度學(xué)習(xí)算法的FPGA實(shí)現(xiàn)
    3.1 現(xiàn)場(chǎng)可編程門(mén)陣列
        3.1.1 現(xiàn)場(chǎng)可編程門(mén)陣列內(nèi)部資源
        3.1.2 現(xiàn)場(chǎng)可編程門(mén)陣列工作原理
    3.2 基于FPGA的深度學(xué)習(xí)算法開(kāi)發(fā)及優(yōu)化方法
        3.2.1 使用硬件描述語(yǔ)言進(jìn)行開(kāi)發(fā)
        3.2.2 使用高級(jí)語(yǔ)言進(jìn)行開(kāi)發(fā)
        3.2.3 從高級(jí)語(yǔ)言到硬件描述語(yǔ)言
        3.2.4 FPGA開(kāi)發(fā)優(yōu)化策略研究
    3.3 本章小結(jié)
第四章 卷積神經(jīng)網(wǎng)絡(luò)的二值化算法研究及實(shí)驗(yàn)
    4.1 卷積神經(jīng)網(wǎng)絡(luò)的二值化算法研究
        4.1.1 二值化神經(jīng)網(wǎng)絡(luò)的梯度下降算法研究
        4.1.2 基于密集連接的二值化卷積神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)
    4.2 二值化卷積神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)
        4.2.1 二值化神經(jīng)網(wǎng)絡(luò)訓(xùn)練與預(yù)測(cè)平臺(tái)
        4.2.2 二值化卷積神經(jīng)網(wǎng)絡(luò)的圖像分類(lèi)實(shí)驗(yàn)
        4.2.3 二值化神經(jīng)網(wǎng)絡(luò)性能對(duì)比分析
    4.3 本章小結(jié)
第五章 二值化卷積神經(jīng)網(wǎng)絡(luò)的FPGA實(shí)現(xiàn)
    5.1 卷積神經(jīng)網(wǎng)絡(luò)并行性分析
    5.2 FPGA硬件加速器設(shè)計(jì)
        5.2.1 網(wǎng)絡(luò)整體架構(gòu)設(shè)計(jì)
        5.2.2 卷積運(yùn)算模塊
        5.2.3 池化運(yùn)算模塊
        5.2.4 激活函數(shù)模塊
        5.2.5 卷積神經(jīng)網(wǎng)絡(luò)的二值化加速研究
    5.3 二值化卷積神經(jīng)網(wǎng)絡(luò)的FPGA前向預(yù)測(cè)實(shí)驗(yàn)
        5.3.1 FPGA預(yù)測(cè)平臺(tái)
        5.3.2 FPGA并行加速實(shí)驗(yàn)
        5.3.3 不同平臺(tái)的性能對(duì)比分析
    5.4 本章小結(jié)
第六章 總結(jié)與展望
    6.1 全文總結(jié)
    6.2 研究展望
參考文獻(xiàn)
致謝
攻讀學(xué)位期間取得的研究成果



本文編號(hào)：3810615