如何減少面向物聯(lián)網(wǎng)設(shè)備(如可穿戴健康監(jiān)測設(shè)備、微型智能感知設(shè)備等)的神經(jīng)網(wǎng)絡(luò)處理器的功耗與成本,是實現(xiàn)人工智能物聯(lián)網(wǎng)(AIoT)技術(shù)的關(guān)鍵問題。采用二值神經(jīng)網(wǎng)絡(luò)、新型存儲器(如憶阻器RRAM、近閾值SRAM)等近似計算技術(shù),可以大幅降低神經(jīng)網(wǎng)絡(luò)處理器的功耗與成本。然而,RRAM或近閾值SRAM存在較大電路參數(shù)偏差,導致神經(jīng)網(wǎng)絡(luò)的準確度下降較大。如何解決以上近似計算技術(shù)的問題,在降低神經(jīng)網(wǎng)絡(luò)處理器功耗與成本的同時,保證較高的準確度,是本工作的主要研究目標。針對以上問題,本文開展了如下研究工作:(1)通過模擬RRAM/近閾值SRAM的電路參數(shù)偏差,對二值神經(jīng)網(wǎng)絡(luò)的權(quán)值矩陣及準確度進行了大量實驗,發(fā)現(xiàn)經(jīng)過二值量化后的神經(jīng)網(wǎng)絡(luò)具有一定的容錯能力,并且不同權(quán)值矩陣對神經(jīng)網(wǎng)絡(luò)準確度的影響不同。(2)通過分析新型存儲器技術(shù)(包括RRAM和近閾值SRAM)與傳統(tǒng)SRAM存儲技術(shù)的優(yōu)缺點,利用二值神經(jīng)網(wǎng)絡(luò)具有一定容錯能力的特性,提出一種混合權(quán)值存儲機制,將非關(guān)鍵權(quán)值矩陣映射到RRAM/近閾值SRAM,關(guān)鍵權(quán)值矩陣映射到傳統(tǒng)SRAM,大幅降低了硬件功耗與成本,同時保證了足夠的準確度。(3)針對如何搜索二值...

【文章頁數(shù)】：73 頁

【學位級別】：碩士

【部分圖文】：

圖2-1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

電子科技大學碩士學位論文8第二章神經(jīng)網(wǎng)絡(luò)處理器近似計算技術(shù)介紹因為目前大量研究和本文分析對象都主要是基于DCNN，因此本章首先介紹DCNN的結(jié)構(gòu)和原理。接著，從神經(jīng)網(wǎng)絡(luò)算法和硬件電路實現(xiàn)兩個方面，介紹面向低功耗低成本神經(jīng)網(wǎng)絡(luò)處理器的相關(guān)近似計算技術(shù)。在神經(jīng)網(wǎng)絡(luò)算法上，介紹網(wǎng)絡(luò)剪枝....

圖2-2卷積計算過程原理圖

第二章神經(jīng)網(wǎng)絡(luò)處理器近似計算技術(shù)介紹92.1.1卷積層卷積層是DCNN的核心，每個卷積層包含多個卷積核，通過與輸入圖像的卷積運算進行相關(guān)特征提齲每一個卷積層涉及4個超參數(shù)：輸入通道、輸出通道、卷積核的長與寬。輸入通道數(shù)與該層的輸入數(shù)據(jù)通道數(shù)相對應(yīng)，輸出通道數(shù)由網(wǎng)絡(luò)結(jié)構(gòu)決定，卷積核....

圖2-3網(wǎng)絡(luò)剪枝示意圖

電子科技大學碩士學位論文102.1.2全連接層全連接層通常位于卷積層之后，一般用于對提取特征進行分類或者回歸。經(jīng)過卷積層輸出的多通道特征圖將展開成一維向量，作為全連接層的輸入，輸入向量與對應(yīng)權(quán)值向量進行點積運算，計算結(jié)果再加上偏置b，并經(jīng)過激活函數(shù)σ激活得到輸出神經(jīng)元的結(jié)果，計算....

圖2-4“迭代剪枝”過程

??繾既?度的重要程度，最常用的方式是根據(jù)權(quán)值的L1/L2范數(shù)進行排序，按照一定的剪枝率修剪權(quán)值。修剪后的網(wǎng)絡(luò)準確度可能會有下降，可通過重訓練（重訓練一般只進行幾次迭代訓練，迭代次數(shù)遠小于第一次網(wǎng)絡(luò)訓練，也稱為微調(diào)）恢復準確度。由于剪枝率是一個超參數(shù)，如果一開始設(shè)置過大，可能直接....

本文編號：3951689