如何減少面向物聯(lián)網(wǎng)設備(如可穿戴健康監(jiān)測設備、微型智能感知設備等)的神經(jīng)網(wǎng)絡處理器的功耗與成本,是實現(xiàn)人工智能物聯(lián)網(wǎng)(AIoT)技術的關鍵問題。采用二值神經(jīng)網(wǎng)絡、新型存儲器(如憶阻器RRAM、近閾值SRAM)等近似計算技術,可以大幅降低神經(jīng)網(wǎng)絡處理器的功耗與成本。然而,RRAM或近閾值SRAM存在較大電路參數(shù)偏差,導致神經(jīng)網(wǎng)絡的準確度下降較大。如何解決以上近似計算技術的問題,在降低神經(jīng)網(wǎng)絡處理器功耗與成本的同時,保證較高的準確度,是本工作的主要研究目標。針對以上問題,本文開展了如下研究工作:(1)通過模擬RRAM/近閾值SRAM的電路參數(shù)偏差,對二值神經(jīng)網(wǎng)絡的權值矩陣及準確度進行了大量實驗,發(fā)現(xiàn)經(jīng)過二值量化后的神經(jīng)網(wǎng)絡具有一定的容錯能力,并且不同權值矩陣對神經(jīng)網(wǎng)絡準確度的影響不同。(2)通過分析新型存儲器技術(包括RRAM和近閾值SRAM)與傳統(tǒng)SRAM存儲技術的優(yōu)缺點,利用二值神經(jīng)網(wǎng)絡具有一定容錯能力的特性,提出一種混合權值存儲機制,將非關鍵權值矩陣映射到RRAM/近閾值SRAM,關鍵權值矩陣映射到傳統(tǒng)SRAM,大幅降低了硬件功耗與成本,同時保證了足夠的準確度。(3)針對如何搜索二值...

【文章頁數(shù)】：73 頁

【學位級別】：碩士

【部分圖文】：

圖2-1卷積神經(jīng)網(wǎng)絡結構圖

電子科技大學碩士學位論文8第二章神經(jīng)網(wǎng)絡處理器近似計算技術介紹因為目前大量研究和本文分析對象都主要是基于DCNN，因此本章首先介紹DCNN的結構和原理。接著，從神經(jīng)網(wǎng)絡算法和硬件電路實現(xiàn)兩個方面，介紹面向低功耗低成本神經(jīng)網(wǎng)絡處理器的相關近似計算技術。在神經(jīng)網(wǎng)絡算法上，介紹網(wǎng)絡剪枝....

圖2-2卷積計算過程原理圖

第二章神經(jīng)網(wǎng)絡處理器近似計算技術介紹92.1.1卷積層卷積層是DCNN的核心，每個卷積層包含多個卷積核，通過與輸入圖像的卷積運算進行相關特征提齲每一個卷積層涉及4個超參數(shù)：輸入通道、輸出通道、卷積核的長與寬。輸入通道數(shù)與該層的輸入數(shù)據(jù)通道數(shù)相對應，輸出通道數(shù)由網(wǎng)絡結構決定，卷積核....

圖2-3網(wǎng)絡剪枝示意圖

電子科技大學碩士學位論文102.1.2全連接層全連接層通常位于卷積層之后，一般用于對提取特征進行分類或者回歸。經(jīng)過卷積層輸出的多通道特征圖將展開成一維向量，作為全連接層的輸入，輸入向量與對應權值向量進行點積運算，計算結果再加上偏置b，并經(jīng)過激活函數(shù)σ激活得到輸出神經(jīng)元的結果，計算....

圖2-4“迭代剪枝”過程

??繾既?度的重要程度，最常用的方式是根據(jù)權值的L1/L2范數(shù)進行排序，按照一定的剪枝率修剪權值。修剪后的網(wǎng)絡準確度可能會有下降，可通過重訓練（重訓練一般只進行幾次迭代訓練，迭代次數(shù)遠小于第一次網(wǎng)絡訓練，也稱為微調(diào)）恢復準確度。由于剪枝率是一個超參數(shù)，如果一開始設置過大，可能直接....

本文編號：3951689