視覺假體是一種通過控制電極來構造圖像的嵌入式系統(tǒng),它通過人體內植入的電極構造點陣形成圖像,并將構成的圖像送往盲人視覺系統(tǒng)使其恢復部分視力。由于植入人體的電極數(shù)量有限,通常電極構成的圖像辨識度很低,導致視覺假體的使用效果并不理想,依然存在很多困難。因此本文提出使用分類神經(jīng)網(wǎng)絡來輔助視覺假體工作,從而降低視覺假體的使用難度。為了降低分類神經(jīng)網(wǎng)絡在視覺假體嵌入式系統(tǒng)中的移植難度,本文的主要工作是對二值化神經(jīng)網(wǎng)絡算法進行改進和參數(shù)壓縮。本文針對二值化算法BinaryNet的缺點提出了AlexNet-Binarized,InceptionNet-Binarized,IBNet三種改進算法,其中IBNet使用雙重恒等映射方法來提高網(wǎng)絡的準確度并使用兩個超參數(shù)來控制恒等映射的程度,三種算法在基準測試集CIFAR-10上分別進行了性能測試,測試結果顯示IBNet的綜合性能最佳。最后本文在自制的室內環(huán)境數(shù)據(jù)集上對IBNet和BinaryNet算法進行了性能對比,對權值參數(shù)量進行了壓縮,并測試了BinaryNet和IBNet處理32×32圖像的速度。本文提出的AlexNet-Binarized在CIFAR... 

【文章來源】：西安理工大學陜西省

【文章頁數(shù)】：52 頁

【學位級別】：碩士

【部分圖文】：

最大池化層：用于選擇特征

2 深度學習的原理及結構2.3 深度學習的模型結構及原理2.3.1 AlexNet 的結構及原理AlexNet 模型是一種深度學習神經(jīng)網(wǎng)絡，模型中主要結構都是由卷積層和池化層組成，其中卷積層的輸出是使用卷積核對前一層特征層卷積后的結果。這種網(wǎng)絡通常會把標量偏差添加到卷積后的結果中共同輸出，并且在將神經(jīng)元的輸出傳遞到下一層之前會使用非線性激活函數(shù)作用于輸出結果。線性濾波器和偏置被稱為權重，初始時使用隨機產(chǎn)生的方法初始化權值，之后權值是通過從訓練數(shù)據(jù)中不斷學習而修改，從而得到最后網(wǎng)絡的參數(shù)。CNN 在幾個方面不同于普通的神經(jīng)網(wǎng)絡：首先，CNN 中的神經(jīng)元在形狀上被組織成一個反映輸入數(shù)據(jù)中維度的空間結構，因此，對于圖像來說神經(jīng)元分布在空間網(wǎng)格上。其次，CNN 中的神經(jīng)元使用了卷積核，這些卷積核有著卷積范圍的限制，并且以神經(jīng)元的中心位置作為輸出，這符合輸入維度的依賴性是距離的遞減函數(shù)的要求，自然圖像中的像素往往是這種情況。特別是，人們期望通過檢查圖像的小局部鄰域可以找到輸入圖像中有關于對象身份的有用線索。

導致神經(jīng)網(wǎng)絡的性能很差，而 BN 算法能處就是可以通過每一次對數(shù)據(jù)的歸一化加快網(wǎng)據(jù)都不一致，所以神經(jīng)網(wǎng)絡每次都需要去適應分布不同的問題。速二值化網(wǎng)絡的原理如圖 3-4 所示，沒有歸一所示那樣，神經(jīng)網(wǎng)絡在初始化網(wǎng)絡參數(shù) W，b 的附近，而 W，b 構成的空間曲面也會在中心位置照學習率的大小來一步一步逼近數(shù)據(jù)，最后進行，均值為 0，方差為 1，各個維度數(shù)據(jù)去相關，，如圖 3-4 中間的數(shù)據(jù)點，這時候任意初始化過數(shù)據(jù)了，因此訓練調整權值時進程會加快，且后依然保證了數(shù)據(jù)的結構不改變，從而保證了數(shù)處理然后再重構后，一些特別小的數(shù)據(jù)得到了 BN 層還能改善了梯度彌散問題。


本文編號：2917355