隨著手機(jī)等移動(dòng)終端對(duì)計(jì)算機(jī)視覺需求的不斷增加,如何高效編碼視覺信號(hào)成為人們關(guān)注的焦點(diǎn)。作為一種編碼視覺信號(hào)的模型,視網(wǎng)膜編碼模型以模擬視網(wǎng)膜神經(jīng)節(jié)細(xì)胞特性為目標(biāo),利用非線性計(jì)算將視覺刺激編碼成一系列尖峰放電序列。雖然現(xiàn)存多種視網(wǎng)膜編碼模型,但現(xiàn)有模型存在簡(jiǎn)單模型擬合效果差、復(fù)雜模型計(jì)算量大的問題。為解決上述問題,本文展開輕量化視網(wǎng)膜編碼模型研究。本文主要內(nèi)容如下:（1）首先,針對(duì)Spike-triggered Average方法獲得細(xì)胞感受野所需數(shù)據(jù)量大的問題,本文提出一種基于時(shí)空濾波器提取細(xì)胞感受野的方法,該方法可以有效減少提取感受野所需數(shù)據(jù)量。其次,針對(duì)現(xiàn)有視網(wǎng)膜編碼模型參數(shù)多、計(jì)算量大的問題,本文提出一種基于深度可分離卷積的輕量型視網(wǎng)膜編碼模型,該模型由兩個(gè)深度可分離卷積模塊與一個(gè)密集連接層組成,每一個(gè)深度可分離卷積模塊包含兩個(gè)深度可分離卷積層。相比于基于線性非線性的視網(wǎng)膜編碼模型、基于廣義線性的視網(wǎng)膜編碼模型以及基于卷積神經(jīng)網(wǎng)絡(luò)的視網(wǎng)膜編碼模型,本文提出的基于深度可分離卷積的輕量型視網(wǎng)膜編碼模型具有模型參數(shù)少、訓(xùn)練過程穩(wěn)定、預(yù)測(cè)精度高的特點(diǎn)。（2）針對(duì)單一視網(wǎng)膜編碼模型魯棒性較... 

【文章來(lái)源】：西安電子科技大學(xué)陜西省 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：82 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

tanh與sigmoid正反向傳播示例

西安電子科技大學(xué)碩士學(xué)位論文 ) × = 個(gè)參數(shù)，計(jì)算量為 × × × × × = × 。而通道倍數(shù)為 1 的深度可分離卷積層中需要 × × （ × × × = 個(gè)參數(shù),計(jì)算量為 × × × × × × × = 。深度可分離卷積與經(jīng)典卷積的參數(shù)量之比為 0.13，計(jì)算量之比 0.13。可以看該結(jié)構(gòu)不僅實(shí)現(xiàn)了空間與時(shí)間相關(guān)性的退耦合，減少了模型學(xué)習(xí)空間-時(shí)間弱關(guān)聯(lián)號(hào)特征的難度，而且顯著減少了模型的參數(shù)與計(jì)算量。提高模型的編碼效率。3.2.2 激活函數(shù)的選擇與卷積層結(jié)構(gòu)優(yōu)化由于激活函數(shù)是模型中非線性計(jì)算的關(guān)鍵，所以不同激活函數(shù)對(duì)模型性能有不影響。本文中介紹了 ReLU、PReLU、SELU 三種激活函數(shù)的特性以及作用。（1）激活函數(shù)的選擇

圖3.4 SELU 與 LReLU 正反向傳播示例從圖 3.3 可知，ReLU，LReLU，PReLU 都能抑制負(fù)信號(hào)的傳遞，減少該層的方差，防止梯度爆炸，但負(fù)半軸梯度輸出固定值的結(jié)構(gòu)不利于神經(jīng)元差異化更新。如圖 3.所示，指數(shù)縮放線性單元（SELU）不僅保留了 PReLU 在正信號(hào)傳導(dǎo)的優(yōu)勢(shì)，防止了梯度消失，而且在訓(xùn)練過程中抑制并清晰的表示了負(fù)信號(hào)的差異，使得網(wǎng)絡(luò)可以根據(jù)不同的梯度有選擇的調(diào)整神經(jīng)元權(quán)重，有助于更新網(wǎng)絡(luò)的穩(wěn)定性。SELU[36]計(jì)算過程如公式（3 -3）所示 ( ) = × ≤ （3 -3）SELU 的作者 Gunter 表明：該激活函數(shù)可以使樣本分布自動(dòng)歸一化到均值為 0 與方差位 1 的分布，在網(wǎng)絡(luò)訓(xùn)練過程中起到標(biāo)準(zhǔn)化樣本的作用。自歸一化的特性與大于 的放大系數(shù)保證訓(xùn)練過程中梯度不會(huì)爆炸或消失。SELU 激活函數(shù)的引入在一定程度上可以代替計(jì)算量較大的 BN 層，減少了模型的計(jì)算量，提高網(wǎng)絡(luò)訓(xùn)練速度。

【參考文獻(xiàn)】：
碩士論文
[1]基于時(shí)空濾波器的視網(wǎng)膜編碼模型[D]. 牛希嫻.上海交通大學(xué) 2008



本文編號(hào)：2985668