少數(shù)民族服飾圖像處理關鍵技術研究及應用
【學位單位】:云南師范大學
【學位級別】:碩士
【學位年份】:2020
【中圖分類】:TP183;TS941.742.8;TP391.41
【部分圖文】:
最大池化下采樣
第2章相關理論及技術13所以我們會在卷積層后面引入激活函數(shù)。對于多層的神經(jīng)網(wǎng)絡結(jié)構我們需要使用激活函數(shù),使每一層神經(jīng)網(wǎng)絡結(jié)構都有所不同并能夠進行非線性表達。所以我們需要引入非線性的函數(shù)作為激活函數(shù),南京郵電大學的曲之琳[54]等人在基于改進激活函數(shù)的卷積神經(jīng)網(wǎng)絡研究中提到經(jīng)典的激活函數(shù)有Sigmoid激活函數(shù)、Tanh激活函數(shù)和Relu函數(shù)等。目前使用范圍較為廣泛的非線性激活函數(shù)是Sigmoid激活函數(shù),其函數(shù)的圖像是一個S型。它輸入一個實數(shù)值并將實數(shù)的值壓縮到0到1的范圍之內(nèi),對函數(shù)中間的區(qū)域增長幅度較大,而函數(shù)兩邊的區(qū)域增長幅度較校Sigmoid激活函數(shù)輸出的值是有界的可以為神經(jīng)網(wǎng)絡帶來非線性,但是Sigmoid激活函數(shù)飽和時梯度值非常小,所以當網(wǎng)絡層數(shù)較深時容易出現(xiàn)梯度消失。如圖2.2所示,Sigmoid激活函數(shù)的形式是一種指數(shù)函數(shù)形式,其數(shù)學表達式如公式2.6所示:xexf11)((2.6)圖2.2Sigmoid激活函數(shù)Tanh激活函數(shù)在神經(jīng)網(wǎng)絡模型的構建中也經(jīng)常使用,它也是S型非線性激活函數(shù),同Sigmoid函數(shù)相比較Tanh函數(shù)解決了Sigmoid的輸出是不是零中心的問題,可以延遲飽和期性能和容錯能力相對較好,但仍然存在飽和問題。Tanh函數(shù)輸入一個實數(shù)值并將實數(shù)的值壓縮到-1到1的范圍之內(nèi),對函數(shù)中間的區(qū)域增長幅度較大,而函數(shù)兩邊的區(qū)域增長幅度較校Tanh激活函數(shù)輸出的值是
第2章相關理論及技術14有界的也可以為神經(jīng)網(wǎng)絡帶來非線性,這個特性使得其收斂速度比Sigmoid函數(shù)更快。但它也存在梯度彌散的問題,隨著Sigmoid、Tanh函數(shù)在神經(jīng)網(wǎng)絡模型中的廣泛使用為了防止飽和,需要盡量的保證每一層網(wǎng)絡的輸入能夠具有較小的均值和零中心分布,可以在激活函數(shù)前多做一步batchnormalization。也可以通過在神經(jīng)元輸入時抑制部分神經(jīng)元,從而提高學習的精度。經(jīng)過具體實際的使用也表明不管是Sigmoid還是Tanh都存在極大的局限性。Tanh函數(shù)形式如圖2.3所示,其數(shù)學表達式如公式2.7所示:xxeexf2211)((2.7)圖2.3Tanh激活函數(shù)ReLu激活函數(shù)同Tanh激活函數(shù)和Sigmoid激活函數(shù)一樣,都是屬于非線性的激活函數(shù),但是ReLu激活函數(shù)的收斂速度更快。ReLu激活函數(shù)的倒數(shù)在正數(shù)的部分恒等于1,負數(shù)的部分為0。在ReLu激活函數(shù)中沒有指數(shù)的運算,所以計算的速度更快,可以加快網(wǎng)絡的訓練。由于ReLu函數(shù)的倒數(shù)在正數(shù)的部分都為1,所以在網(wǎng)絡中使用不會導致梯度消失等問題可以使網(wǎng)絡模型的收斂速度更加地穩(wěn)定。但在網(wǎng)絡反向傳播的過程中如果梯度過大會導致更多的負數(shù),而負數(shù)的倒數(shù)都為0,所以會引起反向傳播的部分神經(jīng)元無法激活和權重無法更新等問題,使神經(jīng)元進入失活狀態(tài)。在具體的使用中我們可以通過設置學習率的大小來解決這一問題。ReLU激活函數(shù)形式如圖2.4所示,其數(shù)學表達式為:xxMaxf),0()((2.8)
【參考文獻】
相關期刊論文 前10條
1 宋俊華;王明月;;我國非物質(zhì)文化遺產(chǎn)數(shù)字化保護的現(xiàn)狀與問題分析[J];文化遺產(chǎn);2015年06期
2 周海珍;熊登峰;;關于直方圖均衡化算法在圖像灰度處理中的應用研究[J];科技創(chuàng)新與應用;2015年32期
3 王振;高茂庭;;基于卷積神經(jīng)網(wǎng)絡的圖像識別算法設計與實現(xiàn)[J];現(xiàn)代計算機(專業(yè)版);2015年20期
4 陳金廣;曹春梅;任冰青;馬麗麗;;特征提取與匹配算法在民族服飾圖案上的應用研究[J];絲綢;2015年05期
5 王千;王成;馮振元;葉金鳳;;K-means聚類算法研究綜述[J];電子設計工程;2012年07期
6 何俊;葛紅;王玉峰;;圖像分割算法研究綜述[J];計算機工程與科學;2009年12期
7 王愛平;張功營;劉方;;EM算法研究與應用[J];計算機技術與發(fā)展;2009年09期
8 雷小鋒;謝昆青;林帆;夏征義;;一種基于K-Means局部最優(yōu)性的高效聚類算法[J];軟件學報;2008年07期
9 梁小利;孫洪淋;;基于線性插值算法的圖像縮放及實現(xiàn)[J];長沙通信職業(yè)技術學院學報;2008年02期
10 岳佳;王士同;;高斯混合模型聚類中EM算法及初始化的研究[J];微計算機信息;2006年33期
相關碩士學位論文 前10條
1 李承珊;基于深度卷積神經(jīng)網(wǎng)絡的圖像語義分割研究[D];中國科學院大學(中國科學院光電技術研究所);2019年
2 王璞;彩色圖像灰度化算法改進研究[D];西北大學;2019年
3 李勇康;基于卷積神經(jīng)網(wǎng)絡的人臉識別研究與實現(xiàn)[D];華中師范大學;2019年
4 劉新偉;基于深度學習的標簽傳播的圖像分類研究[D];溫州大學;2019年
5 譚欣;傳統(tǒng)民族服飾數(shù)字化采集標準研究[D];北京郵電大學;2019年
6 田娟娟;視頻中行人檢測與跟蹤方法研究[D];西安理工大學;2018年
7 王媛媛;基于卷積神經(jīng)網(wǎng)絡的圖像深度估計研究[D];西安理工大學;2018年
8 高運星;基于卷積神經(jīng)網(wǎng)絡的醫(yī)學圖像超分辨率重構算法研究[D];濟南大學;2018年
9 高飛;少數(shù)民族服飾圖案數(shù)字化學習平臺構建研究[D];云南師范大學;2018年
10 趙海燕;基于卷積神經(jīng)網(wǎng)絡的民族服飾圖像教育資源檢索研究[D];云南師范大學;2018年
本文編號:2881116
本文鏈接:http://sikaile.net/shoufeilunwen/xixikjs/2881116.html