隨著社會(huì)科技的不斷進(jìn)步與發(fā)展,以人臉識(shí)別為代表的相關(guān)技術(shù)逐漸成為圖像分類識(shí)別中的重要研究領(lǐng)域�；趥鹘y(tǒng)方法的人臉識(shí)別技術(shù),識(shí)別精度不高,實(shí)現(xiàn)過程較為復(fù)雜,并且光照、姿態(tài)、表情以及遮擋等的因素都會(huì)影響到人臉特征提取,算法的魯棒性比較差,因此無法滿足實(shí)際應(yīng)用的需求。而基于卷積神經(jīng)網(wǎng)絡(luò)的算法可以更高效地提取深層次的人臉特征,有效地解決了傳統(tǒng)技術(shù)所面臨的許多問題,使得基于卷積神經(jīng)網(wǎng)絡(luò)的技術(shù)成為人臉識(shí)別的主要方式。本文在調(diào)研了許多關(guān)于人臉識(shí)別技術(shù)的文獻(xiàn)與參考資料的基礎(chǔ)上,主要進(jìn)行了以下幾個(gè)方面的工作:首先,對(duì)卷積神經(jīng)網(wǎng)絡(luò)的思想和結(jié)構(gòu)進(jìn)行了深入分析,介紹了網(wǎng)絡(luò)中各層的計(jì)算方式以及相關(guān)算法。對(duì)激活函數(shù)和dropout等神經(jīng)網(wǎng)絡(luò)中常用的關(guān)鍵技術(shù)進(jìn)行了闡述,作為后面章節(jié)的理論部分。然后,以LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)模型為基礎(chǔ),研究了基于淺層神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別算法。通過以下四個(gè)方面對(duì)其進(jìn)行改進(jìn)和優(yōu)化:首先改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)和深度,使其可以提取到更深層次、更多樣的人臉特征;其次改用relu激活函數(shù),最大化地保留數(shù)據(jù)特征,使神經(jīng)網(wǎng)絡(luò)在迭代運(yùn)算的過程中可以得到又快又好的結(jié)果;然后采用交叉熵?fù)p失函數(shù)對(duì)網(wǎng)絡(luò)模型的參數(shù)不斷進(jìn)行訓(xùn)練;最后添加dropout技術(shù)層,防止模型過擬合,在一定程度上優(yōu)化模型的泛化能力。最終構(gòu)建生成了一個(gè)新的網(wǎng)絡(luò)模型CLeNet,CLeNet網(wǎng)絡(luò)模型具有更深層次的結(jié)構(gòu)和更多的訓(xùn)練參數(shù),在ORL以及AR人臉數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,CLeNet網(wǎng)絡(luò)模型進(jìn)一步提高了網(wǎng)絡(luò)模型的精確度,從而證明了改進(jìn)的可行性。最后,以VGGNet網(wǎng)絡(luò)模型為基礎(chǔ),研究了基于深層神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別算法。通過以下四個(gè)方面對(duì)其進(jìn)行改進(jìn):首先減少一層全連接層,以便減少計(jì)算參數(shù),提高訓(xùn)練效率;其次加入BN層,防止梯度消失,加快網(wǎng)絡(luò)模型的收斂速度;然后使用步長為2的卷積層代替池化層,使網(wǎng)絡(luò)模型可以學(xué)習(xí)到更好的非線性表達(dá)能力;最后在此基礎(chǔ)上引入殘差塊,最終生成RVGGNet網(wǎng)絡(luò)模型。RVGGNet網(wǎng)絡(luò)模型不僅能避免梯度消失的問題,而且還解決了網(wǎng)絡(luò)層數(shù)的加深帶來的識(shí)別精度不高的問題,在相關(guān)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,RVGGNet網(wǎng)絡(luò)模型可以達(dá)到更好的識(shí)別精度,由此驗(yàn)證了該改進(jìn)方法的可行性。
【學(xué)位單位】：江西財(cái)經(jīng)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2020
【中圖分類】：TP183;TP391.41
【部分圖文】：

3基于淺層卷積神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別研究25由此可知，通過以上卷積層結(jié)構(gòu)的安排可以使得卷積層對(duì)輸入圖像進(jìn)行更加密集的操作，從而可以提取到更加詳細(xì)、多樣的特征，使該網(wǎng)絡(luò)模型具有更好地提取關(guān)鍵特征的能力。3.2.2激活函數(shù)選取sigmoid函數(shù)以及tanh函數(shù)是在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過程中較為常用的激活函數(shù)。這類函數(shù)主要是為神經(jīng)網(wǎng)絡(luò)模型添加非線性計(jì)算方式，防止飽和問題的發(fā)生。sigmoid的表達(dá)式如式(3-2)所示，曲線圖如圖3.2所示。()=11+(3-2)圖3.2sigmoid函數(shù)曲線圖如圖3.2所示，我們可以看出的取值范圍是(∞,+∞)，然而對(duì)應(yīng)的的取值范圍為(0,1)，也就是說sigmoid函數(shù)能夠把輸入的值都?jí)嚎s到01的區(qū)間中。但是當(dāng)變量逐漸趨近正負(fù)無窮大時(shí)，對(duì)應(yīng)的值也會(huì)逐漸接近1或1，這樣的情況就稱之為飽和。而處于飽和狀態(tài)的激活函數(shù)會(huì)丟失信息[52]，這是因?yàn)楫?dāng)?shù)娜≈堤幱诤瘮?shù)的邊緣兩側(cè)時(shí)，的輸出信息會(huì)大致相同。所以為了有效地使用sigmiod函數(shù)，最好將取值范圍固定在-3到3之間。早期較常用的激活函數(shù)還有tanh函數(shù)。tanh函數(shù)雖然是sigmoid函數(shù)的升級(jí)優(yōu)化版，它將sigmoid函數(shù)的0到1之間的輸出值升級(jí)到1到1之間。但是在某些輸出需要大于0的情況，仍然是需要使用sigmoid函數(shù)進(jìn)行激活，因此tanh函數(shù)是不能完全替代sigmoid函數(shù)的[53]。tanh的數(shù)學(xué)表達(dá)式如式(3-3)所示。函數(shù)曲線圖如圖3.3所示。()=+(3-3)

基于神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別算法研究26圖3.3tanh函數(shù)曲線圖從圖3.3中我們可以看出，tanh函數(shù)的取值范圍也是從正無窮到負(fù)無窮，對(duì)應(yīng)的的取值范圍變?yōu)?1到1，與sigmoid函數(shù)來說相比，tanh函數(shù)主要具有了更廣的值域范圍。由以上分析可知，sigmoid和tanh函數(shù)都具有非線性特點(diǎn)，從而使得該類函數(shù)可以增強(qiáng)中央?yún)^(qū)域的信號(hào)，以此來增強(qiáng)圖像特征空間的映射效果。但是這兩種函數(shù)都有一個(gè)共同的不足之處：當(dāng)激活函數(shù)的輸入值極大或者極小時(shí)，激活函數(shù)就處于飽和區(qū)，此時(shí)神經(jīng)元的梯度接近于0。這種情況將會(huì)導(dǎo)致在反向傳播階段出現(xiàn)梯度消失，參數(shù)更新值的變化將會(huì)非常小，訓(xùn)練過程中網(wǎng)絡(luò)的收斂速度將會(huì)變的很慢，訓(xùn)練的時(shí)間成本將會(huì)增多。同時(shí)，當(dāng)我們?cè)谑褂胹igmoid和tanh作為激活函數(shù)的時(shí)候，由于激活函數(shù)的計(jì)算較為復(fù)雜，網(wǎng)絡(luò)模型的前向傳播和反向傳播的計(jì)算量較大。21世紀(jì)初，科學(xué)家Abott和Dayan通過大量的實(shí)驗(yàn)進(jìn)行相關(guān)的結(jié)果分析，最終模擬出了新的激活函數(shù)relu函數(shù)[54]。新的relu函數(shù)與上文介紹的sigmoid和tanh激活函數(shù)相比，在以下方面做了相應(yīng)的改進(jìn)措施：（1）relu函數(shù)的響應(yīng)激活只有右半邊，這樣可以使激活函數(shù)的單側(cè)得到抑制，極大地提高了效率。（2）relu函數(shù)擴(kuò)大了整個(gè)興奮邊界，函數(shù)取值范圍將會(huì)擴(kuò)充至[0,+∞]。（3）relu函數(shù)引入了的新規(guī)則即信號(hào)激活具有稀疏性。relu函數(shù)的表達(dá)式如式(3-4)所示，函數(shù)曲線圖如圖3.4所示。()={0,<0,≥0(3-4)

3基于淺層卷積神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別研究27圖3.4relu函數(shù)曲線圖relu函數(shù)應(yīng)用的廣泛性的主要原因是該函數(shù)特性與人類神經(jīng)元細(xì)胞對(duì)信號(hào)的反應(yīng)是非常相似的，即一方面重視正向信號(hào)，另一方面忽略負(fù)向信號(hào)。同時(shí)，該函數(shù)成功地簡(jiǎn)化了運(yùn)算操作，很大程度地提高了機(jī)器的運(yùn)行效率。因此relu函數(shù)在神經(jīng)網(wǎng)絡(luò)中取得了較好的擬合效果。由此，我們可以得出以下結(jié)論：當(dāng)需要對(duì)圖像特征進(jìn)行更細(xì)小的分類判斷時(shí)，使用sigmoid函數(shù)會(huì)更好。而tanh函數(shù)適用于特征相差比較明顯時(shí)的情況，這是因?yàn)樵谏窠?jīng)網(wǎng)絡(luò)的訓(xùn)練過程中，運(yùn)算特征在不斷進(jìn)行循環(huán)計(jì)算使得每個(gè)神經(jīng)元的值也是在不斷發(fā)生改變的，此時(shí)使用tanh函數(shù)會(huì)將特征擴(kuò)大并顯示出來[52]。而對(duì)于后期出現(xiàn)的relu函數(shù)來說，它的優(yōu)點(diǎn)是經(jīng)過該函數(shù)處理之后的數(shù)據(jù)具有較好的稀疏性，即數(shù)據(jù)轉(zhuǎn)換為只包含最大數(shù)值和0的數(shù)據(jù)，這樣的變換效果可以最大程度地保留輸入圖像數(shù)據(jù)的特征，以此使神經(jīng)網(wǎng)絡(luò)模型在迭代運(yùn)算中能夠得到更優(yōu)異的效果。因此在本文改進(jìn)的結(jié)構(gòu)中，將舍棄sigmoid函數(shù)改用relu函數(shù)進(jìn)行激活操作。3.2.3損失函數(shù)選取損失函數(shù)是網(wǎng)絡(luò)學(xué)習(xí)質(zhì)量的關(guān)鍵。對(duì)于任何一種網(wǎng)絡(luò)結(jié)構(gòu)，如果使用了不恰當(dāng)?shù)膿p失函數(shù)，那么正確有效的網(wǎng)絡(luò)模型將難以被訓(xùn)練出來。損失函數(shù)一般常用來描述網(wǎng)絡(luò)模型預(yù)測(cè)值和真實(shí)值之間的差距大校目前有兩種較為常見的算法：均值平方差和交叉熵。（1）均值平方差均值平方差(MSE)也稱之為均方誤差，在神經(jīng)網(wǎng)絡(luò)中主要用來描述模型預(yù)測(cè)值與真實(shí)值之間的差異。在數(shù)理統(tǒng)計(jì)中，均方誤差表示參數(shù)估計(jì)值與參數(shù)真值之
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 董洛丞;陳張平;;基于改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別算法[J];杭州電子科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2018年05期

2 祁彥慶;汪烈軍;吳生武;;一種基于稀疏表達(dá)和神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別算法[J];計(jì)算機(jī)應(yīng)用與軟件;2016年10期

3 邱文龍;;一種改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)人臉識(shí)別算法[J];現(xiàn)代計(jì)算機(jī)(專業(yè)版);2018年18期

4 王飛;;基于主分量分析GA-BP神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別算法[J];中國西部科技;2015年06期

5 劉亮;;基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別算法[J];科技通報(bào);2019年07期

6 李軍政;;基于神經(jīng)網(wǎng)絡(luò)算法的機(jī)器學(xué)習(xí)模型研究[J];傳播力研究;2017年10期

7 李英龍;童光煦;;正交設(shè)計(jì)-神經(jīng)網(wǎng)絡(luò)方法[J];金屬礦山;1993年06期

8 趙琦;孟祥寧;朱苗勇;;基于模糊聚類及神經(jīng)網(wǎng)絡(luò)的連鑄漏鋼預(yù)報(bào)[J];中國冶金;2008年02期

9 林城龍;胡偉;李瑞瑞;;基于深度卷積神經(jīng)網(wǎng)絡(luò)的層次多任務(wù)服裝分類[J];中國體視學(xué)與圖像分析;2018年02期

10 張濤濤;陳麗萍;蔣兵;戴禮榮;;采用深度神經(jīng)網(wǎng)絡(luò)的說話人特征提取方法[J];小型微型計(jì)算機(jī)系統(tǒng);2017年01期

相關(guān)博士學(xué)位論文 前10條

1 肖理業(yè);基于機(jī)器學(xué)習(xí)的電磁場(chǎng)建模與設(shè)計(jì)研究[D];電子科技大學(xué);2019年

2 陳涵瀛;核電站熱工水力系統(tǒng)工況預(yù)測(cè)與診斷方法研究[D];哈爾濱工程大學(xué);2018年

3 梁智杰;聾啞人手語識(shí)別關(guān)鍵技術(shù)研究[D];華中師范大學(xué);2019年

4 劉昂;微結(jié)構(gòu)硅基光子學(xué)器件性能的研究[D];南京大學(xué);2019年

5 趙博雅;基于卷積神經(jīng)網(wǎng)絡(luò)的硬件加速器設(shè)計(jì)及實(shí)現(xiàn)研究[D];哈爾濱工業(yè)大學(xué);2018年

6 杜昌順;面向細(xì)分領(lǐng)域的輿情情感分析關(guān)鍵技術(shù)研究[D];北京交通大學(xué);2019年

7 陳科海;機(jī)器翻譯上下文表示方法研究[D];哈爾濱工業(yè)大學(xué);2019年

8 饒紅霞;信息受限下神經(jīng)網(wǎng)絡(luò)的狀態(tài)估計(jì)和擬同步研究[D];廣東工業(yè)大學(xué);2019年

9 張馬路;Spiking機(jī)器學(xué)習(xí)算法研究[D];電子科技大學(xué);2019年

10 付錢華;憶阻神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)研究[D];電子科技大學(xué);2019年

相關(guān)碩士學(xué)位論文 前10條

1 段旭豪;基于神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別算法研究[D];江西財(cái)經(jīng)大學(xué);2020年

2 袁崇濤;基于神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別算法研究[D];大連理工大學(xué);2006年

3 王雙印;基于卷積神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別研究[D];蘭州理工大學(xué);2017年

4 代光海;基于神經(jīng)網(wǎng)絡(luò)的運(yùn)動(dòng)想象腦電信號(hào)識(shí)別技術(shù)研究[D];電子科技大學(xué);2020年

5 李永禮;基于脈沖神經(jīng)網(wǎng)絡(luò)的視覺圖像分類方法研究[D];北京化工大學(xué);2019年

6 陳澤洲;自然場(chǎng)景下的深度人臉識(shí)別方法[D];電子科技大學(xué);2017年

7 張毅;靜態(tài)手勢(shì)識(shí)別的神經(jīng)網(wǎng)絡(luò)方法研究[D];電子科技大學(xué);2011年

8 張麗;情感神經(jīng)網(wǎng)絡(luò)及其在人臉識(shí)別中的應(yīng)用研究[D];江西理工大學(xué);2012年

9 凌紅英;神經(jīng)網(wǎng)絡(luò)在模擬電路故障診斷中的方法研究[D];揚(yáng)州大學(xué);2008年

10 裴子龍;基于卷積神經(jīng)網(wǎng)絡(luò)的人臉性別識(shí)別研究[D];山西師范大學(xué);2017年

本文編號(hào)：2880546