發(fā)布時(shí)間：2021-11-20 02:51

　　隨著人工智能領(lǐng)域的迅速發(fā)展,人工神經(jīng)網(wǎng)絡(luò)開(kāi)始成為人們關(guān)注的焦點(diǎn),因?yàn)槠渚哂谐錾臄M合能力,理論上能夠?qū)θ魏螖?shù)據(jù)分布進(jìn)行擬合,所以廣泛應(yīng)用于各種領(lǐng)域,在圖像分類、語(yǔ)音識(shí)別、自然語(yǔ)言處理等領(lǐng)域均取得了非常好的成果。但由于較高的模型復(fù)雜度,導(dǎo)致神經(jīng)網(wǎng)絡(luò)模型會(huì)出現(xiàn)過(guò)擬合現(xiàn)象,即模型在訓(xùn)練集上的效果極佳、在測(cè)試集上的泛化能力不夠理想。為了解決這個(gè)問(wèn)題,人們提出很多方法。其中,正則化是一種常用方法。人們提出了一些正則化模型,并且取得了一定的效果,然而這些模型并不能完全滿足Antoniadis所提出的一個(gè)優(yōu)秀的正則化模型應(yīng)當(dāng)滿足的性質(zhì)�；诖�,本文將一種新式正則項(xiàng)與神經(jīng)網(wǎng)絡(luò)模型結(jié)合,提出自適應(yīng)彈性網(wǎng)神經(jīng)網(wǎng)絡(luò)模型,從理論上證明了該模型具有優(yōu)秀的性質(zhì),并且通過(guò)實(shí)驗(yàn)驗(yàn)證了該模型能夠更好地解決神經(jīng)網(wǎng)絡(luò)模型的過(guò)擬合問(wèn)題。另外我們發(fā)現(xiàn),在數(shù)據(jù)不平衡問(wèn)題中,模型對(duì)于多數(shù)類的樣本也會(huì)發(fā)生過(guò)擬合現(xiàn)象,進(jìn)行了相關(guān)實(shí)驗(yàn)后,在三個(gè)不同的評(píng)價(jià)指標(biāo)上驗(yàn)證了自適應(yīng)彈性網(wǎng)神經(jīng)網(wǎng)絡(luò)模型在解決數(shù)據(jù)不平衡問(wèn)題上也可以取得非常好的效果。本文的主要工作包括:首先將自適應(yīng)彈性網(wǎng)正則化方法和神經(jīng)網(wǎng)絡(luò)模型相結(jié)合,提出了自適應(yīng)彈性網(wǎng)神經(jīng)網(wǎng)絡(luò)模型以及... 

【文章來(lái)源】：大連海事大學(xué)遼寧省 211工程院校

【文章頁(yè)數(shù)】：58 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２．１全連接神經(jīng)網(wǎng)絡(luò)??Ｆｉｇ．?２．１?Ｆｕｌｌ?ｃｏｎｎｅｃｔｅｄ?ｎｅｕｒａｌ?ｎｅｔｗｏｒｋ??－６?￣??

?自適應(yīng)彈性網(wǎng)神經(jīng)網(wǎng)絡(luò)模型及算法研究???ＶＴＶ－???＾?Ｘｗ＋ｂ?ｊ＼Ｘｗ＾ｂ）?－??Ｖ?／細(xì)??Ｚ?加權(quán)?激活??輸入??圖２．?２感知機(jī)模型??Ｆｉｇ．?２．２?Ｐｅｒｃｅｐｔｒｏｎ?ｍｏｄｅｌ??此時(shí)會(huì)作為第二層隱藏層的輸入繼續(xù)傳遞，由此我們推出計(jì)算隱藏層每？層輸??出的一般形式，第ｙ層的輸出為：??（２．２）??其中ｉ的維度為Ｈ?ｘ?／ｊｈ，維度為＼?，?ｘ?Ａ，．。??當(dāng)傳遞到輸出層時(shí)，經(jīng)加權(quán)后的結(jié)果為ｔ?＝義？，，？?＋?６，，，其屮和Ａ，，分別為輸出層??的權(quán)重和偏置，若為回歸實(shí)驗(yàn)，則最后輸出；若為分類實(shí)驗(yàn)，則需要使用ｓｏｆｔｎｉａｘ??函數(shù)激活后再輸出：假設(shè)實(shí)驗(yàn)的類別個(gè)數(shù)為》丨，則ｔ?＝?為維矩陣，??對(duì)于第Ａ：個(gè)樣本ｚ來(lái)講，使用ｓｏｆｔｍａｘ函數(shù)計(jì)算的公式如下：??°ｋ??Ｋ？ｐｕ，ｋ?＝?－＾―?－?（２．３）??ｉ＝］??其中：代表樣本＆屬于第〖類的概率，最后輸出的形式為：??（ｙ１?Ｖ１?…Ｙｒｎ?）??１?ｏｕｔｐｕｔ、?１?ｏｕｔｐｕｔ＾?ｏｕｔｐｕｔ］??Ｙｌ?ｙ２?．．．?Ｙｍ??＿?ｏｕｌｐｕｉｙ?０１１＾１＾２?＊?ｏｕｔｐｕｔ）?ｆ?Ａ?＼??Ｙｏｌｌｐｕｔ?＝?：???；?’?？??ｙ＼?…?…?ｙｍ??ｙ?１?ｏｕｔｐｕｔ，，?１?ｏｕｔｐｕｔｎ?ｊ??－８?－??

?自適應(yīng)彈性網(wǎng)神經(jīng)網(wǎng)絡(luò)模型及算法研宄???為窗口內(nèi)元素的最大值，則將３放在窗口內(nèi)的對(duì)應(yīng)位置，其他位置為０。其他三個(gè)靈敏??度的計(jì)算同理。??０．７５?０．７５?１．２５?１．２５??０．７５?０．７５?１．２５?Ｊ．２５??均值池化?ｙ???１．５?１．５?１?１??３?Ｉ?５?Ｉ?｜?１５?｜?Ｉ．５?｜?１?｜「??６?４???????３．０?０?５??０?０?０?０??最大值池化????０?６?０?０??０?０?４?０??圖２．?６靈敏度在池化層的傳遞??Ｆｉｇ．?２．６?Ｓｅｎｓｉｔｉｖｉｔｙ?ｔｒａｎｓｍｉｓｓｉｏｎ?ｏｎ?ｐｏｏｌｉｎｇ?ｌａｙｅｒ??當(dāng)靈敏度由池化層傳遞到卷積層時(shí)，我們要先將靈敏度矩陣補(bǔ)〇值，再將卷積核順??時(shí)針旋轉(zhuǎn)１８０度，進(jìn)行卷積操作，如圖２．７，首先對(duì)本來(lái)大小為２ｘ２的圖片撲０值至４ｘ４?，??再將卷積核翻轉(zhuǎn)１８０度，假設(shè)卷積核移動(dòng)步長(zhǎng)為１，按照?qǐng)D２．４所描述的方法進(jìn)行卷積??操作可得到卷積后的值為５，則卷積后對(duì)Ｒ位置的靈敏度為５，冋理〖｜＇算其他對(duì)應(yīng)位置??的靈敏度，即可得到最后我們所需要的３?ｘ?３的靈敏度矩陣。??（?ｊ?１８０。??７?？??０?１１?…二－５?１６?１２??８?７??０?１?Ｊ?＂?２２?ｍ?－ｌｆｌ??……－二?６?５??°?；＾?４?＇＇?…ｊ???２１?Ｓ２?：Ｖ２??０?Ｇ?０?？Ｊ??圖２．?７靈敏度在卷積層的傳遞??Ｆｉｇ．?２．７?Ｓｅｎｓｉｔｉｖｉｔｙ?ｔｒａｎｓｍｉｓｓｉｏｎ?ｏｎ?ｃｏｎｖｏｌｕｔｉｏｎａｌ?ｌａｙｅｒ??－１

【參考文獻(xiàn)】：
期刊論文
[1]一種基于Lasso回歸與SVD融合的深度學(xué)習(xí)模型壓縮方法[J]. 吳進(jìn),吳漢寧,劉安,李聰,李喬深.  電訊技術(shù). 2019(05)
[2]帶L2正則化項(xiàng)的神經(jīng)網(wǎng)絡(luò)逆向迭代算法收斂性分析[J]. 呂煒,陳永剛,沈晨.  信息技術(shù)與信息化. 2015(06)
[3]基于l1-正則化的ELM回歸集成學(xué)習(xí)[J]. 王權(quán),陳松燦.  計(jì)算機(jī)研究與發(fā)展. 2012(12)

博士論文
[1]基于神經(jīng)反應(yīng)模型和稀疏表示的圖像分類算法研究[D]. 李宏鋒.華中科技大學(xué) 2016

碩士論文
[1]基于神經(jīng)網(wǎng)絡(luò)的癌癥多亞型分類及關(guān)鍵致病基因選擇[D]. 何艷玲.中國(guó)礦業(yè)大學(xué) 2018
[2]基于LSTM深度神經(jīng)網(wǎng)絡(luò)的股市時(shí)間序列預(yù)測(cè)精度的影響因素研究[D]. 毛景慧.暨南大學(xué) 2017
[3]自適應(yīng)彈性網(wǎng)邏輯回歸模型的研究[D]. 連少靜.河北大學(xué) 2016



本文編號(hào)：3506415