發(fā)布時(shí)間：2024-04-21 19:22

　　學(xué)習(xí)率衰減策略是深度學(xué)習(xí)算法優(yōu)化中常用的學(xué)習(xí)率設(shè)定方法,好的學(xué)習(xí)率設(shè)定方式可以訓(xùn)練出更好的深度神經(jīng)網(wǎng)絡(luò)模型。因此,如何設(shè)定好的學(xué)習(xí)率衰減是深度學(xué)習(xí)領(lǐng)域的一個(gè)前沿問題,非常值得研究。在本論文中,我們詳細(xì)研究了不同指數(shù)的多項(xiàng)式學(xué)習(xí)率衰減對深度神經(jīng)網(wǎng)絡(luò)模型性能的影響,并提出了一種對任意可導(dǎo)的衰減函數(shù)都適用的學(xué)習(xí)率衰減函數(shù)的調(diào)整方法——k-Decay方法�；趉-Decay方法可對原衰減函數(shù)的衰減變化率進(jìn)行不同程度的加強(qiáng)或減弱,得到新的衰減函數(shù),利用新函數(shù)訓(xùn)練出的模型其精度要優(yōu)于原函數(shù)。在基于該方法的新衰減函數(shù)中引入新的超參數(shù)k,可以控制衰減函數(shù)的學(xué)習(xí)率的衰減程度,而原衰減函數(shù)恰好是新衰減函數(shù)在k=1時(shí)的特例。我們將k-Decay方法應(yīng)用于多項(xiàng)式衰減、余弦衰減和指數(shù)衰減,分別給出了基于該方法的新衰減函數(shù)的解析表達(dá)式。為了驗(yàn)證k-Decay方法的有效性,我們采用了基于該方法得到的新多項(xiàng)式衰減函數(shù)作為學(xué)習(xí)率的設(shè)定方法,選用了當(dāng)前最先進(jìn)架構(gòu)的幾個(gè)深度神經(jīng)網(wǎng)絡(luò)(ResNet、Wide ResNet 和 DenseNet),在 CIFAR10和 CIFAR100 數(shù)據(jù)集上進(jìn)行了廣泛的測試,證明了該方法的...

【文章頁數(shù)】：79 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－１：生物神經(jīng)元??人工神經(jīng)元（Ａｒｔｉｆｉｃｉａｌ?Ｎｅｕｒｏｎ）是神經(jīng)網(wǎng)絡(luò)的基本單元，它是一種模擬生物神??經(jīng)元的結(jié)構(gòu)和特性的數(shù)學(xué)模型，其作用是通過接收一組輸入信號經(jīng)過一系列變換并??

碩士學(xué)位論文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??第２章深度神經(jīng)網(wǎng)絡(luò)??深度學(xué)習(xí)中的’＿深度”說明了輸入數(shù)據(jù)經(jīng)過不同的深度神經(jīng)網(wǎng)絡(luò)層進(jìn)行非線性??變換的次數(shù)，這些網(wǎng)絡(luò)層由許多的神經(jīng)元組成，其中非線性變換主要來源于激活函??數(shù)，它們在一起構(gòu)成了前饋神經(jīng)網(wǎng)絡(luò)。本章介紹了深度學(xué)習(xí)中的前....

圖２－３：?Ｓｉｇｍｏｉｄ函數(shù)曲線??

ｚＳｍ碩士學(xué)位論文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ???＇??—＾＝＝＝＾??—?Ｓｉｇｍｏｉｄ??０．８?／?－??０．６?－?／??Ｓ??０．４?■??０．２?■?／??〇．〇?Ｉ??＾Ｚ??１???－１０?－５０?５?１０??ｚ??圖２－３：?Ｓｉｇｍｏｉｄ函數(shù)曲線??１....

圖２￣４：?Ｔａｎｈ函數(shù)曲線??

以看出，它對輸入進(jìn)行了歸一化操作，輸出值在［〇，１］區(qū)間，不同于??Ｓｉｇｍｏｉｄ函數(shù)的是，Ｓｏｆｔｍａｘ函數(shù)常用于多元分類（Ｍｕｌｔｉｃｌａｓｓ?Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）問題，??常用于多分類網(wǎng)絡(luò)的最后一層。??１０．?????Ｉ?－?Ａ??一?ＲｅＬＵ??—Ｌｅａｋｙ?....

圖２－５：?ＲｅＬＵ函數(shù)曲線??

奸學(xué)位論文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??２．３前饋神經(jīng)網(wǎng)絡(luò)??＇??Ｉｎｐｕｔ?Ｌａｙｅｒ?￡?Ｒ５?Ｈｉｄｄｅｎ?Ｌａｙｅｒ?￡?Ｒ１０?Ｈｉｄｄｅｎ?Ｌａｙｅｒ?￡?Ｒ１０?Ｈｉｄｄｅｎ?Ｌａｙｅｒ?Ｇ?Ｒ１０?Ｏｕｔｐｕｔ?Ｌａｙｅｒ?￡?Ｒ２??圖２－６：前饋神經(jīng)....

本文編號：3961346