科技的快速發(fā)展可以讓人們獲得大量數(shù)據(jù),這些數(shù)據(jù)中包含著重要信息以及各種噪聲,如何從數(shù)據(jù)中獲得有用知識是機(jī)器學(xué)習(xí)現(xiàn)階段最重要的事情。在機(jī)器學(xué)習(xí)中,數(shù)學(xué)優(yōu)化是基礎(chǔ)之一,幾乎涉及該學(xué)科的各個方面。機(jī)器學(xué)習(xí)中的數(shù)學(xué)優(yōu)化主要是對經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化問題進(jìn)行求解,其中經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化問題是指函數(shù)模型預(yù)測的結(jié)果期望誤差最小化。求解經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化問題本身是整個機(jī)器學(xué)習(xí)領(lǐng)域中的一大難題,所以設(shè)計(jì)一個快速高效的優(yōu)化算法成為研究人員一直追求的目標(biāo)。本文針對機(jī)器學(xué)習(xí)中的數(shù)學(xué)優(yōu)化,首先提出一種用于求解經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化問題的優(yōu)化算法,同時對機(jī)器學(xué)習(xí)中的結(jié)構(gòu)風(fēng)險(xiǎn)最小化問題進(jìn)行研究。本文的主要研究成果包括以下方面:（1）批量減數(shù)更新梯度下降算法（Batch Subtraction Update Gradient,BSUG）。為了應(yīng)對由于隨機(jī)梯度引入方差而導(dǎo)致不能線性收斂的問題,我們在已有方差縮減算法的基礎(chǔ)上改進(jìn),設(shè)計(jì)了一個新的方差縮減算法。在訓(xùn)練過程中BSUG使用小批量樣本代替全部樣本進(jìn)行平均梯度計(jì)算,同時對平均梯度進(jìn)行減數(shù)更新。通過與其他方差縮減算法進(jìn)行實(shí)驗(yàn)對比,表明BSUG算法收斂速度達(dá)到線性收斂。為了對算法進(jìn)行穩(wěn)定性探究... 

【文章來源】：安徽大學(xué)安徽省 211工程院校

【文章頁數(shù)】：61 頁

【學(xué)位級別】：碩士

【部分圖文】：

Relu函數(shù)圖像

第四章結(jié)構(gòu)風(fēng)險(xiǎn)最小化問題36{0,1,,}，這兩個內(nèi)存消耗主要與每批大小和訓(xùn)練參數(shù)有關(guān)。4.3實(shí)驗(yàn)設(shè)計(jì)與實(shí)驗(yàn)結(jié)果4.3.1實(shí)驗(yàn)數(shù)據(jù)CIFAR-10數(shù)據(jù)集由10個類的60000個32x32彩色圖像組成，每個類有6000個圖像。有5萬張訓(xùn)練圖片和1萬張測試圖片。其中，訓(xùn)練批次包含每個類的5000幅圖像。測試批次包含每個類的1000幅圖像。而且這些類是完全互斥的。汽車和卡車之間沒有重疊�！捌嚒卑ㄞI車，越野車，諸如此類的東西�！翱ㄜ嚒敝话ù罂ㄜ嚒Ｒ膊话ㄆた�。圖4.1CIFAR-10數(shù)據(jù)集示例Figure4.1CIFAR-10datasetexample該數(shù)據(jù)集不同于MNIST數(shù)據(jù)集，MNIST數(shù)據(jù)集中的圖像是灰度圖像，并且


本文編號：2978586