科技的快速發(fā)展可以讓人們獲得大量數(shù)據(jù),這些數(shù)據(jù)中包含著重要信息以及各種噪聲,如何從數(shù)據(jù)中獲得有用知識(shí)是機(jī)器學(xué)習(xí)現(xiàn)階段最重要的事情。在機(jī)器學(xué)習(xí)中,數(shù)學(xué)優(yōu)化是基礎(chǔ)之一,幾乎涉及該學(xué)科的各個(gè)方面。機(jī)器學(xué)習(xí)中的數(shù)學(xué)優(yōu)化主要是對(duì)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化問題進(jìn)行求解,其中經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化問題是指函數(shù)模型預(yù)測(cè)的結(jié)果期望誤差最小化。求解經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化問題本身是整個(gè)機(jī)器學(xué)習(xí)領(lǐng)域中的一大難題,所以設(shè)計(jì)一個(gè)快速高效的優(yōu)化算法成為研究人員一直追求的目標(biāo)。本文針對(duì)機(jī)器學(xué)習(xí)中的數(shù)學(xué)優(yōu)化,首先提出一種用于求解經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化問題的優(yōu)化算法,同時(shí)對(duì)機(jī)器學(xué)習(xí)中的結(jié)構(gòu)風(fēng)險(xiǎn)最小化問題進(jìn)行研究。本文的主要研究成果包括以下方面:（1）批量減數(shù)更新梯度下降算法（Batch Subtraction Update Gradient,BSUG）。為了應(yīng)對(duì)由于隨機(jī)梯度引入方差而導(dǎo)致不能線性收斂的問題,我們?cè)谝延蟹讲羁s減算法的基礎(chǔ)上改進(jìn),設(shè)計(jì)了一個(gè)新的方差縮減算法。在訓(xùn)練過程中BSUG使用小批量樣本代替全部樣本進(jìn)行平均梯度計(jì)算,同時(shí)對(duì)平均梯度進(jìn)行減數(shù)更新。通過與其他方差縮減算法進(jìn)行實(shí)驗(yàn)對(duì)比,表明BSUG算法收斂速度達(dá)到線性收斂。為了對(duì)算法進(jìn)行穩(wěn)定性探究... 

【文章來源】：安徽大學(xué)安徽省 211工程院校

【文章頁(yè)數(shù)】：61 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

Relu函數(shù)圖像

第四章結(jié)構(gòu)風(fēng)險(xiǎn)最小化問題36{0,1,,}，這兩個(gè)內(nèi)存消耗主要與每批大小和訓(xùn)練參數(shù)有關(guān)。4.3實(shí)驗(yàn)設(shè)計(jì)與實(shí)驗(yàn)結(jié)果4.3.1實(shí)驗(yàn)數(shù)據(jù)CIFAR-10數(shù)據(jù)集由10個(gè)類的60000個(gè)32x32彩色圖像組成，每個(gè)類有6000個(gè)圖像。有5萬(wàn)張訓(xùn)練圖片和1萬(wàn)張測(cè)試圖片。其中，訓(xùn)練批次包含每個(gè)類的5000幅圖像。測(cè)試批次包含每個(gè)類的1000幅圖像。而且這些類是完全互斥的。汽車和卡車之間沒有重疊�！捌嚒卑ㄞI車，越野車，諸如此類的東西。“卡車”只包括大卡車。也不包括皮卡。圖4.1CIFAR-10數(shù)據(jù)集示例Figure4.1CIFAR-10datasetexample該數(shù)據(jù)集不同于MNIST數(shù)據(jù)集，MNIST數(shù)據(jù)集中的圖像是灰度圖像，并且


本文編號(hào)：2978586