變分推斷是一種用于逼近概率模型后驗(yàn)分布的機(jī)器學(xué)習(xí)技術(shù)。重參數(shù)化技術(shù)是目前最常用的變分推斷梯度估計(jì)技術(shù),然而其只能應(yīng)用于少數(shù)參數(shù)分布族,如具有位置參數(shù)和尺度參數(shù)的概率分布族。雖然有一些研究工作推廣了重參數(shù)化技術(shù),使其能夠處理諸如伽瑪分布、狄利克雷分布等較為復(fù)雜的概率分布,但是這些方法難以自然地推廣到多元分布上。本文對(duì)多元變分分布的變分優(yōu)化問(wèn)題開(kāi)展了研究,重點(diǎn)針對(duì)多元變分分布和流體運(yùn)動(dòng)的相似性,進(jìn)行了三個(gè)方面的工作,主要內(nèi)容如下:(1)通過(guò)將變分分布和流體運(yùn)動(dòng)進(jìn)行對(duì)比,提出了變分分布的概率流模型,并通過(guò)該模型對(duì)重參數(shù)化技術(shù)進(jìn)行了分析,發(fā)現(xiàn)在概率流的觀點(diǎn)下,重參數(shù)化技術(shù)和選取的標(biāo)準(zhǔn)化變換是無(wú)關(guān)的,所有的標(biāo)準(zhǔn)化變換都導(dǎo)致了相同的速度場(chǎng),并證明了該速度場(chǎng)是連續(xù)性方程的一個(gè)特解;(2)基于概率流的速度場(chǎng)提出了三種不同形式的梯度——零流量梯度、修正全梯度和流增量梯度,而且通過(guò)流增量梯度分析了速度場(chǎng)和流增量的大小與梯度估計(jì)方差的關(guān)聯(lián),并證明了,隨著速度場(chǎng)和流增量L2范數(shù)的增大,梯度估計(jì)的方差也會(huì)變大,最終趨向無(wú)窮;(3)基于零流量梯度的形式提出了基于多項(xiàng)式的概率流梯度估計(jì)子,并且針對(duì)可分解分布給出了該梯...

【文章頁(yè)數(shù)】：63 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖5-1有均勻先驗(yàn)的多項(xiàng)分布似然的狄利克雷分布逼近結(jié)果

浙江大學(xué)碩士學(xué)位論文第5章實(shí)驗(yàn)與分析39圖5-1有均勻先驗(yàn)的多項(xiàng)分布似然的狄利克雷分布逼近結(jié)果表5-1有均勻先驗(yàn)的多項(xiàng)分布似然的狄利克雷分布逼近結(jié)果A1.00001.23001.45001.67001.8900G-REP3302.85032742.90511359.4979130....

圖5-3Olivettifaces實(shí)驗(yàn)結(jié)果

浙江大學(xué)碩士學(xué)位論文第5章實(shí)驗(yàn)與分析42SparseGammaDEF模型，是的先驗(yàn)分布；對(duì)于給定的，可以通過(guò)方程(22)計(jì)算似然。需要注意的是，隱狀態(tài)的維度是和觀察的數(shù)量成正比的。本節(jié)保持和Naesseth等人[23]相同的實(shí)驗(yàn)參數(shù)設(shè)置：在SparseGammaDEF模型(22)....

本文編號(hào)：4007822