在機(jī)器學(xué)習(xí)和貝葉斯推理中,復(fù)雜的概率模型通常需要計(jì)算難解的高維積分。馬爾科夫鏈蒙特卡洛（Markov Chian Monte Carlo,MCMC）是一種常用的貝葉斯概率模型的近似方法。MCMC利用從馬爾科夫鏈中采樣得到的樣本去近似復(fù)雜的概率分布。當(dāng)采樣的樣本數(shù)量足夠大時(shí),它能夠?yàn)楦怕誓Ｐ吞峁u近無(wú)偏的估計(jì)。基于動(dòng)力學(xué)的采樣方法是當(dāng)前最流行的MCMC方法之一,其中哈密爾頓蒙特卡洛（Hamiltonian Monte Carlo,HMC）是基于動(dòng)力學(xué)的MCMC方法中最典型的代表,它利用哈密爾頓動(dòng)力學(xué)去構(gòu)建馬爾科夫鏈,從而高效地從目標(biāo)分布中采樣。然而,HMC在樣本自相關(guān)性和多模態(tài)采樣問(wèn)題上存在明顯的不足。本文的工作是研究基于動(dòng)力學(xué)的采樣方法,并設(shè)計(jì)能夠采樣多模態(tài)分布的高性能的采樣器。首先,為了進(jìn)一步提高現(xiàn)有動(dòng)力學(xué)采樣器的性能,即提高收斂速度和降低樣本的自相關(guān)性,本文提出了神經(jīng)郎之萬(wàn)蒙特卡洛（Neural Networks Langevin Monte Carlo,NNLMC）。它充分利用了神經(jīng)網(wǎng)絡(luò)的靈活性和郎之萬(wàn)動(dòng)力學(xué)采樣的高效性來(lái)構(gòu)建一種新的MCMC采樣方法。我們提出了新的更新公式來(lái)產(chǎn)生... 

【文章來(lái)源】：華東師范大學(xué)上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：78 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

包含單一隱層和單一單元的多層感知機(jī)

華東師范大學(xué)碩士學(xué)位論文第三章神經(jīng)郎之萬(wàn)蒙特卡洛15圖3.1NNLMC的更新過(guò)程2111111111111111111,2,,,nnxnnxnnnxnnnnnnxnnnnnnnmfxUxxUxaxUxcmaisxUxcixz，，，，，(3.1)其中“”表示逐個(gè)元素相乘，表示離散化的步長(zhǎng)，nz是一個(gè)標(biāo)準(zhǔn)的高斯分布。1(x)yWRelu(Wx)和2()()sssxyWReluWx，它們分別是由1W、W、2W和sW參數(shù)化的神經(jīng)網(wǎng)絡(luò)，其中y是神經(jīng)網(wǎng)絡(luò)的輸出，Relu表示激活函數(shù)。我們沒(méi)有在最后的輸出層使用激活函數(shù)。神經(jīng)網(wǎng)絡(luò)()和s()的結(jié)構(gòu)如圖3.2所示。.圖3.2NNLMC中神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖

華東師范大學(xué)碩士學(xué)位論文第三章神經(jīng)郎之萬(wàn)蒙特卡洛15圖3.1NNLMC的更新過(guò)程2111111111111111111,2,,,nnxnnxnnnxnnnnnnxnnnnnnnmfxUxxUxaxUxcmaisxUxcixz，，，，，(3.1)其中“”表示逐個(gè)元素相乘，表示離散化的步長(zhǎng)，nz是一個(gè)標(biāo)準(zhǔn)的高斯分布。1(x)yWRelu(Wx)和2()()sssxyWReluWx，它們分別是由1W、W、2W和sW參數(shù)化的神經(jīng)網(wǎng)絡(luò)，其中y是神經(jīng)網(wǎng)絡(luò)的輸出，Relu表示激活函數(shù)。我們沒(méi)有在最后的輸出層使用激活函數(shù)。神經(jīng)網(wǎng)絡(luò)()和s()的結(jié)構(gòu)如圖3.2所示。.圖3.2NNLMC中神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖


本文編號(hào)：3465714