本文選題：玻爾茲曼機(jī) + 信息幾何�。� 參考：《天津大學(xué)》2016年博士論文

【摘要】：深度學(xué)習(xí)模型已經(jīng)在眾多應(yīng)用領(lǐng)域取得了引人矚目的成功。相對于經(jīng)驗(yàn)意義上的成功,深度學(xué)習(xí)在模型設(shè)計和訓(xùn)練方法等方面的理論基礎(chǔ)相對薄弱。實(shí)際中,研究者需要通過大量試錯來設(shè)定模型結(jié)構(gòu)和控制模型訓(xùn)練過程。由于缺乏理論指導(dǎo)所造成的設(shè)計復(fù)雜性已成為限制深度學(xué)習(xí)更廣泛應(yīng)用的瓶頸。本文旨在解決無監(jiān)督設(shè)置下神經(jīng)網(wǎng)絡(luò)的參數(shù)選擇(約簡)問題:利用盡量少的參數(shù),保留盡量多的目標(biāo)概率分布的信息,用以提高應(yīng)用模型的計算效率和泛化能力。論文將玻爾茲曼機(jī)作為研究對象,因?yàn)?1)其作為基本構(gòu)件廣泛應(yīng)用于很多深度學(xué)習(xí)模型中;2)信息幾何理論為其提供了較完備統(tǒng)一的理論分析工具和解釋視角�；谛畔缀卫碚�,我們將模型的參數(shù)選擇問題轉(zhuǎn)化為統(tǒng)計流形上幾何結(jié)構(gòu)的最大化保持問題。具體的,本文的主要研究內(nèi)容包括:1.提出了多元布爾分布族的一般性參數(shù)選擇準(zhǔn)則。參數(shù)的相對重要程度定義為Fisher-Rao信息距離在該參數(shù)方向的貢獻(xiàn)分量(稱為可信度)。我們可以保留可信度高的參數(shù),而給低可信度的參數(shù)賦予中立值(通常為0)。上述參數(shù)選擇準(zhǔn)則稱為可信信息優(yōu)先原則。我們證明可信信息優(yōu)先原則所實(shí)現(xiàn)的子流形可以最大程度地保持概率單純形上任意一點(diǎn)與其小ε-鄰域球上各點(diǎn)之間的期望Fisher-Rao信息距離。2.解析了不同類型玻爾茲曼機(jī)對可信信息優(yōu)先原則的實(shí)現(xiàn)方式,進(jìn)而揭示玻爾茲曼機(jī)估計多元布爾分布的優(yōu)化意義。3.提出了在給定樣本情況下玻爾茲曼機(jī)的高效模型選擇算法。我們可以依可信度確定模型參數(shù)的優(yōu)先順序,并設(shè)計了假設(shè)檢驗(yàn)方法用以自動辨識參數(shù)可信度的顯著性水平,顯著降低了模型選擇的時間復(fù)雜度。4.提出了針對深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)正則化方法,用于解決訓(xùn)練過程中的過擬合問題。我們通過保留可信度高的邊組成可信網(wǎng)絡(luò)(稱為ConfNet),并設(shè)計訓(xùn)練算法實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的動態(tài)調(diào)整,達(dá)致模型復(fù)雜性與訓(xùn)練樣本規(guī)模之間的平衡。
[Abstract]:Based on the theory of information geometry , we propose a method for selecting the parameters of the neural network .
【學(xué)位授予單位】：天津大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：TP18

【相似文獻(xiàn)】

相關(guān)期刊論文 前3條

1 劉建偉;劉媛;羅雄麟;;玻爾茲曼機(jī)研究進(jìn)展[J];計算機(jī)研究與發(fā)展;2014年01期

2 劉來福，，唐志宇，匡錦瑜;向量玻爾茲曼機(jī)[J];北京師范大學(xué)學(xué)報(自然科學(xué)版);1996年04期

3 秦勝君;盧志平;;基于限制玻爾茲曼機(jī)的無極性標(biāo)注情感分類研究[J];科學(xué)技術(shù)與工程;2013年35期

相關(guān)博士學(xué)位論文 前1條

1 趙曉朝;玻爾茲曼機(jī)的參數(shù)選擇理論及應(yīng)用[D];天津大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 糜帥;基于曲率信息的受限玻爾茲曼機(jī)訓(xùn)練算法[D];天津大學(xué);2016年

2 李娟;基于RBM的小分子活性及選擇性研究[D];蘭州大學(xué);2015年

3 葉睿;基于深度學(xué)習(xí)的人臉檢測方法研究[D];哈爾濱工業(yè)大學(xué);2015年

4 張衛(wèi)東;深度信念網(wǎng)絡(luò)及其在手寫字體識別中的應(yīng)用[D];成都理工大學(xué);2015年

5 施維劏;門限玻爾茲曼機(jī)在人臉識別中的魯棒性研究[D];北京交通大學(xué);2015年

6 萬程;自適應(yīng)基數(shù)受限玻爾茲曼機(jī)[D];清華大學(xué);2015年

7 李亦錟;受限的玻爾茲曼機(jī)在背景建模和文本建模中的研究與應(yīng)用[D];中國科學(xué)技術(shù)大學(xué);2016年

8 張艷霞;基于受限玻爾茲曼機(jī)的深度學(xué)習(xí)模型及其應(yīng)用[D];電子科技大學(xué);2016年

9 朱常寶;基于深度玻爾茲曼機(jī)的特征學(xué)習(xí)算法研究[D];北京化工大學(xué);2016年

10 張怡康;基于受限玻爾茲曼機(jī)的深度學(xué)習(xí)方法研究[D];北京化工大學(xué);2016年

本文編號：2040883