隨著人工智能時(shí)代的來臨,深度學(xué)習(xí)技術(shù)不斷推陳出新。在計(jì)算機(jī)視覺領(lǐng)域,深度網(wǎng)絡(luò)的使用日益廣泛。但當(dāng)前深度學(xué)習(xí)技術(shù)發(fā)展面臨的挑戰(zhàn)有二:一是其網(wǎng)絡(luò)架構(gòu)中缺少對(duì)預(yù)測(cè)結(jié)果的不確定性度量,從而在實(shí)際應(yīng)用中常因模型過于自信的表現(xiàn)導(dǎo)致決策失誤。二是現(xiàn)實(shí)生活中高質(zhì)量且有標(biāo)記數(shù)據(jù)的獲取成本較高,而深度學(xué)習(xí)依賴大量的訓(xùn)練數(shù)據(jù)。本文直面上述挑戰(zhàn),開展貝葉斯深度網(wǎng)絡(luò)的理論研究,并將其付諸實(shí)踐,分別在圖像去噪任務(wù)和圖像分類任務(wù)上進(jìn)行實(shí)驗(yàn)。論文的主要結(jié)果如下:(1)從數(shù)學(xué)角度出發(fā),系統(tǒng)且詳細(xì)地推導(dǎo)了貝葉斯深度網(wǎng)絡(luò)的理論框架。(2)為了理解模型中的不確定性信息,本文分別基于認(rèn)知不確定性、偶然不確定性、混合不確定性設(shè)計(jì)貝葉斯深度網(wǎng)絡(luò)并展開去噪實(shí)驗(yàn)。實(shí)現(xiàn)了深度去噪模型輸出干凈圖像的同時(shí)給出不確定性的示意圖,從而指導(dǎo)后續(xù)優(yōu)化方向。對(duì)比傳統(tǒng)網(wǎng)絡(luò),建模后的網(wǎng)絡(luò)模型的精度都得以提高。(3)本文結(jié)合主動(dòng)學(xué)習(xí)框架與貝葉斯深度網(wǎng)絡(luò),旨在實(shí)現(xiàn)少量標(biāo)記數(shù)據(jù)訓(xùn)練出高精度的模型�；诓淮_定性理論推導(dǎo)適用貝葉斯深度網(wǎng)絡(luò)的最大熵采集函數(shù)、交互信息采集函數(shù)以及最大變化率采集函數(shù)并做對(duì)比實(shí)驗(yàn)。與確定性的主動(dòng)學(xué)習(xí)深度網(wǎng)絡(luò)相比,貝葉斯主動(dòng)學(xué)習(xí)深度網(wǎng)絡(luò)的可... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：55 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

dropout示意圖

哈爾濱工業(yè)大學(xué)理學(xué)碩士學(xué)位論文-10-圖2-3普通神經(jīng)網(wǎng)絡(luò)（左）與貝葉斯神經(jīng)網(wǎng)絡(luò)（右）示意圖對(duì)于分類問題，令softmax似然模型為："exp,expwdwddfxpydxwfx對(duì)于回歸問題，似然模型表示為：1,;,IwpyxwyfxN其中，模型精度。通過積分預(yù)測(cè)新的輸入數(shù)據(jù)*x的輸出：****pyx,X,Ypyx,wpwX,Ydw參數(shù)空間的后驗(yàn)估計(jì)的難點(diǎn)在于計(jì)算pYXpYX,wpwdw。理論上可用微積分來進(jìn)行計(jì)算，但實(shí)際生產(chǎn)生活中很難將其實(shí)現(xiàn)[39]。貝葉斯神經(jīng)網(wǎng)絡(luò)實(shí)際建模過程中面臨的困難可以概括為三點(diǎn)：(1)神經(jīng)網(wǎng)絡(luò)參數(shù)眾多計(jì)算難以實(shí)現(xiàn)。(2)無法適應(yīng)大規(guī)模數(shù)據(jù)集。(3)難以處理高維數(shù)據(jù)。因此，模型的后驗(yàn)概率需要一個(gè)近似值。2.4.2變分推斷變分推斷(VariationalInference)[22]是一種用于解決復(fù)雜推斷計(jì)算問題的機(jī)器學(xué)習(xí)方法。旨在通過優(yōu)化方法解決在給定觀測(cè)變量的情況下近似潛在變量的條件概率。具體而言，給定一個(gè)數(shù)族，變分推斷旨在得到該數(shù)族中某些復(fù)雜目標(biāo)的概率分布的最優(yōu)近似解。推斷問題是在給定觀測(cè)值的情況下計(jì)算潛在變量的條件概率pzx.此條件概率可產(chǎn)生潛在變量的點(diǎn)估計(jì)，形成新數(shù)據(jù)的預(yù)測(cè)結(jié)果。所謂潛在變量包括貝葉

基于認(rèn)知不確定性的網(wǎng)絡(luò)架構(gòu)圖

【參考文獻(xiàn)】：
期刊論文
[1]基于反應(yīng)擴(kuò)散和非局部自相似的圖像去噪算法[J]. 莫佩基,雷宏.  計(jì)算機(jī)與現(xiàn)代化. 2018(06)
[2]基于MRF與引導(dǎo)濾波的聲納圖像去噪方法[J]. 李雪峰,姜靜,李巖,田宇.  海洋技術(shù)學(xué)報(bào). 2017(05)
[3]主動(dòng)學(xué)習(xí)算法研究進(jìn)展[J]. 楊文柱,田瀟瀟,王思樂,張錫忠.  河北大學(xué)學(xué)報(bào)(自然科學(xué)版). 2017(02)
[4]卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 李彥冬,郝宗波,雷航.  計(jì)算機(jī)應(yīng)用. 2016(09)
[5]大數(shù)據(jù)下的機(jī)器學(xué)習(xí)算法綜述[J]. 何清,李寧,羅文娟,史忠植.  模式識(shí)別與人工智能. 2014(04)

碩士論文
[1]基于主動(dòng)學(xué)習(xí)的高光譜圖像分類[D]. 楊承文.浙江工業(yè)大學(xué) 2019
[2]基于多類分類的主動(dòng)學(xué)習(xí)改進(jìn)算法[D]. 田瀟瀟.河北大學(xué) 2017



本文編號(hào)：2932257