隨著人工智能時代的來臨,深度學習技術不斷推陳出新。在計算機視覺領域,深度網(wǎng)絡的使用日益廣泛。但當前深度學習技術發(fā)展面臨的挑戰(zhàn)有二:一是其網(wǎng)絡架構中缺少對預測結果的不確定性度量,從而在實際應用中常因模型過于自信的表現(xiàn)導致決策失誤。二是現(xiàn)實生活中高質量且有標記數(shù)據(jù)的獲取成本較高,而深度學習依賴大量的訓練數(shù)據(jù)。本文直面上述挑戰(zhàn),開展貝葉斯深度網(wǎng)絡的理論研究,并將其付諸實踐,分別在圖像去噪任務和圖像分類任務上進行實驗。論文的主要結果如下:(1)從數(shù)學角度出發(fā),系統(tǒng)且詳細地推導了貝葉斯深度網(wǎng)絡的理論框架。(2)為了理解模型中的不確定性信息,本文分別基于認知不確定性、偶然不確定性、混合不確定性設計貝葉斯深度網(wǎng)絡并展開去噪實驗。實現(xiàn)了深度去噪模型輸出干凈圖像的同時給出不確定性的示意圖,從而指導后續(xù)優(yōu)化方向。對比傳統(tǒng)網(wǎng)絡,建模后的網(wǎng)絡模型的精度都得以提高。(3)本文結合主動學習框架與貝葉斯深度網(wǎng)絡,旨在實現(xiàn)少量標記數(shù)據(jù)訓練出高精度的模型�；诓淮_定性理論推導適用貝葉斯深度網(wǎng)絡的最大熵采集函數(shù)、交互信息采集函數(shù)以及最大變化率采集函數(shù)并做對比實驗。與確定性的主動學習深度網(wǎng)絡相比,貝葉斯主動學習深度網(wǎng)絡的可... 

【文章來源】：哈爾濱工業(yè)大學黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：55 頁

【學位級別】：碩士

【部分圖文】：

dropout示意圖

哈爾濱工業(yè)大學理學碩士學位論文-10-圖2-3普通神經(jīng)網(wǎng)絡（左）與貝葉斯神經(jīng)網(wǎng)絡（右）示意圖對于分類問題，令softmax似然模型為："exp,expwdwddfxpydxwfx對于回歸問題，似然模型表示為：1,;,IwpyxwyfxN其中，模型精度。通過積分預測新的輸入數(shù)據(jù)*x的輸出：****pyx,X,Ypyx,wpwX,Ydw參數(shù)空間的后驗估計的難點在于計算pYXpYX,wpwdw。理論上可用微積分來進行計算，但實際生產(chǎn)生活中很難將其實現(xiàn)[39]。貝葉斯神經(jīng)網(wǎng)絡實際建模過程中面臨的困難可以概括為三點：(1)神經(jīng)網(wǎng)絡參數(shù)眾多計算難以實現(xiàn)。(2)無法適應大規(guī)模數(shù)據(jù)集。(3)難以處理高維數(shù)據(jù)。因此，模型的后驗概率需要一個近似值。2.4.2變分推斷變分推斷(VariationalInference)[22]是一種用于解決復雜推斷計算問題的機器學習方法。旨在通過優(yōu)化方法解決在給定觀測變量的情況下近似潛在變量的條件概率。具體而言，給定一個數(shù)族，變分推斷旨在得到該數(shù)族中某些復雜目標的概率分布的最優(yōu)近似解。推斷問題是在給定觀測值的情況下計算潛在變量的條件概率pzx.此條件概率可產(chǎn)生潛在變量的點估計，形成新數(shù)據(jù)的預測結果。所謂潛在變量包括貝葉

基于認知不確定性的網(wǎng)絡架構圖

【參考文獻】：
期刊論文
[1]基于反應擴散和非局部自相似的圖像去噪算法[J]. 莫佩基,雷宏.  計算機與現(xiàn)代化. 2018(06)
[2]基于MRF與引導濾波的聲納圖像去噪方法[J]. 李雪峰,姜靜,李巖,田宇.  海洋技術學報. 2017(05)
[3]主動學習算法研究進展[J]. 楊文柱,田瀟瀟,王思樂,張錫忠.  河北大學學報(自然科學版). 2017(02)
[4]卷積神經(jīng)網(wǎng)絡研究綜述[J]. 李彥冬,郝宗波,雷航.  計算機應用. 2016(09)
[5]大數(shù)據(jù)下的機器學習算法綜述[J]. 何清,李寧,羅文娟,史忠植.  模式識別與人工智能. 2014(04)

碩士論文
[1]基于主動學習的高光譜圖像分類[D]. 楊承文.浙江工業(yè)大學 2019
[2]基于多類分類的主動學習改進算法[D]. 田瀟瀟.河北大學 2017



本文編號：2932257