隨著互聯(lián)網(wǎng)的飛速發(fā)展和智能手機等終端的普及,互聯(lián)網(wǎng)上的圖像數(shù)據(jù)呈現(xiàn)出指數(shù)級的增長趨勢,這些圖像涵蓋了人類生活的各個方面,包含了大量的有用信息。圖像分類是利用這些信息的重要手段,有利于解決現(xiàn)實場景中的很多問題,在圖像檢索、場景識別、人機交互等方面都有著廣闊的應用前景。卷積神經網(wǎng)絡憑借其優(yōu)異的特征提取能力,被廣泛應用于圖像分類領域。由于現(xiàn)實任務場景越來越復雜,為了滿足需求,網(wǎng)絡模型的規(guī)模也在不斷增大,導致訓練一個深層網(wǎng)絡非常耗時。因此如何設計高效的卷積神經網(wǎng)絡以及如何加速神經網(wǎng)絡的訓練成為深度學習領域的重要研究課題。本文以圖像分類為背景,選取典型的卷積神經網(wǎng)絡DenseNet作為研究對象,對利用DenseNet進行圖像分類的方法和分布式并行訓練算法進行了研究。DenseNet通過特征復用的方式減少了模型的參數(shù)量,并且能取得很高的準確率,但是模型的可擴展性不高,而且頻繁的特征圖拼接操作也使模型在訓練過程中占用了過多的顯存。同步數(shù)據(jù)并行是最常使用的并行訓練方法,在每個迭代過程中計算節(jié)點與參數(shù)服務器之間需要進行通信,以交換梯度值,當網(wǎng)絡模型的參數(shù)規(guī)模較大或網(wǎng)絡帶寬受限時,通信時間容易成為瓶頸,極... 

【文章來源】：西安電子科技大學陜西省 211工程院校 教育部直屬院校

【文章頁數(shù)】：83 頁

【學位級別】：碩士

【部分圖文】：

Sigmoid函數(shù)幾何圖像

西安電子科技大學碩士學位論文活函數(shù)的首選，但由于其存在飽和區(qū)域，在輸入利用誤差反向傳播算法進行訓練時容易發(fā)生梯度數(shù)本身固有的缺陷，近年來使用的人越來越少。數(shù)雙曲正切函數(shù)，其函數(shù)圖像與 Sigmoid 函數(shù)很相

圖 2. 4 Tanh 函數(shù)幾何圖像學表達式為:數(shù)不同，Tanh 函數(shù)將輸入映射到區(qū)間[-1,1]內用中的效果要好于 Sigmoid 函數(shù)。但是其仍存失的問題。數(shù)非線性激活函數(shù)存在飽和區(qū)間的問題，HUnit）函數(shù)。ReLU 函數(shù)是一種局部線性的分段

【參考文獻】：
期刊論文
[1]深度神經網(wǎng)絡并行化研究綜述[J]. 朱虎明,李佩,焦李成,楊淑媛,侯彪.  計算機學報. 2018(08)
[2]大數(shù)據(jù)的分布式機器學習的策略與原則[J]. Eric P.Xing,Qirong Ho,Pengtao Xie,Wei Dai.  Engineering. 2016(02)

博士論文
[1]基于深度學習的圖像分類[D]. 孫煒晨.北京郵電大學 2017

碩士論文
[1]基于深度學習的圖像分類研究[D]. 雷曉靜.西安電子科技大學 2017
[2]多GPU環(huán)境下的卷積神經網(wǎng)絡并行算法[D]. 王裕民.中國科學技術大學 2016
[3]分布式深度學習中參數(shù)交換優(yōu)化機制研究[D]. 王思遠.華中科技大學 2015



本文編號：3044920