近年來人工智能技術(shù)得到了快速發(fā)展,深度學習作為人工智能研究領域的一個重要方法,在人臉識別、圖像分類等方面取得了許多突破性的進展,但同時面臨著模型結(jié)構(gòu)復雜、參數(shù)量級高、測試數(shù)據(jù)量大等難題,在一定程度上限制了深度學習方法的快速推廣。深度學習的可視化技術(shù)能夠提升神經(jīng)網(wǎng)絡的可讀性,簡化網(wǎng)絡的理解過程,可以加快深度學習領域的研究進展,然而現(xiàn)有的可視化技術(shù)只能實現(xiàn)網(wǎng)絡結(jié)構(gòu)的圖形化,存在功能單一、框架依賴度高等缺點,使得深度學習算法研究的有效性受到抑制。為了有效提升深度學習算法研究的快速性和便捷性,論文在探索網(wǎng)絡模型訓練與分析的可視化方案基礎上,提出了一種針對Caffe深度學習架構(gòu)的網(wǎng)絡編輯與模型訓練分析的可視化解決方案CaffePanel。論文主要工作有以下幾點:（1）獨創(chuàng)地設計了Caffe框架在Web平臺上的網(wǎng)絡解析與圖形化編輯模型,融合模板語法特性與虛擬文檔思想優(yōu)化圖形化速度,提出高速Caffe網(wǎng)絡可視化與編輯機制;（2）結(jié)合前后端交互技術(shù)形成了可視化、可監(jiān)控的Caffe網(wǎng)絡訓練調(diào)試機制,針對網(wǎng)絡訓練過程中的收斂性進行研究,設計了一種網(wǎng)絡隱藏層的收斂性評估算法;（3）CaffePanel方案的... 

【文章來源】：東南大學江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：80 頁

【學位級別】：碩士

【部分圖文】：

010~2016年NIPS投稿論文數(shù)量[7]

第一章緒論31.2國內(nèi)外研究現(xiàn)狀深度學習涉及的數(shù)據(jù)十分龐大，層次結(jié)構(gòu)非常復雜，因此不論是對訓練結(jié)果的研究，還是對每個卷積層濾波效果的分析都存在一定的困難。同時復雜的網(wǎng)絡模型僅通過文本開發(fā)的方式，也難以確保開發(fā)人員編輯的準確性，更難以讓其他人員快速理解網(wǎng)絡模型結(jié)構(gòu)�？梢暬椒ㄍㄟ^對模型和數(shù)據(jù)進行統(tǒng)計與轉(zhuǎn)換，生成易于理解的結(jié)果報告，可便于開發(fā)人員進行快速學習與改進。因此，深度學習可視化一直是該領域內(nèi)的一個重要的研究方向。(1)可視化。深度學習的可視化研究和開發(fā)主要分為兩大類：1、網(wǎng)絡模型可視化/2、訓練、預測的數(shù)據(jù)可視化。針對網(wǎng)絡模型的可視化，不同的深度學習框架集成了各自特有的的可視化方案。目前主流的深度學習框架都有自帶的專有可視化工具，如TensorFlow[11]使用TensorBoard，Keras[12]使用graphviz進行可視化，具有本地分割模型、生成網(wǎng)絡框圖等功能，便于開發(fā)者理解網(wǎng)絡模型的整體結(jié)構(gòu)。TensorBoard是谷歌發(fā)布的TensorFlow深度學習框架的可視化插件。Tensor意為流動的張量，從圖1-2中，使用者能夠直接地看到數(shù)據(jù)在設計的模型中是如何流動的，從而理解流動張量的意義。對于訓練、預測的數(shù)據(jù)可視化，目前主要采用經(jīng)典的可視化工具，如OpenCV，Matlab等。這類工具發(fā)展相對完善，不論在C++、Python還是java語言下都有相對應的移植庫，OpenCV更是圖像方面深度學習必不可少的工具之一，很多模型中都需要使用OpenCV對數(shù)據(jù)集進行預處理[13]。然而對于初學者來說使用上相對麻煩，不僅需要自己圖1-2Tensorboard模型可視化網(wǎng)絡

東南大學碩士學位論文4從框架中提取出數(shù)據(jù)，還需要自己通過大段代碼實現(xiàn)所需功能，從而增加了額外的學習成本。圖1-3展示了對訓練過程模型損失的可視化分析。圖1-3訓練過程模型損失的數(shù)據(jù)可視化(2)基于Web平臺的可視化研究。隨著互聯(lián)網(wǎng)的高速發(fā)展，Web平臺憑借其高兼容、無需安裝直接運行的特性，吸引越來越多的應用轉(zhuǎn)移到Web端進行開發(fā)，在Web平臺上，基于點圖模塊Canvas和可縮放矢量圖形（SVG），誕生了眾多的可視化工具，如最常用的D3js，此外還有更多的集成庫在D3js的基礎上進一步封裝，共同構(gòu)建出符合應用需要的開發(fā)頁面[14]。因此，針對深度學習理論和技術(shù)使用Web平臺進行可視化開發(fā)技術(shù)正處在快速發(fā)展中。(3)深度學習框架(Caffe)在Web平臺上的可視化研究現(xiàn)狀Caffe作為一款開源的深度學習框架，與其他框架相比代碼開源，訓練加速效果較好，上手更加快速，社區(qū)更成熟，是目前較為主流經(jīng)典的一種，得到了廣泛地運用，因此有更多的開發(fā)者基于Caffe進行深度學習的可視化研究，針對Caffe深度學習框架的Web可視化研究已有一定的進展[15]。目前運用較廣泛的是一個Web平臺上的模型分析工具NetScope，它能在Web上分析Caffe框架的模型，并進行可視化排列。在github上也出現(xiàn)了其他開發(fā)者對NetScope的拓展，主要是添加了網(wǎng)絡層的參數(shù)分析。NetScope對模型的解析，采用了ChristophKrner的prototxt-parser庫，ChristophKrner自己在2017年末也完成過Caffejs的設計[16]。Caffejs不僅利用了NetScope的部分功能，它還整合了convnetjs，實現(xiàn)了在線預測，通過下載訓練好的分類模型，用Web瀏覽器來預測圖片內(nèi)容。盡管如此，現(xiàn)有Caffe的可視化方案還存在許多不足之處，比如只能實現(xiàn)網(wǎng)絡結(jié)構(gòu)的圖形化，存在功能單一、框架依賴度高等缺點，使得深度學習算

【參考文獻】：
期刊論文
[1]基于MongoDB的數(shù)據(jù)分片與分配策略研究[J]. 熊峰,劉宇.  計算機與數(shù)字工程. 2019(04)
[2]基于Python語言及Flask框架的微機實驗室管理系統(tǒng)設計與實現(xiàn)[J]. 艾纓東,李建兵,韓英杰.  信息與電腦(理論版). 2019(06)
[3]基于Web的數(shù)據(jù)可視化教學系統(tǒng)設計與實現(xiàn)[J]. 劉霞,張威.  電子設計工程. 2019(05)
[4]基于卷積神經(jīng)網(wǎng)絡圖像識別算法的加速實現(xiàn)方法[J]. 秦東輝,周輝,趙雄波,柳柱.  航天控制. 2019(01)
[5]基于Python的數(shù)據(jù)分析概述[J]. 翟高粵.  甘肅科技縱橫. 2018(11)
[6]2018年核心信息技術(shù)展望[J]. 樊凱.  互聯(lián)網(wǎng)經(jīng)濟. 2018(Z1)
[7]Web前端開發(fā)技術(shù)的演化與MVVM設計模式研究[J]. 李嘉,趙凱強,李長云.  電腦知識與技術(shù). 2018(02)
[8]深度學習算法在智能裝備中的應用[J]. 沈玉玲,楊俊杰,丘盛昌.  裝備機械. 2017(04)
[9]Python語言的Web開發(fā)應用[J]. 朱贇.  電腦知識與技術(shù). 2017(32)
[10]深度學習在目標視覺檢測中的應用進展與展望[J]. 張慧,王坤峰,王飛躍.  自動化學報. 2017(08)



本文編號：3595837