隨著高性能計算芯片的發(fā)展,在移動設備上部署深度學習模型成為了當今的熱門。卷積神經網(wǎng)絡（簡稱CNN）作為深度學習技術的一種,由于其能夠自適應地學習并組合出有效的特征,非常適用于花卉識別這種較難的細粒度圖像分類范疇。CNN通常有上百萬個計算節(jié)點與參數(shù),這意味著硬件設施要有較強的算力與較大的存儲資源。然而在邊緣計算中（比如移動端和嵌入式平臺）,設備的計算能力較低,內存也較小,因此部署起來有較大難度。論文圍繞移動端CNN的部署和優(yōu)化展開研究,探索了一系列技術來使花卉識別模型尺寸更小、預測時間更短、識別精度更高。論文的主要工作包括:（1）模型選擇方面,詳細分析了CNN的演變和網(wǎng)絡結構,以及各種經典的CNN架構。接著從CNN的時間復雜度和空間復雜度入手,選擇了尺度、速度和精度都取得了較好權衡的輕量級CNN20MobileNet-V2。（2）模型訓練和優(yōu)化方面,通過對CNN的訓練流程和常用優(yōu)化算法進行分析,提出了一種結合Momentum的RMSProp優(yōu)化算法,和其它優(yōu)化算法相比,該算法在相同的迭代輪數(shù)內,損失函數(shù)下降得更快,正確率上升得更高,更快尋找到最優(yōu)解。另外本文采用同步模式的雙GPU并行訓練... 

【文章來源】：華僑大學福建省

【文章頁數(shù)】：83 頁

【學位級別】：碩士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 研究背景及意義
    1.2 國內外研究現(xiàn)狀
        1.2.1 數(shù)據(jù)集的選擇
        1.2.2 傳統(tǒng)機器學習方法
        1.2.3 深度學習方法
        1.2.4 深度學習模型的壓縮與量化
    1.3 論文的組織結構
第2章 深度卷積神經網(wǎng)絡的相關技術
    2.1 全連接神經網(wǎng)絡
    2.2 卷積神經網(wǎng)絡
        2.2.1 卷積層
        2.2.2 池化層
        2.2.3 全連接層
        2.2.4 Batch Normalization層
        2.2.5 Softmax層
        2.2.6 經典卷積神經網(wǎng)絡
    2.3 面向移動端的輕量級卷積神經網(wǎng)絡
        2.3.1 輕量級卷積神經網(wǎng)絡的復雜度分析
        2.3.2 MobileNet-V
    2.4 本章小結
第3章 改進的深度神經網(wǎng)絡優(yōu)化算法和訓練策略
    3.1 深度神經網(wǎng)絡的訓練流程
        3.1.1 特征學習
        3.1.2 損失函數(shù)
        3.1.3 梯度下降算法
        3.1.4 反向傳播算法
        3.1.5 過擬合現(xiàn)象
    3.2 改進的深度神經網(wǎng)絡優(yōu)化算法
        3.2.1 常用深度神經網(wǎng)絡優(yōu)化算法
        3.2.2 結合Momentum的 RMSProp優(yōu)化算法
    3.3 深度神經網(wǎng)絡的訓練策略
        3.3.1 同步模式多GPU并行訓練
        3.3.2 遷移學習
        3.3.3 數(shù)據(jù)增強
        3.3.4 正則化
    3.4 本章小結
第4章 高效8-bit整數(shù)運算神經網(wǎng)絡
    4.1 高效8-bit整數(shù)運算神經網(wǎng)絡量化方案
        4.1.1 神經網(wǎng)絡權值分布特征
        4.1.2 均勻仿射量化
        4.1.3 卷積計算轉化為矩陣乘法
        4.1.4 量化的整數(shù)運算矩陣乘法
        4.1.5 典型的融合層實現(xiàn)
        4.1.6 模擬量化訓練
    4.2 本章小結
第5章 實驗設計與結果分析
    5.1 評估數(shù)據(jù)集
    5.2 實驗環(huán)境
        5.2.1 基于TensorFlow的主機訓練平臺
        5.2.2 基于TensorFlow Lite的移動端開發(fā)
    5.3 改進的深度神經網(wǎng)絡優(yōu)化算法和訓練策略實驗
        5.3.1 結合Momentum的 RMSProp優(yōu)化算法與其他優(yōu)化算法對比
        5.3.2 雙GPU并行訓練與單GPU訓練對比
        5.3.3 不同的訓練策略對最終精度的影響
    5.4 8-bit 模型量化實驗
        5.4.1 未模擬量化訓練
        5.4.2 模擬量化訓練
    5.5 與其它花卉識別模型的對比實驗
    5.6 移動端效果圖
    5.7 本章小結
第6章 總結與展望
    6.1 主要工作與總結
    6.2 工作展望
參考文獻
致謝
附錄A 實驗開源代碼
個人簡歷、在學期間發(fā)表的學術論文與研究成果



本文編號：3177095