面向計算機視覺的輕量級卷積神經(jīng)網(wǎng)絡模型優(yōu)化研究
發(fā)布時間:2022-12-24 08:35
近年來,以深度卷積神經(jīng)網(wǎng)絡為代表的深度學習模型極大的推動了計算機視覺研究的發(fā)展。然而,隨著網(wǎng)絡模型準確率的提升,這些網(wǎng)絡模型的規(guī)模和計算開銷也越來越大。這使得這些深度神經(jīng)網(wǎng)絡模型在一些計算資源有限的移動端應用場景中的部署難以實現(xiàn)。為此,研究者們提出了輕量級卷積神經(jīng)網(wǎng)絡模型,使得在移動應用場景下部署性能較高的實時CNN模型成為了可能。但是,輕量級神經(jīng)網(wǎng)絡模型的研究仍面臨著諸多問題與挑戰(zhàn)。首先,輕量級網(wǎng)絡模型設計空間較小,特征表示能力不足。其次,輕量級網(wǎng)絡模型信息容量較小,提取到的特征信息較少。這些問題導致其精度與大型網(wǎng)絡模型有較大的差距。另外,在復雜計算機視覺任務中,輕量級網(wǎng)絡模型較弱的特征表示能力導致其精度難以滿足實際應用的需求。本文針對上述問題進行了研究,主要工作如下:第一,本文對輕量級網(wǎng)絡模型中常用的“稀疏連接”卷積操作進行了分析,并提出了一種輕量級卷積神經(jīng)網(wǎng)絡模型MENet。首先,本文設計了 Merging操作和Evolution操作以促進通道分組間的特征融合。然后,利用這兩種操作,本文構(gòu)建了一種輕量級的基礎網(wǎng)絡模塊,稱為ME模塊。最后,以ME模塊為基礎,本文設計了 MENet網(wǎng)...
【文章頁數(shù)】:102 頁
【學位級別】:碩士
【文章目錄】:
摘要
ABSTRACT
第一章 緒論
1.1 研究背景
1.1.1 深度學習與計算機視覺
1.1.2 移動應用場景的實時性要求
1.1.3 深度神經(jīng)網(wǎng)絡模型的壓縮與加速
1.1.4 輕量級卷積神經(jīng)網(wǎng)絡模型
1.2 問題與挑戰(zhàn)
1.2.1 輕量級卷積神經(jīng)網(wǎng)絡模型表示能力不足的挑戰(zhàn)
1.2.2 輕量級卷積神經(jīng)網(wǎng)絡模型信息容量不足的挑戰(zhàn)
1.2.3 輕量級目標檢測模型檢測精度不足的挑戰(zhàn)
1.3 本文的主要研究工作
1.3.1 面向移動視覺應用的MENet網(wǎng)絡模型
1.3.2 基于快速下采樣策略的FD-MobileNet網(wǎng)絡模型
1.3.3 Mobile Light-Head R-CNN輕量級目標檢測模型
1.4 論文結(jié)構(gòu)
第二章 相關研究
2.1 卷積與深度卷積神經(jīng)網(wǎng)絡模型
2.1.1 卷積層及其變種
2.1.2 深度卷積神經(jīng)網(wǎng)絡模型
2.1.3 卷積神經(jīng)網(wǎng)絡模型的計算開銷
2.2 基于CNN的目標檢測模型
2.2.1 基于區(qū)域的兩階段目標檢測模型
2.2.2 單一流程的一階段目標檢測模型
2.2.3 目標檢測模型中的特征提取網(wǎng)絡
2.3 輕量級卷積神經(jīng)網(wǎng)絡模型
2.3.1 面向圖像分類的輕量級網(wǎng)絡模型
2.3.2 基于CNN的實時目標檢測模型
2.4 數(shù)據(jù)集
2.5 本章小結(jié)
第三章 面向移動視覺應用的MENet網(wǎng)絡模型
3.1 引言
3.2 現(xiàn)有的輕量級神經(jīng)網(wǎng)絡模型分析
3.3 面向移動視覺應用的MENet網(wǎng)絡模型
3.3.1 Merging操作和Evolution操作設計
3.3.2 Merging-and-Evolution基礎網(wǎng)絡模塊設計
3.3.3 MENet網(wǎng)絡模型設計
3.3.4 使用深度卷積的融合分支模型結(jié)構(gòu)
3.4 實驗結(jié)果及分析
3.4.1 CIFAR和SVHN數(shù)據(jù)集的實驗結(jié)果分析
3.4.2 ILSVRC 2012數(shù)據(jù)集的實驗結(jié)果分析
3.4.3 不同模型選擇對模型精度的影響
3.4.4 PASCAL VOC數(shù)據(jù)集的實驗結(jié)果分析
3.4.5 實際預測時間分析
3.5 本章小結(jié)
第四章 基于快速下采樣策略的FD-MobileNet網(wǎng)絡模型
4.1 引言
4.2 現(xiàn)有的輕量級神經(jīng)網(wǎng)絡模型分析
4.3 基于快速下采樣策略的FD-MobileNet網(wǎng)絡模型
4.3.1 快速下采樣策略
4.3.2 FD-MobileNet網(wǎng)絡模型設計
4.4 實驗結(jié)果及分析
4.4.1 ILSVRC 2012數(shù)據(jù)集的實驗結(jié)果分析
4.4.2 PASCAL VOC數(shù)據(jù)集的實驗結(jié)果分析
4.4.3 實際預測時間分析
4.5 本章小結(jié)
第五章 Mobile Light-Head R-CNN輕量級目標檢測模型
5.1 引言
5.2 現(xiàn)有的輕量級目標檢測網(wǎng)絡模型分析
5.3 Mobile Light-Head R-CNN輕量級目標檢測模型
5.3.1 特征提取網(wǎng)絡設計
5.3.2 上下文增強模塊設計
5.3.3 候選區(qū)域生成網(wǎng)絡設計
5.3.4 空間注意力模塊設計
5.3.5 檢測器頭部設計
5.4 實驗結(jié)果及分析
5.4.1 實現(xiàn)細節(jié)
5.4.2 PASCAL VOC數(shù)據(jù)集的實驗結(jié)果分析
5.4.3 MS COCO數(shù)據(jù)集的實驗結(jié)果分析
5.4.4 分解實驗結(jié)果分析
5.4.5 實際預測速度
5.5 本章小結(jié)
第六章 結(jié)束語
6.1 工作總結(jié)
6.2 工作展望
致謝
參考文獻
作者在學期間取得的學術成果
本文編號:3725865
【文章頁數(shù)】:102 頁
【學位級別】:碩士
【文章目錄】:
摘要
ABSTRACT
第一章 緒論
1.1 研究背景
1.1.1 深度學習與計算機視覺
1.1.2 移動應用場景的實時性要求
1.1.3 深度神經(jīng)網(wǎng)絡模型的壓縮與加速
1.1.4 輕量級卷積神經(jīng)網(wǎng)絡模型
1.2 問題與挑戰(zhàn)
1.2.1 輕量級卷積神經(jīng)網(wǎng)絡模型表示能力不足的挑戰(zhàn)
1.2.2 輕量級卷積神經(jīng)網(wǎng)絡模型信息容量不足的挑戰(zhàn)
1.2.3 輕量級目標檢測模型檢測精度不足的挑戰(zhàn)
1.3 本文的主要研究工作
1.3.1 面向移動視覺應用的MENet網(wǎng)絡模型
1.3.2 基于快速下采樣策略的FD-MobileNet網(wǎng)絡模型
1.3.3 Mobile Light-Head R-CNN輕量級目標檢測模型
1.4 論文結(jié)構(gòu)
第二章 相關研究
2.1 卷積與深度卷積神經(jīng)網(wǎng)絡模型
2.1.1 卷積層及其變種
2.1.2 深度卷積神經(jīng)網(wǎng)絡模型
2.1.3 卷積神經(jīng)網(wǎng)絡模型的計算開銷
2.2 基于CNN的目標檢測模型
2.2.1 基于區(qū)域的兩階段目標檢測模型
2.2.2 單一流程的一階段目標檢測模型
2.2.3 目標檢測模型中的特征提取網(wǎng)絡
2.3 輕量級卷積神經(jīng)網(wǎng)絡模型
2.3.1 面向圖像分類的輕量級網(wǎng)絡模型
2.3.2 基于CNN的實時目標檢測模型
2.4 數(shù)據(jù)集
2.5 本章小結(jié)
第三章 面向移動視覺應用的MENet網(wǎng)絡模型
3.1 引言
3.2 現(xiàn)有的輕量級神經(jīng)網(wǎng)絡模型分析
3.3 面向移動視覺應用的MENet網(wǎng)絡模型
3.3.1 Merging操作和Evolution操作設計
3.3.2 Merging-and-Evolution基礎網(wǎng)絡模塊設計
3.3.3 MENet網(wǎng)絡模型設計
3.3.4 使用深度卷積的融合分支模型結(jié)構(gòu)
3.4 實驗結(jié)果及分析
3.4.1 CIFAR和SVHN數(shù)據(jù)集的實驗結(jié)果分析
3.4.2 ILSVRC 2012數(shù)據(jù)集的實驗結(jié)果分析
3.4.3 不同模型選擇對模型精度的影響
3.4.4 PASCAL VOC數(shù)據(jù)集的實驗結(jié)果分析
3.4.5 實際預測時間分析
3.5 本章小結(jié)
第四章 基于快速下采樣策略的FD-MobileNet網(wǎng)絡模型
4.1 引言
4.2 現(xiàn)有的輕量級神經(jīng)網(wǎng)絡模型分析
4.3 基于快速下采樣策略的FD-MobileNet網(wǎng)絡模型
4.3.1 快速下采樣策略
4.3.2 FD-MobileNet網(wǎng)絡模型設計
4.4 實驗結(jié)果及分析
4.4.1 ILSVRC 2012數(shù)據(jù)集的實驗結(jié)果分析
4.4.2 PASCAL VOC數(shù)據(jù)集的實驗結(jié)果分析
4.4.3 實際預測時間分析
4.5 本章小結(jié)
第五章 Mobile Light-Head R-CNN輕量級目標檢測模型
5.1 引言
5.2 現(xiàn)有的輕量級目標檢測網(wǎng)絡模型分析
5.3 Mobile Light-Head R-CNN輕量級目標檢測模型
5.3.1 特征提取網(wǎng)絡設計
5.3.2 上下文增強模塊設計
5.3.3 候選區(qū)域生成網(wǎng)絡設計
5.3.4 空間注意力模塊設計
5.3.5 檢測器頭部設計
5.4 實驗結(jié)果及分析
5.4.1 實現(xiàn)細節(jié)
5.4.2 PASCAL VOC數(shù)據(jù)集的實驗結(jié)果分析
5.4.3 MS COCO數(shù)據(jù)集的實驗結(jié)果分析
5.4.4 分解實驗結(jié)果分析
5.4.5 實際預測速度
5.5 本章小結(jié)
第六章 結(jié)束語
6.1 工作總結(jié)
6.2 工作展望
致謝
參考文獻
作者在學期間取得的學術成果
本文編號:3725865
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/3725865.html
最近更新
教材專著