互聯(lián)網(wǎng)上圖像和短視頻的規(guī)模日益龐大,快速有效的短視頻自動分類算法能夠幫助人們更加容易地找到感興趣的視頻內(nèi)容。目前深度卷積網(wǎng)絡(luò)模型是實(shí)現(xiàn)短視頻的自動分類的有效方法,但是單模型的卷積網(wǎng)絡(luò)存在泛化能力不強(qiáng)等不足。針對以上問題,本文研究了基于多模型融合的短視頻分類方法,模型融合即通過不同組合策略將多個(gè)單一模型進(jìn)行組合,最終輸出預(yù)測結(jié)果。本文的主要工作如下:1.建立了短視頻數(shù)據(jù)集。本數(shù)據(jù)集包含1200段不同行人的動作視頻數(shù)據(jù),共計(jì)6類:拳擊（Boxing）,鼓掌（Handclapping）,揮手（Handwaving）,慢跑（Jogging）,跑步（Running）和步行（Walking）。每個(gè)類別包含了 200個(gè)視頻樣本,每個(gè)視頻樣本時(shí)長約15s,幀率為25fps,分辨率為128*128。按照5:3:2隨機(jī)劃分訓(xùn)練集、測試集和驗(yàn)證集。2.設(shè)計(jì)實(shí)現(xiàn)了用于短視頻分類的3D卷積神經(jīng)網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)由輸入層、三個(gè)卷積層、三個(gè)池化層、三個(gè)批量正則化（BN層）、兩個(gè)全連接層及輸出層組成,利用3D卷積核提取視頻時(shí)間和空間信息。訓(xùn)練過程采用了數(shù)據(jù)增強(qiáng)、隨機(jī)失活、自適應(yīng)學(xué)習(xí)率等技術(shù),所訓(xùn)練出的模型實(shí)現(xiàn)了 84.... 

【文章來源】：大連交通大學(xué)遼寧省

【文章頁數(shù)】：70 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２．１集成學(xué)習(xí)方法??Ｆｉｇ．２．１?Ｅｎｓｅｍｂｌｅ?ｌｅａｒｎｉｎｇ?ｍｅｔｈｏｄ??

?第三章基于單個(gè)３Ｄ卷積神經(jīng)網(wǎng)絡(luò)的短視頻分類???層是不算在卷積神經(jīng)網(wǎng)絡(luò)模型的總層數(shù)中。也就是說，上述模型是由三個(gè)卷積層和兩個(gè)??全連接層組成，其中每個(gè)卷積層后都會添加一個(gè)激活層和池化層。模型每層的設(shè)置情況??如下所示：??輸入層：在短視頻輸入后，對原始的圖像幀進(jìn)行預(yù)處理，產(chǎn)生多個(gè)通道的信息，再??將所有通道的信息結(jié)合形成特征描述。使用硬連接層（Ｈａｒｄｗｉｒｅｄ），可以獲得多種不同??類型的特征。??幀提取過程如圖３．２所示，每幀圖像提取五個(gè)通道的信息，分別是：灰度、ｘ和ｙ??方向的梯度，ｘ和ｙ方向的光流。其中，前面三個(gè)信息在每幀圖像中都需要計(jì)算，水平??和垂直萬向的光流場可以根據(jù)實(shí)際情況進(jìn)行取舍。??Ｇｒａｄｉｅｎｔ－ｘ??Ｇｒａｄｉｅｎｌ－ｙ????????????□??Ｉｃｒｅｙ－ｔｅｖｅｌ?Ｓ?Ｂ?°??ｈａｒｄｗｉｒｅｄ?ＪＪＢ??Ｉ?ｏｐｔ－ｆ）〇ｗ－ｘｌＨＢ?ＨＨＩ??Ｓ?篇ｓ?ａｓｓ?ａｓ?…ａｓ??■?Ｏｐｔ－ｎ〇ｗ－ｙｊ｜??圖３．２幀特征提取結(jié)構(gòu)??Ｆｉｇ．３．２?Ｔｈｅ?ｓｔｒｕｃｔｕｒｅ?ｏｆ?ｆｒａｍｅ?ｆｅａｔｕｒｅ?ｅｘｔｒａｃｔｉｏｎ??卷積Ｍ：圖３．１中Ｃ２和Ｃ４都是３Ｄ卷積層。卷積層由多個(gè)卷積核組成，每一個(gè)卷??積核相，亍一個(gè)濾波器，可以在圖像上進(jìn)行卷積操作，這一過程通常被稱為圖像的特征??提齲因此，圖片每經(jīng)過一個(gè)卷積核的卷積操作就會輸出一個(gè)對應(yīng)的特征圖。每層卷積??核個(gè)數(shù)的設(shè)置通常和樣本數(shù)據(jù)的大小，所要完成的訓(xùn)練任務(wù)有關(guān)，卷積核越多，意味著??后續(xù)得到的特征映射圖就會越多，模型的非線性及容量也會增大，弊端是可能導(dǎo)致模型??難以訓(xùn)練，

?大連交通大學(xué)全日制專業(yè)碩士學(xué)位論文???如圖３．３給出了?３Ｄ卷積核在視頻圖像幀中的采樣方式：??Ｉ＊?Ｔｉｍｅ??４?＾?－？?４．??＿喻??ｉｎｐｕｔ?Ｌａｙｅｒ?＾?Ｉ?Ｉ?ｆ?：＊?？?■?｛?＾?＇??＾?ｖＩ＆Ｔｆ?＾ｉ｛?＾?＾?Ｉ?＇ｆ＼?Ｊ??＇＼?＼?＼?＼?＼?＇＾?＼?＂??＂Ｖ”??Ｌａｔｉｆｕｄｅ??Ｃｏｔｉｖｏｈｉｉｉｏｎａｌ?Ｌａｙｅｒ??＇，?：：ｉ?ｉ＇ｖ＇；＇｜?ｒ??圖３．３?３Ｄ卷積核??Ｆｉｇ．３．３?３Ｄ?ｃｏｎｖｏｌｕｔｉｏｎ?ｋｅｒｎｅｌ??激活層：卷積層的輸出要經(jīng)過激活函數(shù)。激活函數(shù)的作用是對輸出結(jié)果進(jìn)行非線性??映射，如果沒有激活函數(shù)的非線性變換，那么神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果就是線性的堆疊，無??法對最終目標(biāo)進(jìn)行有效擬合。常見的激活函數(shù)有：Ｓｌｇｍ〇１ｄｌＷ、ＴａｎｈＷ＾ＰＲｅＷ１＾。本網(wǎng)??絡(luò)采用Ｒｅｌｕ?（Ｒｅｃｔｉｆｉｅｄ?Ｌｉｎｅａｒ?Ｕｎｉｔ，修正線性單元）作為激活函數(shù)。選擇Ｒｅｈｉ是因?yàn)樗??能夠加快模型訓(xùn)練速度，使模型更快收斂。除此之外，Ｒｅｌｕ函數(shù)還能有效防止梯度彌散??的出現(xiàn)，因?yàn)楫?dāng)特征圖中某個(gè)位置的灰度小于０，?Ｒｅｌｕ函數(shù)將其直接映射為０，防止結(jié)??果出現(xiàn)負(fù)數(shù)。當(dāng)像素值大于零時(shí)，直接保留該點(diǎn)的灰度值，此時(shí)激活函數(shù)就相當(dāng)于一個(gè)??線性函數(shù)。由于Ｒｃｌｕ激活函數(shù)刪除了一些對訓(xùn)練無效的參數(shù)，因此，有效縮短了模型??訓(xùn)練時(shí)間。??采樣層：下采樣Ｓ３層即Ｍａｘｐｏｏｌｍｇ，主要作用是對輸出的特征映射進(jìn)行下采樣操??作。由于隨著卷積層數(shù)的增加，模型需要逐漸抽象出具有高層語義的信息，這些信息最??終決定了圖像的類別。因此，使用

【參考文獻(xiàn)】：
期刊論文
[1]不同池化模型的卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)性能研究[J]. 劉萬軍,梁雪劍,曲海成.  中國圖象圖形學(xué)報(bào). 2016(09)
[2]卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 李彥冬,郝宗波,雷航.  計(jì)算機(jī)應(yīng)用. 2016(09)
[3]融合局部特征和全局特征的視頻拷貝檢測[J]. 王晶,王昊.  清華大學(xué)學(xué)報(bào)(自然科學(xué)版). 2016(03)
[4]基于卷積神經(jīng)網(wǎng)絡(luò)的連續(xù)語音識別[J]. 張晴晴,劉勇,潘接林,顏永紅.  工程科學(xué)學(xué)報(bào). 2015(09)
[5]一種多模態(tài)信息融合的視頻檢索模型[J]. 張靜,俞輝.  計(jì)算機(jī)應(yīng)用. 2008(01)
[6]集成學(xué)習(xí):Boosting算法綜述[J]. 于玲,吳鐵軍.  模式識別與人工智能. 2004(01)
[7]延拓矩陣的奇異值分解[J]. 鄒紅星,王殿軍,戴瓊海,李衍達(dá).  科學(xué)通報(bào). 2000(14)



本文編號：3501028