【摘要】：每分鐘都要海量的視頻通過互聯(lián)網(wǎng)共享出去,著名視頻分享網(wǎng)站youtube每分鐘上傳視頻的總時長達100+小時,所以很有必要對這些視頻分類檢索方便用戶選擇興趣內(nèi)容以應(yīng)對多媒體信息大爆炸。并且合理的分析理解這些視頻對于網(wǎng)站對于提高網(wǎng)站流量,網(wǎng)站業(yè)務(wù)分析都有很大的作用。本文通過將深度學(xué)習(xí)與視頻分析技術(shù)相結(jié)合,提出了一種基于深度學(xué)習(xí)的視頻分析系統(tǒng)。該系統(tǒng)使用深度學(xué)習(xí)中的C3D網(wǎng)絡(luò)和CNN網(wǎng)絡(luò)來提取出背景特征和行為特征,然后將提取出來的特征通過多層LSTM網(wǎng)絡(luò),經(jīng)過一系列的加權(quán)操作,將背景特征與行為特征依據(jù)加權(quán)后的可能性組合成描述以完成視頻的描述分析工作。為了高效準確的識別出視頻中出現(xiàn)的背景和動作特征,本文提出了一種基于CNN模型的改進模型架構(gòu)——C3D模型。相對于傳統(tǒng)CNN模型,C3D模型對CNN中的卷積(convolution)操作和池化(pooling)操作進行改良,即針對視頻的時序特征在原有與空間序列關(guān)聯(lián)的基礎(chǔ)上添加了時序特性,即3d convolution操作和3d pooling操作,使得能夠提取和保持更多的特征,提高背景識別和動作行為識別的準確度。為了將提取出來的特征有效合理的組成有效描述,本文提出了一種基于LSTM模型的多層LSTM模型。C3D頂層所提取出來特征趨向于關(guān)注于全局視覺感知視野,而那些底層所提取的特征更加關(guān)注于精細、局部的特征,一個有效準確的描述不應(yīng)該只關(guān)注于頂層的宏觀特征,而是應(yīng)該結(jié)合底層細節(jié)特征共同對于視頻內(nèi)容進行描述。對此我們提出了多層LSTM模型同時提取底層特征和頂層特征來更加準確的描述視頻的內(nèi)容。最后本文陳述了具體的基于深度學(xué)習(xí)的視頻分析系統(tǒng)的主要功能模塊的實現(xiàn)和實驗數(shù)據(jù)結(jié)果。通過對這些結(jié)果分析,系統(tǒng)滿足實際需求,具有較強的工程價值和實用價值。
[Abstract]:Every minute a huge amount of video is shared through the Internet. YouTube, a famous video sharing website, uploads video up to 100 + hours per minute. Therefore, it is necessary to classify and retrieve these videos so that users can choose the content they are interested in to cope with the explosion of multimedia information. This paper proposes a video analysis system based on in-depth learning by combining in-depth learning with video analysis technology. The system uses C3D network and CNN network in-depth learning to extract background features and behavior features, and then extracts the features. Through a series of weighted operations, background features and behavior features are combined into descriptions according to weighted possibilities to perform video description and analysis. In order to identify background and action features efficiently and accurately, an improved model architecture based on CNN model, C3D, is proposed in this paper. Comparing with the traditional CNN model, C3D model improves the convolution and pooling operations in CNN, that is, adds the temporal characteristics to the video sequence based on the original spatial sequence association, that is, 3D convolution operation and 3D pooling operation, so that more features can be extracted and maintained. In order to describe the extracted features effectively and reasonably, a multi-layer LSTM model based on the LSTM model is proposed. The features extracted from the top layer of C3D tend to focus on the global visual perception vision, while those extracted from the bottom layer focus more on the fine. Local features, an effective and accurate description should not only focus on the top-level macro-features, but should be combined with the bottom-level details of the video content description. We propose a multi-level LSTM model to extract both the bottom-level features and top-level features to describe the video content more accurately. Through the analysis of these results, the system meets the actual needs and has strong engineering value and practical value.
【學(xué)位授予單位】：南京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP391.41;TP18

【相似文獻】

相關(guān)期刊論文 前10條

1 劉俊曉;孟祥增;吳鵬飛;;基于內(nèi)容的視頻分析與檢索技術(shù)及其教學(xué)應(yīng)用[J];中國電化教育;2006年04期

2 鄒北驥;楊明;李靈芝;陳姝;韓立芹;;跳水運動視頻分析系統(tǒng)設(shè)計與實現(xiàn)[J];計算機工程與科學(xué);2007年12期

3 Alan Lipton;劉辰;;關(guān)于視頻分析的五個常見誤解[J];中國安防;2008年09期

4 李玉峰;熊建文;楊友源;;視頻分析軟件在物理實驗中的應(yīng)用[J];實驗室研究與探索;2009年04期

5 劉云;劉雪英;黃超;;基于動態(tài)貝葉斯網(wǎng)絡(luò)的體育視頻分析[J];微計算機信息;2010年21期

6 劉文慧;張永強;楊自春;;視頻分析在油井運行監(jiān)測中的應(yīng)用[J];數(shù)字技術(shù)與應(yīng)用;2010年09期

7 張春杰;劉寧;邱懷駿;;視頻分析技術(shù)及其在地鐵中的應(yīng)用[J];信息與電腦(理論版);2010年10期

8 肖坦;張濤;楊栩;;視頻分析功能設(shè)計方案及實施[J];鐵路技術(shù)創(chuàng)新;2010年02期

9 李婷;;視頻分析軟件:概述、比較與應(yīng)用[J];中國現(xiàn)代教育裝備;2013年11期

10 葉孔儀;視頻分析儀[J];現(xiàn)代電視技術(shù);1994年03期

相關(guān)會議論文 前1條

1 王仝杰;;互聯(lián)網(wǎng)熱點視頻分析方法研究[A];中國新聞技術(shù)工作者聯(lián)合會第六次會員代表大會、2014年學(xué)術(shù)年會暨第七屆《王選新聞科學(xué)技術(shù)獎》和優(yōu)秀論文獎頒獎大會論文集（三等獎）[C];2014年

相關(guān)重要報紙文章 前8條

1 童劍軍;視頻分析技術(shù)潛力無限[N];計算機世界;2008年

2 安陽;視頻分析技術(shù)解決安防監(jiān)控難題[N];中國城鄉(xiāng)金融報;2010年

3 本報通訊員 吳苡婷 本報記者 王春;上海工程技術(shù)大學(xué)研發(fā)成功高速人臉視頻分析儀[N];科技日報;2013年

4 閆德海 徐少磊;萊陽：六成案件借助視頻分析研判破獲[N];人民公安報;2014年

5 甘勃邋閆松;虛擬運動員怎樣領(lǐng)銜奧運訓(xùn)練[N];大眾科技報;2008年

6 趙雪;我多項運動使用數(shù)字視頻技術(shù)[N];科技日報;2008年

7 本報記者 劉瑾;用科技保城市平安[N];經(jīng)濟日報;2012年

8 本報記者 李映;新興應(yīng)用助DSP收復(fù)“失地”[N];中國電子報;2012年

相關(guān)博士學(xué)位論文 前4條

1 楊雪鋒;基于船載紅外視頻分析的海盜船艇智能辨識方法研究[D];大連海事大學(xué);2016年

2 湯林勰;多媒體廣告計算[D];中國科學(xué)技術(shù)大學(xué);2011年

3 羅雅琴;視頻監(jiān)控分析云的高可用性研究[D];華中科技大學(xué);2013年

4 高贊;基于內(nèi)容的視頻分析關(guān)鍵技術(shù)[D];北京郵電大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 張磊（Chenug Ray）;基于深度學(xué)習(xí)的視頻分析系統(tǒng)[D];南京郵電大學(xué);2017年

2 凌少虎;面向視頻分析的任務(wù)管理與執(zhí)行系統(tǒng)[D];華南理工大學(xué);2015年

3 劉秋燕;基于視頻分析的自動報靶系統(tǒng)設(shè)計[D];浙江大學(xué);2015年

4 蔡淞;基于視頻分析的會場管理系統(tǒng)設(shè)計與實現(xiàn)[D];復(fù)旦大學(xué);2013年

5 楊波;基于DM8127的高清視頻分析平臺的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2015年

6 張嘯林;基于TLD和SIFT的視頻分析系統(tǒng)設(shè)計與實現(xiàn)[D];西安電子科技大學(xué);2014年

7 徐鉦;虛擬卡口平臺的設(shè)計與實現(xiàn)[D];武漢郵電科學(xué)研究院;2014年

8 魏小東;多項目管理方法在視頻分析技術(shù)企業(yè)中的應(yīng)用研究[D];浙江工業(yè)大學(xué);2014年

9 王業(yè)成;潛意識暗示下手繪過程中頓悟的研究及原型系統(tǒng)設(shè)計[D];浙江理工大學(xué);2016年

10 胡樂;基于視頻分析的多模式自動報靶系統(tǒng)設(shè)計[D];浙江大學(xué);2016年

，

本文編號：2228243