【摘要】：視頻是數(shù)據(jù)處理中綜合性能最高,包含內(nèi)容最廣的載體。視頻題目通過文字表達,內(nèi)容通過連續(xù)圖像幀表達,另外部分視頻還包含背景音樂或者解說旁白。因此,視頻處理即是對文字、圖像、聲音的多模態(tài)處理。著眼于多模態(tài)處理技術(shù),提出基于語義空間統(tǒng)一表征的視頻多模態(tài)內(nèi)容分析框架,利用多種架構(gòu)的深度神經(jīng)網(wǎng)絡(luò),對視頻的文字、圖像、音頻進行分別處理,為達到統(tǒng)一的功效,將不同結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)歸結(jié)到語義空間,通過語義空間進行綜合認知。提出的架構(gòu)清晰、層次分明,對于視頻理解的建模具有指導(dǎo)意義。
[Abstract]:Video is the carrier with the highest comprehensive performance and the most extensive content in data processing. The title of the video is expressed by text, the content is expressed by successive image frames, and some of the video also contains background music or narration. Therefore, video processing is the multi-modal processing of text, image and sound. Focusing on the multi-modal processing technology, a video multi-modal content analysis framework based on unified representation of semantic space is proposed. The text, image and audio of the video are processed separately by using the depth neural network of various architectures. In order to achieve the unified effect, the depth neural network with different structures is reduced to semantic space, and comprehensive cognition is carried out through semantic space. The proposed framework is clear and hierarchical, which has a guiding significance for the modeling of video understanding.
【作者單位】： 中國電子科技集團公司信息科學(xué)研究院;
【分類號】：TP391.1;TP391.41

【相似文獻】

相關(guān)期刊論文 前10條

1 張全;陸長德;余隋懷;于明玖;;基于多維情感語義空間的色彩表征方法[J];計算機輔助設(shè)計與圖形學(xué)學(xué)報;2006年02期

2 陳登凱;王可;陸長德;;基于三維語義空間的色彩設(shè)計方法研究[J];計算機工程與應(yīng)用;2008年07期

3 閆俊;劉文飛;林鴻飛;;基于標簽混合語義空間的音樂推薦方法研究[J];中文信息學(xué)報;2014年04期

4 楊易;郭同強;莊越挺;王文華;;基于綜合推理的多媒體語義挖掘和跨媒體檢索[J];計算機輔助設(shè)計與圖形學(xué)學(xué)報;2009年09期

5 周海鴻;;國內(nèi)“多模態(tài)”符號研究文獻綜述[J];科教文匯(上旬刊);2014年01期

6 王學(xué)東;胡宋敏;謝輝;丁帥;曹高輝;;多模態(tài)網(wǎng)絡(luò)主題資源聚合與實證研究[J];情報科學(xué);2014年07期

7 胡壯麟;;談多模態(tài)小品中的主體模態(tài)[J];符號與傳媒;2011年01期

8 張薇;徐筱秋;;基于云教育平臺的多模態(tài)輸入優(yōu)化模型建構(gòu)[J];校園英語(教研版);2012年05期

9 王瑜;穆志純;徐正光;;多模態(tài)生物特征識別技術(shù)進展綜述[J];計算機應(yīng)用與軟件;2009年02期

10 胡阿旭;陳貴萍;于洪志;;多模態(tài)語音實驗室在語言研究中的應(yīng)用[J];西北民族大學(xué)學(xué)報(自然科學(xué)版);2012年01期

相關(guān)會議論文 前1條

1 張霄軍;;多模態(tài)語料庫:搶救瀕危語言的有效途徑[A];民族語言文字信息技術(shù)研究——第十一屆全國民族語言文字信息學(xué)術(shù)研討會論文集[C];2007年

相關(guān)博士學(xué)位論文 前7條

1 聶為之;多模態(tài)媒體數(shù)據(jù)分析關(guān)鍵技術(shù)研究[D];天津大學(xué);2014年

2 劉鵬;慢性傷口光學(xué)仿體的多尺度多模態(tài)醫(yī)學(xué)影像技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2016年

3 苗迪;基于特征層與分數(shù)層的多模態(tài)生物特征融合[D];中國科學(xué)技術(shù)大學(xué);2017年

4 逯波;多模態(tài)媒體信息檢索技術(shù)研究[D];東北大學(xué);2013年

5 譚帥;多模態(tài)過程統(tǒng)計建模及在線監(jiān)測方法研究[D];東北大學(xué);2012年

6 王洋;多模態(tài)圖像檢索技術(shù)[D];中國科學(xué)技術(shù)大學(xué);2013年

7 張志堅;多模態(tài)生物特征識別融合算法的研究[D];中國科學(xué)技術(shù)大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 張妍;基于語義空間的計算機輔助色彩設(shè)計研究[D];西北工業(yè)大學(xué);2003年

2 丁亞飛;語義物聯(lián)網(wǎng)中基于語義空間的語義協(xié)同方法研究[D];大連海事大學(xué);2014年

3 謝曉慧;多模態(tài)語篇的意義構(gòu)建[D];閩南師范大學(xué);2015年

4 張立波;基于多模態(tài)的粒子濾波多目標跟蹤研究[D];電子科技大學(xué);2015年

5 張玉;基于數(shù)據(jù)驅(qū)動的多模態(tài)異常檢測方法[D];河南大學(xué);2015年

6 李慧卓;基于集成學(xué)習(xí)的多模態(tài)AD輔助診斷模型研究[D];太原理工大學(xué);2016年

7 靳玉康;基于多模態(tài)共振和共生的多模態(tài)數(shù)據(jù)分析及應(yīng)用[D];南京大學(xué);2013年

8 薛昊;基于多模態(tài)融合的音樂情感分類方法研究[D];南京大學(xué);2016年

9 陳敏;多模態(tài)語義知識庫構(gòu)造方法研究[D];華中科技大學(xué);2014年

10 盧思羽;基于多模態(tài)人機交互的虛擬樂器演奏系統(tǒng)研發(fā)[D];華中師范大學(xué);2016年

，

本文編號：2167031