【摘要】：視頻是數(shù)據(jù)處理中綜合性能最高,包含內(nèi)容最廣的載體。視頻題目通過(guò)文字表達(dá),內(nèi)容通過(guò)連續(xù)圖像幀表達(dá),另外部分視頻還包含背景音樂(lè)或者解說(shuō)旁白。因此,視頻處理即是對(duì)文字、圖像、聲音的多模態(tài)處理。著眼于多模態(tài)處理技術(shù),提出基于語(yǔ)義空間統(tǒng)一表征的視頻多模態(tài)內(nèi)容分析框架,利用多種架構(gòu)的深度神經(jīng)網(wǎng)絡(luò),對(duì)視頻的文字、圖像、音頻進(jìn)行分別處理,為達(dá)到統(tǒng)一的功效,將不同結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)歸結(jié)到語(yǔ)義空間,通過(guò)語(yǔ)義空間進(jìn)行綜合認(rèn)知。提出的架構(gòu)清晰、層次分明,對(duì)于視頻理解的建模具有指導(dǎo)意義。
[Abstract]:Video is the carrier with the highest comprehensive performance and the most extensive content in data processing. The title of the video is expressed by text, the content is expressed by successive image frames, and some of the video also contains background music or narration. Therefore, video processing is the multi-modal processing of text, image and sound. Focusing on the multi-modal processing technology, a video multi-modal content analysis framework based on unified representation of semantic space is proposed. The text, image and audio of the video are processed separately by using the depth neural network of various architectures. In order to achieve the unified effect, the depth neural network with different structures is reduced to semantic space, and comprehensive cognition is carried out through semantic space. The proposed framework is clear and hierarchical, which has a guiding significance for the modeling of video understanding.
【作者單位】： 中國(guó)電子科技集團(tuán)公司信息科學(xué)研究院;
【分類號(hào)】：TP391.1;TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張全;陸長(zhǎng)德;余隋懷;于明玖;;基于多維情感語(yǔ)義空間的色彩表征方法[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2006年02期

2 陳登凱;王可;陸長(zhǎng)德;;基于三維語(yǔ)義空間的色彩設(shè)計(jì)方法研究[J];計(jì)算機(jī)工程與應(yīng)用;2008年07期

3 閆俊;劉文飛;林鴻飛;;基于標(biāo)簽混合語(yǔ)義空間的音樂(lè)推薦方法研究[J];中文信息學(xué)報(bào);2014年04期

4 楊易;郭同強(qiáng);莊越挺;王文華;;基于綜合推理的多媒體語(yǔ)義挖掘和跨媒體檢索[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2009年09期

5 周海鴻;;國(guó)內(nèi)“多模態(tài)”符號(hào)研究文獻(xiàn)綜述[J];科教文匯(上旬刊);2014年01期

6 王學(xué)東;胡宋敏;謝輝;丁帥;曹高輝;;多模態(tài)網(wǎng)絡(luò)主題資源聚合與實(shí)證研究[J];情報(bào)科學(xué);2014年07期

7 胡壯麟;;談多模態(tài)小品中的主體模態(tài)[J];符號(hào)與傳媒;2011年01期

8 張薇;徐筱秋;;基于云教育平臺(tái)的多模態(tài)輸入優(yōu)化模型建構(gòu)[J];校園英語(yǔ)(教研版);2012年05期

9 王瑜;穆志純;徐正光;;多模態(tài)生物特征識(shí)別技術(shù)進(jìn)展綜述[J];計(jì)算機(jī)應(yīng)用與軟件;2009年02期

10 胡阿旭;陳貴萍;于洪志;;多模態(tài)語(yǔ)音實(shí)驗(yàn)室在語(yǔ)言研究中的應(yīng)用[J];西北民族大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年01期

相關(guān)會(huì)議論文 前1條

1 張霄軍;;多模態(tài)語(yǔ)料庫(kù):搶救瀕危語(yǔ)言的有效途徑[A];民族語(yǔ)言文字信息技術(shù)研究——第十一屆全國(guó)民族語(yǔ)言文字信息學(xué)術(shù)研討會(huì)論文集[C];2007年

相關(guān)博士學(xué)位論文 前7條

1 聶為之;多模態(tài)媒體數(shù)據(jù)分析關(guān)鍵技術(shù)研究[D];天津大學(xué);2014年

2 劉鵬;慢性傷口光學(xué)仿體的多尺度多模態(tài)醫(yī)學(xué)影像技術(shù)研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2016年

3 苗迪;基于特征層與分?jǐn)?shù)層的多模態(tài)生物特征融合[D];中國(guó)科學(xué)技術(shù)大學(xué);2017年

4 逯波;多模態(tài)媒體信息檢索技術(shù)研究[D];東北大學(xué);2013年

5 譚帥;多模態(tài)過(guò)程統(tǒng)計(jì)建模及在線監(jiān)測(cè)方法研究[D];東北大學(xué);2012年

6 王洋;多模態(tài)圖像檢索技術(shù)[D];中國(guó)科學(xué)技術(shù)大學(xué);2013年

7 張志堅(jiān);多模態(tài)生物特征識(shí)別融合算法的研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 張妍;基于語(yǔ)義空間的計(jì)算機(jī)輔助色彩設(shè)計(jì)研究[D];西北工業(yè)大學(xué);2003年

2 丁亞飛;語(yǔ)義物聯(lián)網(wǎng)中基于語(yǔ)義空間的語(yǔ)義協(xié)同方法研究[D];大連海事大學(xué);2014年

3 謝曉慧;多模態(tài)語(yǔ)篇的意義構(gòu)建[D];閩南師范大學(xué);2015年

4 張立波;基于多模態(tài)的粒子濾波多目標(biāo)跟蹤研究[D];電子科技大學(xué);2015年

5 張玉;基于數(shù)據(jù)驅(qū)動(dòng)的多模態(tài)異常檢測(cè)方法[D];河南大學(xué);2015年

6 李慧卓;基于集成學(xué)習(xí)的多模態(tài)AD輔助診斷模型研究[D];太原理工大學(xué);2016年

7 靳玉康;基于多模態(tài)共振和共生的多模態(tài)數(shù)據(jù)分析及應(yīng)用[D];南京大學(xué);2013年

8 薛昊;基于多模態(tài)融合的音樂(lè)情感分類方法研究[D];南京大學(xué);2016年

9 陳敏;多模態(tài)語(yǔ)義知識(shí)庫(kù)構(gòu)造方法研究[D];華中科技大學(xué);2014年

10 盧思羽;基于多模態(tài)人機(jī)交互的虛擬樂(lè)器演奏系統(tǒng)研發(fā)[D];華中師范大學(xué);2016年

，

本文編號(hào)：2167031