【摘要】：為提高視頻語義信息提取準(zhǔn)確率,提出了一種基于多模態(tài)特征的新聞視頻語義提取框架。在視頻中提取主題字幕信息,對音頻進(jìn)行分類和語音識(shí)別,根據(jù)主題字幕信息借助搜索引擎得到與新聞視頻相關(guān)的網(wǎng)頁;最后利用網(wǎng)頁文本對語音識(shí)別的結(jié)果進(jìn)行糾錯(cuò),從而通過視頻字幕信息和語音腳本的跨模態(tài)融合提高視頻語義提取的準(zhǔn)確率。在中等規(guī)模的新聞視頻(含新聞網(wǎng)頁)庫測試表明了該方法的有效性,經(jīng)糾錯(cuò)后的語音識(shí)別準(zhǔn)確率達(dá)到了65%左右。
[Abstract]:In order to improve the accuracy of video semantic information extraction, a framework of news video semantic extraction based on multi-modal features is proposed. The subject caption information is extracted from the video, and the audio is classified and recognized. According to the topic caption information, the web pages related to the news video are obtained by using the search engine. Finally, the results of speech recognition are corrected by the web page text. In order to improve the accuracy of video semantic extraction by cross-modal fusion of video subtitle information and voice script. The effectiveness of the proposed method is demonstrated by testing the medium scale news video (including news web pages) library. The accuracy of speech recognition after error correction is about 65%.
【作者單位】： 西安電子科技大學(xué)通信工程學(xué)院;北京電子科技學(xué)院;
【基金】：國家自然科學(xué)基金資助項(xiàng)目(60972139) 北京市自然科學(xué)基金資助項(xiàng)目(4092041)
【分類號(hào)】：TP391.41

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 李雪龍;封化民;劉飚;焦黎冰;;一種改進(jìn)的視頻標(biāo)題檢測與提取方法[J];江西師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2008年02期

2 劉亞楠;吳飛;莊越挺;;基于多模態(tài)子空間相關(guān)性傳遞的視頻語義挖掘[J];計(jì)算機(jī)研究與發(fā)展;2009年01期

相關(guān)博士學(xué)位論文 前2條

1 冀中;基于多模態(tài)信息的新聞視頻內(nèi)容分析技術(shù)研究[D];天津大學(xué);2007年

2 趙志誠;故事視頻的語義分析與提取[D];北京郵電大學(xué);2008年

【共引文獻(xiàn)】

相關(guān)期刊論文 前2條

1 馬玲;張重陽;鄭世寶;;基于Ontology的監(jiān)控視頻描述方案[J];電視技術(shù);2011年03期

2 代科學(xué);李強(qiáng);李國輝;;視頻挖掘研究進(jìn)展[J];計(jì)算機(jī)科學(xué);2010年10期

相關(guān)博士學(xué)位論文 前2條

1 吳鄭紅;教學(xué)視頻的語義標(biāo)注研究[D];華東師范大學(xué);2011年

2 王振;數(shù)字視頻中文本的提取方法研究[D];中國海洋大學(xué);2011年

相關(guān)碩士學(xué)位論文 前6條

1 夏玉華;基于高校圖書館學(xué)術(shù)講座視頻的快速瀏覽技術(shù)研究[D];山東大學(xué);2010年

2 馬玲;基于本體的監(jiān)控視頻描述與檢索研究及流媒體發(fā)布平臺(tái)開發(fā)[D];上海交通大學(xué);2010年

3 李鵬飛;多媒體應(yīng)用安全分析與設(shè)計(jì)[D];西安電子科技大學(xué);2009年

4 楊厚德;視頻廣告的自動(dòng)識(shí)別與檢測[D];北京交通大學(xué);2011年

5 萬建平;新聞視頻語義概念檢測技術(shù)研究[D];解放軍信息工程大學(xué);2011年

6 張羽飛;具有視頻摘要功能的流媒體系統(tǒng)[D];北京郵電大學(xué);2012年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 路春艷;;全球化時(shí)代美國類型電影的發(fā)展趨勢[J];北京社會(huì)科學(xué);2006年02期

2 路易·阿爾都塞 ,李迅;意識(shí)形態(tài)和意識(shí)形態(tài)國家機(jī)器[J];當(dāng)代電影;1987年03期

3 俞天力,章毓晉;基于全局運(yùn)動(dòng)信息的視頻檢索技術(shù)[J];電子學(xué)報(bào);2001年S1期

4 李曉光;李曉華;沈蘭蓀;;一種基于多級(jí)梯度能量特征的DCT壓縮域人臉檢測算法[J];電子學(xué)報(bào);2005年12期

5 薄華;馬縛龍;焦李成;;圖像紋理的灰度共生矩陣計(jì)算問題的分析[J];電子學(xué)報(bào);2006年01期

6 周俊生;戴新宇;尹存燕;陳家駿;;基于層疊條件隨機(jī)場模型的中文機(jī)構(gòu)名自動(dòng)識(shí)別[J];電子學(xué)報(bào);2006年05期

7 姜帆,章毓晉;一種基于形態(tài)學(xué)操作的新聞標(biāo)題條檢測算法[J];電子與信息學(xué)報(bào);2003年12期

8 黃劍華;顏?zhàn)右?唐降龍;;基于小波重構(gòu)的視頻圖像文本檢測方法[J];哈爾濱工業(yè)大學(xué)學(xué)報(bào);2006年09期

9 莊越挺,毛yN,吳飛,潘云鶴;基于隱馬爾可夫鏈的廣播新聞分割分類[J];計(jì)算機(jī)研究與發(fā)展;2002年09期

10 王方石,須德,吳偉鑫;基于自適應(yīng)閾值的自動(dòng)提取關(guān)鍵幀的聚類算法[J];計(jì)算機(jī)研究與發(fā)展;2005年10期

相關(guān)博士學(xué)位論文 前4條

1 謝毓湘;輔助情報(bào)分析的新聞視頻挖掘技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2004年

2 陳劍峗;體育視頻語義內(nèi)容分析技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2005年

3 章東平;視頻文本的提取[D];浙江大學(xué);2006年

4 魏維;基于統(tǒng)計(jì)學(xué)的視頻語義分析與提取技術(shù)研究[D];南京理工大學(xué);2006年

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 史迎春,方鵬飛,周獻(xiàn)中;綜合利用聲視特征的新聞視頻結(jié)構(gòu)化模型[J];計(jì)算機(jī)工程與應(yīng)用;2004年32期

2 ;語音識(shí)別軟件西風(fēng)漸起[J];微電腦世界;1998年50期

3 金良磊;;“嘴”行天下——Vista語音識(shí)別上手全揭密[J];電腦知識(shí)與技術(shù)(經(jīng)驗(yàn)技巧);2007年03期

4 姚兵;君子動(dòng)口不動(dòng)手——聲龍語音識(shí)別系統(tǒng)使用手記[J];微電腦世界;2000年29期

5 李明琴,李涓子,王作英,陸大獾;語義分析和結(jié)構(gòu)化語言模型[J];軟件學(xué)報(bào);2005年09期

6 宋連黨;;時(shí)尚Office應(yīng)用系列——用語音寫封信[J];電腦愛好者(普及版);2007年07期

7 驕陽;你的PC能聽懂說話嗎?——介紹4種語音識(shí)別軟件[J];電腦;1999年05期

8 杰里米·瓦格斯塔夫;讓語音識(shí)別軟件 解放你的雙手[J];農(nóng)業(yè)圖書情報(bào)學(xué)刊;2004年03期

9 梁堯,楊家沅;語音理解中語法與語義分析的方法與實(shí)現(xiàn)[J];四川大學(xué)學(xué)報(bào)(自然科學(xué)版);1992年02期

10 唐波,劉雨,孫茂印;基于數(shù)據(jù)庫的視頻檢索實(shí)現(xiàn)[J];電視技術(shù);2005年02期

相關(guān)會(huì)議論文 前10條

1 梁W，

本文編號(hào)：2185131