【摘要】：隨著計(jì)算機(jī)技術(shù)、視頻壓縮技術(shù)和互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展,人們可訪問的信息資源空前豐富。視頻資料因其具有直觀性、信息綜合性的特點(diǎn),在數(shù)據(jù)庫中的地位日漸增強(qiáng),其數(shù)量增長更是驚人。但同時(shí),由于視頻結(jié)構(gòu)的復(fù)雜性、數(shù)據(jù)內(nèi)容的多樣性以及時(shí)空多維性的特點(diǎn),致使如何有效地組織視頻數(shù)據(jù)、快速地檢索和瀏覽用戶需求的視頻信息等成為視頻領(lǐng)域內(nèi)亟待解決的重大課題。在這種背景之下,基于內(nèi)容的視頻檢索技術(shù)應(yīng)運(yùn)而生,它綜合了圖像處理、人工智能、模式識別及計(jì)算機(jī)視覺等領(lǐng)域的相關(guān)理論知識,并對視頻特征和視頻對象進(jìn)行深入分析和研究,旨在獲得蘊(yùn)含在視頻中的高層語義信息,建立可用的視頻檢索體系。因此,對視頻語義的分析和檢索技術(shù)的研究具有廣闊的前景和現(xiàn)實(shí)意義。 本文以影視類視頻、球拍類體育視頻和新聞類視頻為研究對象,融合了視頻中的視覺、音頻等多模態(tài)信息,對各種視頻進(jìn)行了有針對性的語義分析和檢索方法研究。影視類視頻語義分析從情感角度展開,分析了此類視頻的視覺低層情感特征與音頻的情感特征,基于未確知測度模型對影視類視頻場景的情感類型進(jìn)行了檢測和識別。通過分析球拍類體育視頻的視覺、音頻特征,對視頻中的感興趣事件進(jìn)行語義識別和檢索研究�；跅l件隨機(jī)場模型,比較系統(tǒng)的研究了新聞類視頻故事場景的檢測和分割方法。主要工作如下： (1)通過分析影視類視頻的低層視覺情感特征和音頻情感特征,基于未確知測度理論,提出了一種視頻情感內(nèi)容識別的新算法。該方法先分析了影視類視頻的場景亮度、鏡頭切變率、色調(diào)效能三個視覺類情感特征和多種音頻情感特征,介紹了每種視頻情感特征的數(shù)據(jù)提取方法,并分別構(gòu)建了影視類視頻場景的視覺情感特征向量和音頻情感特征向量。其次,定義了視頻情感識別的對象空間和指標(biāo)空間,構(gòu)造了各視聽情感特征的未確知測度函數(shù)和未確知測度矩陣。最后,采用信息熵確定情感特征向量中各分量的權(quán)位,用置信度識別準(zhǔn)則對視頻場景的情感類型進(jìn)行識別和判定。實(shí)驗(yàn)結(jié)果表明所捉算法是有效的、可行的。 (2)提出一種融合視覺、音頻特征信息的球拍類體育視頻精彩片段檢索的算法。首先,基于支持向量機(jī)(Support Vector Machine, SVM)視頻鏡頭分類與幀圖像邊緣特征的方法,將視頻流中的鏡頭分為比賽鏡頭(Court View Shot)和非比賽鏡頭(Non-Court View Shot)兩類；然后,分析了球拍類體育視頻中聲音和感興趣事件之間的內(nèi)在聯(lián)系,構(gòu)建了一個基于擊球聲和掌聲的SVM分類器模型；最后,將鏡頭分類與聲音事件分類進(jìn)行融合,并建立了視頻中精彩片段的提取規(guī)則,并對檢索結(jié)果進(jìn)行了排序處理。 (3)提出了一種基于條件隨機(jī)場模型的新聞故事識別和檢索方法。該方法首先對新聞視頻的音頻內(nèi)容和結(jié)構(gòu)特征進(jìn)行分析,應(yīng)用規(guī)則分類和隱馬爾可夫模型(Hidden Markov Model, HMM)分類相結(jié)合的方法將新聞視頻中的音頻數(shù)據(jù)進(jìn)行分層、細(xì)化處理,并按照語義將其分類為男主播語音、女主播語音、交替播報(bào)、現(xiàn)場聲音、介分音樂和有效靜音六種。接著,通過分析新聞視頻中鏡頭的特點(diǎn),將新聞類視頻按照語義分為主播鏡頭、靜態(tài)畫面鏡頭、現(xiàn)場訪錄鏡頭、廣告鏡頭和其它類鏡頭五種,輔以音頻語義信息對視頻中的鏡頭進(jìn)行了識別和分類。在完成新聞類視頻音頻語義分類和鏡頭語義識別的基礎(chǔ)之上,通過相應(yīng)的關(guān)鍵詞序列的轉(zhuǎn)換,構(gòu)建了新聞故事場景的條件隨機(jī)場(Conditional Random Fields, CRFs)分割提取模型,對新聞類視頻進(jìn)行了較為成功的語義識別和檢索。 (4)設(shè)計(jì)并初步實(shí)現(xiàn)了一個基于內(nèi)容的視頻語義識別和檢索的實(shí)驗(yàn)平臺,驗(yàn)證了上述所提算法的性能。
[Abstract]:......
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2012
【分類號】：TP391.41

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張龍飛;曹元大;周藝華;李劍;;基于支持向量機(jī)元分類器的體育視頻分類[J];北京理工大學(xué)學(xué)報(bào);2006年01期

2 馮揚(yáng);羅森林;王麗萍;潘麗敏;;一種新的自適應(yīng)鏡頭邊界檢測算法[J];北京理工大學(xué)學(xué)報(bào);2010年01期

3 張石清;趙知勁;雷必成;楊廣映;;結(jié)合音質(zhì)特征和韻律特征的語音情感識別[J];電路與系統(tǒng)學(xué)報(bào);2009年04期

4 閆樂林;溫向明;鄭偉;張良;;基于未確知測度的視頻情感內(nèi)容識別[J];東南大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年03期

5 彭宇新,Ngo Chong-Wah,肖建國;一種基于二分圖最優(yōu)匹配的鏡頭檢索方法[J];電子學(xué)報(bào);2004年07期

6 王光遠(yuǎn);;未確知信息及其數(shù)學(xué)處理[J];哈爾濱建筑工程學(xué)院學(xué)報(bào);1990年04期

7 潘磊,吳小俊,尤媛媛;基于聚類的視頻鏡頭分割和關(guān)鍵幀提取[J];紅外與激光工程;2005年03期

8 吳翌,莊越挺,潘云鶴;視頻的檢索反饋[J];計(jì)算機(jī)研究與發(fā)展;2001年05期

9 劉文萍;蔣小森;;新的基于綜合特征的新聞事件分割方法[J];計(jì)算機(jī)工程與應(yīng)用;2009年31期

10 吳玲達(dá);文軍;陳丹雯;袁志民;;新聞視頻故事單元關(guān)聯(lián)分析技術(shù)研究綜述[J];計(jì)算機(jī)科學(xué);2010年06期

相關(guān)博士學(xué)位論文 前7條

1 郭戈;數(shù)字視頻語義信息提取與分析[D];解放軍信息工程大學(xué);2010年

2 馮哲;基于內(nèi)容的視頻檢索中的音頻處理[D];復(fù)旦大學(xué);2004年

3 劉桂清;視頻摘要技術(shù)的研究與實(shí)現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2004年

4 陳劍峗;體育視頻語義內(nèi)容分析技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2005年

5 林奕琳;基于語音信號的情感識別研究[D];華南理工大學(xué);2006年

6 孫凱;面向觀眾的電影情感內(nèi)容表示與識別方法研究[D];華中科技大學(xué);2009年

7 趙臘生;語音情感特征提取與識別方法研究[D];大連理工大學(xué);2010年

相關(guān)碩士學(xué)位論文 前2條

1 周潔;語音信號中情感信息的分析和處理研究[D];東南大學(xué);2005年

2 薛琛璋;視頻關(guān)鍵幀提取技術(shù)及其在輿情分析中的應(yīng)用[D];北京交通大學(xué);2009年

，

本文編號：2330297