隨著人工智能領域的迅猛發(fā)展,人們的研究方向已經(jīng)不僅僅局限于某個單獨的領域,而是呈現(xiàn)出一種多學科、多方向相互交叉的發(fā)展態(tài)勢,比如圖片問答、視頻問答等等,它們都是將圖像處理與自然語言處理相結合的產(chǎn)物,特別是圖片問答在這幾年已經(jīng)得到了學術界的廣泛關注,然而作為圖片問答的延伸,視頻問答的研究則略顯不足,其主要原因如下:第一,因為視頻的三維特性導致視頻特征具有更加復雜且豐富的信息描述,所以視頻特征提取困難;第二,視頻特征和問題特征屬于不同模態(tài)下的特征,它們之間很難進行有效的交互;第三,模型在進行最后答案預測的時候,需要考慮問題的全局語義特征,但是傳統(tǒng)的語義特征提取模型時間復雜度往往都很高,如何進一步降低特征提取的時間復雜度成為了又一大難題。為了解決上述問題,本文結合圖像處理和自然語言處理等相關領域的知識,提出了以下解決辦法。（1）特征提取:本文從靜態(tài)特征和動態(tài)特征這兩個方面對視頻的特征進行了有效的提取。針對之前已有模型使用VGG提取靜態(tài)特征和C3D提取動態(tài)特征的不足,本文使用全新的組合方式,使用Faster R-CNN對視頻的靜態(tài)特征進行提取,使用P3D對視頻的動態(tài)特征進行提取,然后對提取的視頻... 

【文章來源】：電子科技大學四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：77 頁

【學位級別】：碩士

【部分圖文】：

構圖

多前侸

子、技大學士學位文12圖2-3Relu函數(shù)及其導函數(shù)圖2.2卷積神的基本理卷也是仿學產(chǎn)，LeCun人[11]受上局感受啟發(fā)提出全新型，最早應于MNIST手寫數(shù)字別、體機方向，同時借助于接和卷權值共享性，極大減少了型參數(shù)，提儈了型度和化性。CNN構主入層、卷層、層、化層、全接層成。（1）入層：以圖作為入為例，將圖化為一個三像[H,W,C]，其中H代圖儈度，W代圖寬度，C代了圖數(shù)，如果是唁圖，C就于1，如果是RGB彩式下，C就于3。最后將三像作為下一層卷層入。（2）卷層：對于低分單圖來，卷操作就當于全接操作，因為可以接全接層對整幅圖征提取，但如今儈數(shù)產(chǎn)品來普及，儈像、多來多，如果只傳全接，必定會成參數(shù)巨大、型擬合仈。決辦為借助于CNN具有局接和全局共享性，所以在圖像處中引入卷念。如圖2-4所，圖中顯了卷層中最一分——└器（filter）或叫卷,└器有四個參數(shù)，分別是、寬、數(shù)和度，└器和寬提前指定，└器數(shù)則當前入數(shù)保持一，最后是└器度，它接決定了出單位度。如圖2-5所，卷可以


本文編號：3289453