人類感知世界是多模態(tài)的,如圖像、聲音、氣味等。為了更高效地獲取信息,人們希望計(jì)算機(jī)也能夠理解與處理多模態(tài)數(shù)據(jù)。其中視覺問答是一個(gè)熱門的多模態(tài)數(shù)據(jù)研究方向,它結(jié)合了視覺技術(shù)與自然語言處理技術(shù),對(duì)輸入的圖片與問題給出相應(yīng)答案,在安防、兒童教育等領(lǐng)域具有很好的應(yīng)用前景�，F(xiàn)有的多模態(tài)視覺問答方法應(yīng)用場景過于廣泛,沒有根據(jù)不同的應(yīng)用場景對(duì)圖像數(shù)據(jù)做特定的語義信息理解。這些方法雖然能較好的區(qū)分不同場景類型的問題并給出相關(guān)的答案,但對(duì)于同一場景下的相關(guān)問題,準(zhǔn)確率仍然不高。另一方面,現(xiàn)有方法對(duì)多模態(tài)數(shù)據(jù)的特征提取沒有充分考慮視覺問答任務(wù)的特性,簡單地在單模態(tài)數(shù)據(jù)上提取特征,特征表達(dá)能力不足,難以學(xué)習(xí)深層次語義信息。為解決現(xiàn)有多模態(tài)視覺問答方法的不足,本文提出了一種基于行為語義理解的多模態(tài)視覺問答方法。針對(duì)應(yīng)用場景太寬泛問題,考慮到在現(xiàn)實(shí)應(yīng)用場景下人們對(duì)圖片的視覺問答往往是關(guān)于交互行為信息的,本文提出一種基于注意力機(jī)制的多分支行為語義信息抽取網(wǎng)絡(luò)（ASI-Net）,使模型更聚焦于學(xué)習(xí)交互行為信息。通過注意力機(jī)制進(jìn)一步提取人、物體實(shí)例的周邊信息,并融合人與物體實(shí)例對(duì)的空間信息檢測圖片中的交互行為,實(shí)現(xiàn)行... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：69 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

Faster-RCNN基本結(jié)構(gòu)圖

圖 2-3 VGG 網(wǎng)絡(luò)結(jié)構(gòu)VGG 網(wǎng)絡(luò)結(jié)構(gòu)圖如圖 2-3 所示，通過卷積層提取圖片的特征，每一層卷積網(wǎng)絡(luò)都在前一層提取信息的基礎(chǔ)上提取更加抽象的特征，從圖片到圖片特征映射的可視化舉例如圖 2-4 所示：圖 2-4 圖像提取特征映射卷積特征映射圖是將圖片信息編碼到更高維度的圖片特征表示，同時(shí)保留了原始圖片上各個(gè)物體的相對(duì)位置信息 如今，圖像特征提取基礎(chǔ)框架大都已

-16-圖 2-4 圖像提取特征映射卷積特征映射圖是將圖片信息編碼到更高維度的圖片特征表示，同時(shí)始圖片上各個(gè)物體的相對(duì)位置信息 如今，圖像特征提取基礎(chǔ)框架大深度殘差網(wǎng)絡(luò)來替代 VGG 網(wǎng)絡(luò)，深度殘差網(wǎng)絡(luò)通過殘差塊上的遠(yuǎn)跳其比 VGG 有更深的網(wǎng)絡(luò)結(jié)構(gòu)，同時(shí)采用了批歸一化ξBNο讓網(wǎng)絡(luò)更練，深度殘差網(wǎng)絡(luò)ξResNetο中的殘差塊結(jié)構(gòu)如圖 2-5 所示：

【參考文獻(xiàn)】：
期刊論文
[1]基于深度學(xué)習(xí)的開放領(lǐng)域?qū)υ捪到y(tǒng)研究綜述[J]. 陳晨,朱晴晴,嚴(yán)睿,柳軍飛.  計(jì)算機(jī)學(xué)報(bào). 2019(07)
[2]基于神經(jīng)網(wǎng)絡(luò)的視覺問答技術(shù)研究綜述[J]. 鮮光靖,黃永忠.  網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2018(01)



本文編號(hào)：3362560