視覺問答任務(wù)是一個結(jié)合計(jì)算機(jī)視覺研究與自然語言處理兩個領(lǐng)域的前沿方向。視覺問答系統(tǒng)可根據(jù)問題語義,從與問題相匹配的圖像中找尋有用信息對問題進(jìn)行答案預(yù)測。視覺問答任務(wù)模型包含圖像特征處理、文本特征處理、多模態(tài)特征融合和答案預(yù)測四個模塊,其中圖像特征處理和文本特征處理均屬于特征提取的范疇。在當(dāng)前的視覺問答研究中,如何進(jìn)行特征提取、多模態(tài)特征融合以及注意力機(jī)制的改進(jìn)一直都是研究的難點(diǎn)問題,故而本文將針對這三個問題展開探索與研究:1.基于Faster-RCNN目標(biāo)檢測算法的圖像預(yù)處理模型。本文利用Faster-RCNN與Resnet101相結(jié)合的方式處理圖像信息,Faster-RCNN用于識別屬于類的對象實(shí)例,并使用邊界框?qū)λ鼈冞M(jìn)行定位,進(jìn)而Resnet101模型對VQA v2數(shù)據(jù)集進(jìn)行預(yù)處理,提取2048維圖像特征向量,圖像特征信息則以矩陣向量的文件形式參與到視覺問答模型的訓(xùn)練中。2.基于多模態(tài)特征融合的視覺問答模型研究。為了解決跨模態(tài)特征融合的問題,基于1的工作基礎(chǔ),本文采用預(yù)訓(xùn)練好的詞向量工具和長短時記憶網(wǎng)絡(luò)對文本特征進(jìn)行表征,形成一個2048維的特征向量來表示問題。然后將2048維圖像... 

【文章來源】：重慶郵電大學(xué)重慶市

【文章頁數(shù)】：85 頁

【學(xué)位級別】：碩士

【部分圖文】：

npz文件中所包含的參數(shù)示例

重慶郵電大學(xué)碩士學(xué)位論文第3章基于目標(biāo)檢測算法的圖像預(yù)處理模型31圖3.5npz文件中所包含的參數(shù)示例圖3.6參數(shù)類型及大小示例由圖3.6可以看出，圖片特征向量X中包含15個2048維的特征向量x；該圖片的寬image_w為640；高image_h為480；圖片中一共有15個bbox為15行4列的矩陣，每一行代表一個bbox對象框，每個bbox有兩個確定的坐標(biāo)共四個參數(shù)形成一個矩形框；圖片中的框個數(shù)num_bbox為15。不管是在VQA數(shù)據(jù)集還是CLEVR數(shù)據(jù)集中，本文在進(jìn)行圖片預(yù)處理時，num_bbox的取值大小設(shè)置為[10,100]，即每張圖片會根據(jù)自己圖中的對象復(fù)雜程度產(chǎn)生10-100個不等的矩陣框，以此實(shí)現(xiàn)“自適應(yīng)”的圖片特征需求。如圖3.7所示為圖片ID為COCO_train2014_000000006809.jpg.npz中bbox中包含的矩陣向量示例，該矩陣示例包含了該圖片中每一個圖像特征的位置、大小信息，該圖片bbox的大小為（15,4）15行4列的數(shù)組矩陣。

重慶郵電大學(xué)碩士學(xué)位論文第3章基于目標(biāo)檢測算法的圖像預(yù)處理模型32圖3.7bbox中包含的矩陣向量示例為了進(jìn)一步將圖片ID為COCO_train2014_000000006809.jpg提取特征以后形成的npz文件更加便于理解，本文加入了原圖與預(yù)處理圖片后的效果對比情況，如圖3.8所示，可以很清晰的看出圖片中產(chǎn)生了15個bbox，每個bbox對應(yīng)一個屬性標(biāo)簽。(a)ID編號為6809的原圖(b)npz文件中bbox可視化圖3.8特征提取后的可視化示例2.訓(xùn)練結(jié)果可視化運(yùn)行tools/demo.py以可視化訓(xùn)練數(shù)據(jù)和預(yù)測。如圖3.8可以看出Faster-RCNN

【參考文獻(xiàn)】：
期刊論文
[1]視覺問答技術(shù)研究[J]. 俞俊,汪亮,余宙.  計(jì)算機(jī)研究與發(fā)展. 2018(09)
[2]問答系統(tǒng)研究綜述[J]. 毛先領(lǐng),李曉明.  計(jì)算機(jī)科學(xué)與探索. 2012(03)



本文編號：3443860