深度學(xué)習(xí)給物體的識別和檢測帶去了重大進(jìn)展,但它們的本質(zhì)只是將視覺信息和有限的語言符號進(jìn)行關(guān)聯(lián)。本文將它們的目標(biāo)向更廣義的智能推進(jìn)一步,通過視覺信息和任意語言描述的關(guān)聯(lián),使得智能體能像人類一樣理解對物體的指示說明,從而能在視覺感知圖像中,唯一定位出符合語言指令的目標(biāo)區(qū)域,這個(gè)任務(wù)叫做視覺依據(jù)。本任務(wù)的輸入為圖像和文本,輸出為目標(biāo)物體的占據(jù)區(qū)域,屬于視覺和語言的交叉領(lǐng)域。由于認(rèn)知功能的復(fù)雜性,本文采用基于深度神經(jīng)網(wǎng)絡(luò)的模型,通過對大量數(shù)據(jù)樣本的學(xué)習(xí),使得模型的預(yù)測輸出能夠逐漸逼近真實(shí)觀測。網(wǎng)絡(luò)模型主要由三個(gè)部分組成,其中,視覺網(wǎng)絡(luò)從圖像輸入中學(xué)習(xí)到視覺特征,語言網(wǎng)絡(luò)從文本輸入中學(xué)習(xí)到語言特征,關(guān)聯(lián)網(wǎng)絡(luò)計(jì)算兩種特征的相關(guān)性,從而在圖像中定位出和描述最匹配的物體區(qū)域�；谏鲜隹蚣�,本文具體分析了基于前向卷積網(wǎng)絡(luò)的視覺特征應(yīng)用到本任務(wù)時(shí)的語義缺失問題和分辨率低下問題,并對應(yīng)設(shè)計(jì)了一種自頂向下的特征融合方案,融合得到的視覺特征更全面準(zhǔn)確地表達(dá)了視覺信息,促進(jìn)了和語言信息的關(guān)聯(lián);另一方面,本文通過注意力機(jī)制建模了文本中詞語的背景信息,從而消除了語言在形式上的歧義,得到了隨上下文自適應(yīng)變化的語言特征,... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：69 頁

【學(xué)位級別】：碩士

【部分圖文】：

本課題任務(wù)的輸入輸出示例

1.1 課題來源及意義近年來，人工智能分別在計(jì)算機(jī)視覺和自然語言處理上取得了重大進(jìn)展，但視覺和語言并不是兩種完全獨(dú)立的認(rèn)知能力，本課題來自它們的交叉領(lǐng)域，其任務(wù)目標(biāo)是從圖像中定位出文本描述的目標(biāo)物體，見圖 1-1，這個(gè)任務(wù)被稱作視覺依據(jù)(VG, VisualGrounding)或者指示表達(dá)理解(REC,ReferExpressionComprehension)。值得注意的是，“定位”的含義為確定目標(biāo)物體在圖像中的占據(jù)區(qū)域，而不是物體的坐標(biāo)。圖 1-1 本課題任務(wù)的輸入輸出示例

哈爾濱工業(yè)大學(xué)工學(xué)碩士論文提升了精度。本任務(wù)的早期算法一般使用 Multibox 等方法產(chǎn)生候選使用基于 FasterR-CNN 的算法參數(shù)候選區(qū)域，一方面是后者的精度以和網(wǎng)絡(luò)的其他部分組成一個(gè)網(wǎng)絡(luò)，從而聯(lián)合訓(xùn)練優(yōu)化。一個(gè)和物體檢測類似的工作是物體分割，它和物體檢測一樣可以作方法。物體檢測用矩形框表示物體的占據(jù)區(qū)域，物體分割給出了物sk R-CNN[16]同時(shí)給出了這兩者，見圖 1-3。Mask R-CNN 是 Faste個(gè)掩膜(mask)分支得到，并且它將物體檢測里的 RoI 采樣(Regio為了 RoI 對齊(align)，因此同時(shí)提升了物體分割和物體檢測的精度的定位結(jié)果可以用矩形框表示，也可以用像素級分割的掩膜表示，選區(qū)域的表示方法，因?yàn)楸舅惴ǖ亩ㄎ恢皇菍蜻x區(qū)域進(jìn)行一個(gè)選產(chǎn)生方法使用 Mask R-CNN，那么得到的定位結(jié)果同時(shí)具有這兩種究該檢測算法，僅僅把它當(dāng)作一個(gè)預(yù)處理過程，直接應(yīng)用它的結(jié)果


本文編號：3103334