近年來(lái),深度學(xué)習(xí)帶動(dòng)了自然語(yǔ)言處理(NLP)和計(jì)算機(jī)視覺(jué)(CV)的快速發(fā)展。在NLP領(lǐng)域中,一個(gè)非常流行的主題是智能問(wèn)答,它要求機(jī)器自動(dòng)回答自然語(yǔ)言形式的問(wèn)題。除了傳統(tǒng)的文本智能問(wèn)答外,有一種提供了多模態(tài)數(shù)據(jù)(例如文字和圖像)的變體,即多模態(tài)智能問(wèn)答任務(wù)。這項(xiàng)任務(wù)對(duì)如何組合多模態(tài)數(shù)據(jù)和進(jìn)行相應(yīng)的推理策略提出了新的挑戰(zhàn)。本文就研究多模態(tài)智能問(wèn)答的一個(gè)分支,被稱為多模態(tài)機(jī)器閱讀理解(MMMC)。MMMC是機(jī)器閱讀理解(MRC)的多模態(tài)擴(kuò)展,MRC要求閱讀和理解一篇文章并根據(jù)文章的內(nèi)容回答問(wèn)題,而在MMMC中,閱讀背景變成了多模態(tài)形式,比如文本中帶有對(duì)應(yīng)的圖片,問(wèn)題也不僅限于文本,還可以由圖像組成。MMMC存在各種類型的問(wèn)題,例如完形填空,多項(xiàng)選擇或排序。最近的一個(gè)MMMC數(shù)據(jù)集是RecipeQA,并且該數(shù)據(jù)集已經(jīng)發(fā)布了四個(gè)不同的MMMC任務(wù)。在本文中,我們對(duì)MMMC任務(wù)進(jìn)行了深入研究,并提出了可以解決多種任務(wù)樣式的新穎的深度學(xué)習(xí)模型。我們針對(duì)RecipeQA的所有四個(gè)不同問(wèn)題形式的子任務(wù)進(jìn)行了實(shí)驗(yàn),并獲得了最先進(jìn)的結(jié)果。由于之前的MRC工作并未引入時(shí)序信息,我們提出一種面向時(shí)序的深度模型,...

【文章頁(yè)數(shù)】：70 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2-1激活函數(shù)sigmoid和tanh的圖像對(duì)比

第二章多模態(tài)智能問(wèn)答基礎(chǔ)還有一種類似的函數(shù)是雙曲正切（tanh）函數(shù)，其定義如下：tanh(x)=exexex+ex.(2-4)事實(shí)上，tanh函數(shù)與sigmoid函數(shù)之間有著緊密的關(guān)系。如果我們把sigmoid函數(shù)放大并平移，就能得到tanh函數(shù)：tanh(x)=2σ(2x)1....

圖2-2ReLU函數(shù)的圖像

電子科技大學(xué)碩士學(xué)位論文圖2-2ReLU函數(shù)的圖像。2.1.2前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)，亦稱多層感知器（MultilayerPerceptron，MLP），誕生時(shí)間最早，結(jié)構(gòu)也比較簡(jiǎn)單，它的神經(jīng)元之間不構(gòu)成環(huán)，與循環(huán)神經(jīng)網(wǎng)絡(luò)相區(qū)分。前饋神經(jīng)網(wǎng)絡(luò)中，信息單向傳播，從輸入結(jié)點(diǎn)出發(fā)，經(jīng)....

圖2-3ILSVRC競(jìng)賽歷代冠軍模型的錯(cuò)誤率和層數(shù)比較

電子科技大學(xué)碩士學(xué)位論文圖2-3ILSVRC競(jìng)賽歷代冠軍模型的錯(cuò)誤率和層數(shù)比較。假設(shè)對(duì)堆疊的層使用一個(gè)殘差映射比直接映射要更容易，即圖2-4所示的殘差塊（residualblock）。ResNet的完整架構(gòu)和VGG19等網(wǎng)絡(luò)的對(duì)比如圖2-5所示。實(shí)驗(yàn)圖2-4一個(gè)殘差塊的圖示[49....

圖2-4一個(gè)殘差塊的圖示[49]

電子科技大學(xué)碩士學(xué)位論文圖2-3ILSVRC競(jìng)賽歷代冠軍模型的錯(cuò)誤率和層數(shù)比較。假設(shè)對(duì)堆疊的層使用一個(gè)殘差映射比直接映射要更容易，即圖2-4所示的殘差塊（residualblock）。ResNet的完整架構(gòu)和VGG19等網(wǎng)絡(luò)的對(duì)比如圖2-5所示。實(shí)驗(yàn)圖2-4一個(gè)殘差塊的圖示[49....

本文編號(hào)：3893587