圖像描述生成的目標(biāo)是對圖像生成關(guān)于圖像內(nèi)容的連貫流暢的自然語言描述句子,結(jié)合了圖像識別領(lǐng)域與自然語言處理領(lǐng)域,對互聯(lián)網(wǎng)中圖像信息的檢索、兒童的早期教育與視障人士的生活輔助等方面有重要的意義�，F(xiàn)有的圖像描述生成模型大多基于深度學(xué)習(xí)編碼-解碼框架,采用卷積神經(jīng)網(wǎng)絡(luò)（CNN）作為提取圖像特征的編碼器,采用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）作為生成自然語言描述的解碼器。但采用編碼-解碼框架的模型大多存在編碼過程中CNN提取到的特征圖不足以獲取圖像中所含的大量信息、解碼過程中圖像信息會隨著RNN時間步向前占比越來越小等問題。為了解決上述問題,本文在編碼-解碼框架基礎(chǔ)上設(shè)計了額外的圖像語義網(wǎng)絡(luò),圖像語義網(wǎng)絡(luò)產(chǎn)生的圖像語義層不僅補(bǔ)充了編碼器獲取不充分的圖像信息,還可以在解碼過程中彌補(bǔ)逐漸彌散的圖像信息;設(shè)計了語義注意力機(jī)制,使模型能夠在預(yù)測單詞時將注意力聚焦到圖像語義層中對應(yīng)單詞向量。具體工作如下:（1）基于深度學(xué)習(xí)引入圖像語義網(wǎng)絡(luò)的圖像描述生成模型-ESRNN。ESRNN模型基于NIC模型設(shè)計,首先用一個CNN作為編碼器提取圖像特征,然后根據(jù)訓(xùn)練集已有的圖像描述為每張圖像產(chǎn)生多標(biāo)簽,在基礎(chǔ)模型中加入另一個CN... 

【文章來源】：北京交通大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：68 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－１編碼？解碼框架??Ｆｉｇｕｒｅ?２－１?Ｔｈｅ?ｅｎｃｏｄｅｒ－ｄｅｃｏｄｅｒ?ｆｒｅａｍｗｏｒｋ??

在前向傳播時，每個濾波器都在輸入數(shù)據(jù)的高度和寬度上滑動，在每個位置??為整個濾波器和輸入數(shù)據(jù)計算內(nèi)積。當(dāng)一組濾波器滑動完整個輸入數(shù)據(jù)后，生成??一個二維的激活圖（ａｃｔｉｖａｔｉｏｎ?ｍａｐ）作為輸出，卷積操作如圖２－２所示。??激活圖給出了在每個空間位置處濾波器做出的反應(yīng)。通過激活圖，濾波器會??學(xué)習(xí)到當(dāng)它遇到不同圖像特征時要做出何種激活操作，具體的圖像特征可能是某??個形狀，某處邊界等。把每個濾波器產(chǎn)生的激活圖在深度上疊加起來，獲得輸出??數(shù)據(jù)。??９??

圖２－３池化操作??


本文編號：3126680