圖像描述技術(shù)能夠?qū)D像轉(zhuǎn)為文本,實現(xiàn)信息的跨模態(tài)轉(zhuǎn)換,因此被廣泛用人機(jī)對話、圖文互搜、兒童教育及視力障礙人士的生活輔助等方面。隨著通信技術(shù)的提升,圖像數(shù)據(jù)開始在互聯(lián)網(wǎng)中被大量發(fā)布及傳播,如何自動化地用自然語言描述圖像內(nèi)容,成為當(dāng)前一大研究熱點(diǎn)。本文針對圖像描述的自動化生成問題,從基于情感表征的方法、基于局部空間語義信息的方法、基于圖像描述的情感分析方法等方面進(jìn)行深入研究。本文的研究工作主要包括:（1）提出了一種基于情感表征的圖像描述方法:本方法基于編碼器-解碼器模型,先使用多個神經(jīng)網(wǎng)絡(luò)模型進(jìn)行圖像特征提取,再使用長短期記憶網(wǎng)絡(luò)進(jìn)行句子生成。首先采用現(xiàn)有工具提取圖中的情感表征（包括視覺語義和表情）,及其對應(yīng)的矩形邊界框。隨后將視覺語義信息與表情信息表示為向量,并將之映射到特定的維度,作為LSTM的附加輸入并參與訓(xùn)練和預(yù)測,從而使生成的句子具有感情色彩并提升圖像描述的準(zhǔn)確性。實驗結(jié)果表明本方法能夠有效提升圖像描述的準(zhǔn)確性,并且能夠使生成的句子更具感情色彩。（2）提出了一種基于局部空間語義信息與全局信息的圖像描述方法:首先使用現(xiàn)有的目標(biāo)檢測模型提取圖像中存在的目標(biāo)及其對應(yīng)的矩形邊界框,然后由... 

【文章來源】：北京交通大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：70 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖１－１谷歌眼鏡??

圖２－２根據(jù)參考語句構(gòu)建的語義依賴樹??

圖２－５卷積神經(jīng)網(wǎng)絡(luò)的計算方式??Ｆｉｇｕｒｅ２－５?ｃａｌｃｕｌａｔｉｏｎ?ｏｆ?ｃｏｎｖｏｌｕｔｉｏｎａｌ?ｎｅｕｒａｌ?ｎｅｔｗｏｒｋ??

【參考文獻(xiàn)】：
期刊論文
[1]LSTM逐層多目標(biāo)優(yōu)化及多層概率融合的圖像描述[J]. 湯鵬杰,王瀚漓,許愷晟.  自動化學(xué)報. 2018(07)



本文編號：3370531