圖像標題生成是計算機視覺和自然語言處理交叉領(lǐng)域的研究熱點,它要求算法能準確地識別圖像內(nèi)容并將圖像內(nèi)容表達為通順的句子。本文旨在分析現(xiàn)有圖像標題生成算法存在的問題并提出兩點改進:互助雙向長短期記憶網(wǎng)絡(luò)與遞進解碼機制。受卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）和長短期記憶（Long Short-Term Memory,LSTM）網(wǎng)絡(luò)成功地被應(yīng)用于圖像識別和機器翻譯的啟發(fā),主流圖像標題生成算法使用CNN將原始圖像編碼為圖像特征并使用LSTM將圖像特征解碼為句子。然而,現(xiàn)有算法從前向后逐個生成單詞,未考慮一個詞的后續(xù)詞對句子生成的影響。由于句中單詞具有上下文聯(lián)系,因此現(xiàn)有算法有待被進一步改進以充分利用上下文。針對該問題,本文提出基于互助雙向長短期記憶（Mutual-aid Bidirectional LSTM,MB-LSTM）網(wǎng)絡(luò)的圖像標題生成算法。MB-LSTM由前向LSTM、前向協(xié)助網(wǎng)絡(luò)、后向LSTM和后向協(xié)助網(wǎng)絡(luò)組成。在訓練階段,前向和后向LSTM將上文和下文分別編碼為各自的隱藏狀態(tài),進而將各自的隱藏狀態(tài)分別輸入前向和后向協(xié)助網(wǎng)絡(luò)以預(yù)測對方的隱藏狀... 

【文章來源】：大連理工大學遼寧省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：65 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景
    1.2 研究意義
    1.3 研究現(xiàn)狀
    1.4 本文工作與貢獻
    1.5 本文結(jié)構(gòu)
2 基礎(chǔ)知識與關(guān)鍵技術(shù)
    2.1 多層感知機
    2.2 卷積神經(jīng)網(wǎng)絡(luò)
    2.3 循環(huán)神經(jīng)網(wǎng)絡(luò)
    2.4 本章小結(jié)
3 基于互助雙向LSTM模型的標題生成算法
    3.1 Inception-V4編碼器
        3.1.1 網(wǎng)絡(luò)主干
        3.1.2 Inception與Reduction
    3.2 互助雙向LSTM解碼器
        3.2.1 LSTM解碼器
        3.2.2 帶注意力機制的LSTM解碼器
        3.2.3 互助雙向LSTM解碼器
    3.3 損失函數(shù)
    3.4 實驗結(jié)果與分析
        3.4.1 MicrosoftCOCO數(shù)據(jù)集
        3.4.2 常用的評測指標
        3.4.3 實驗設(shè)置與實現(xiàn)細節(jié)
        3.4.4 預(yù)訓練LSTM解碼器
        3.4.5 互助雙向LSTM的作用
        3.4.6 與其他算法的比較與分析
        3.4.7 具體實例分析
    3.5 本章小結(jié)
4 基于遞進解碼機制的圖像標題生成算法
    4.1 多模態(tài)注意力模塊
    4.2 最終圖像標題的生成
    4.3 實驗結(jié)果與分析
        4.3.1 預(yù)訓練與微調(diào)
        4.3.2 與其他算法的比較與分析
        4.3.3 具體實例分析
        4.3.4 注意力可視化分析
    4.4 本章小結(jié)
5 總結(jié)與展望
    5.1 總結(jié)
    5.2 展望
參考文獻
附錄A MB-LSTM在其他數(shù)據(jù)集上的測試
攻讀碩士學位期間發(fā)表學術(shù)論文情況
致謝



本文編號：3012789