近年來,人工智能迅猛發(fā)展,計算機視覺與自然語言處理的交叉領(lǐng)域的研究逐漸吸引科研工作者的興趣。大多數(shù)現(xiàn)有工作聚焦圖像字幕任務(wù),旨在根據(jù)單張圖像生成單個句子描述。然而,本文將輸入和輸出的維度進行擴展,基于圖像序列來生成段落描述,簡稱視覺敘事任務(wù)。相比圖像字幕任務(wù),視覺敘事對圖文交叉領(lǐng)域提出更高挑戰(zhàn),它不僅要求對圖像序列中的每張圖片進行理解以及圖片之間的上下文關(guān)系,同時要求生成語義連貫的自然語言段落。首先,本文對基于深度學(xué)習(xí)的視覺敘事算法進行研究。針對當(dāng)下視覺敘事任務(wù)在圖像流建模及文本生成方面的不足之處,構(gòu)造首個該任務(wù)的中文數(shù)據(jù)集,并提出一種基于多模態(tài)空間映射的檢索式模型架構(gòu)RST-Att。一方面,該模型搭建雙向長短期記憶網(wǎng)絡(luò),引入注意力機制,提高不同場景下的圖像流的建模能力;另一方面,模型融合語言學(xué)中的修辭分析理論特征來改善生成文本的連貫性問題。在實驗部分,本文采用了中文和英文兩個數(shù)據(jù)集,結(jié)果表明RST-Att相比基線模型取得了更好的表現(xiàn)。進一步,基于相同的任務(wù),不同于檢索式方法,本文進一步探索生成式方法并提出一種對抗性神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模型AAL。AAL在生成模型的基礎(chǔ)上,構(gòu)造獎勵模型代替最大... 

【文章頁數(shù)】：64 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 論文背景與意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 本文研究內(nèi)容
    1.4 論文組織結(jié)構(gòu)
第二章 相關(guān)任務(wù)及研究綜述
    2.1 圖文生成任務(wù)概況
    2.2 圖文生成算法技術(shù)路線
        2.2.1 基于模板的圖像描述
        2.2.2 檢索式圖像描述
        2.2.3 生成式圖像描述
第三章 基于多模態(tài)空間的檢索式視覺敘事算法
    3.1 問題描述
    3.2 算法基本思想
    3.3 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像表征
    3.4 基于雙向LSTM的文本序列建模
        3.4.1 注意力機制
        3.4.2 修辭結(jié)構(gòu)理論融合
    3.5 模型訓(xùn)練
    3.6 實驗及結(jié)果分析
        3.6.1 數(shù)據(jù)集
        3.6.2 量化結(jié)果及分析
    3.7 本章小結(jié)
第四章 基于對抗學(xué)習(xí)的生成式視覺敘事算法
    4.1 問題描述
    4.2 模型概述
    4.3 意群分割
    4.4 模塊詳情
        4.4.1 生成模型
        4.4.2 獎勵模型
    4.5 實驗分析
        4.5.1 數(shù)據(jù)集
        4.5.2 實驗設(shè)置
        4.5.3 結(jié)果與分析
    4.6 本章小結(jié)
第五章 游記生成系統(tǒng)的設(shè)計與實現(xiàn)
    5.1 系統(tǒng)架構(gòu)設(shè)計
    5.2 系統(tǒng)開發(fā)環(huán)境
    5.3 數(shù)據(jù)構(gòu)建模塊
        5.3.1 數(shù)據(jù)集說明
        5.3.2 數(shù)據(jù)獲取
        5.3.3 數(shù)據(jù)預(yù)處理
    5.4 游記生成模塊
    5.5 后臺管理與前端展示模塊
    5.6 游記生成頁面展示
    5.7 本章小結(jié)
第六章 總結(jié)與展望
參考文獻
致謝
攻讀學(xué)位期間取得的研究成果



本文編號：3688262