圖像描述任務(wù)是目前人工智能領(lǐng)域極具挑戰(zhàn)性的研究課題之一,它的主要任務(wù)是讓計(jì)算機(jī)能夠識(shí)別、理解出圖像中的內(nèi)容并自動(dòng)生成相應(yīng)的文本描述句子。人類能夠理解并描述出一幅圖像中蘊(yùn)含的信息,能夠讓計(jì)算機(jī)具備人類的這種能力有著重大的現(xiàn)實(shí)意義。在實(shí)際生活中也有著非常廣泛的應(yīng)用,例如,智能人機(jī)交互、幼兒早教、信息檢索、視覺(jué)障礙者協(xié)助等。近年來(lái),基于深度學(xué)習(xí)的圖像描述技術(shù)發(fā)展迅速,特別是神經(jīng)網(wǎng)絡(luò)的運(yùn)用,使得圖像描述模型的性能得到很大的改善。通過(guò)分析基于深度學(xué)習(xí)的圖像描述技術(shù),同時(shí)借鑒神經(jīng)機(jī)器翻譯任務(wù)取得的階段性成果,本文提出了一種區(qū)別于當(dāng)前主流方法的圖像描述模型來(lái)解決復(fù)雜場(chǎng)景下的描述不準(zhǔn)確問(wèn)題,其主要工作內(nèi)容包含以下幾點(diǎn):(1)為了充分提取圖像中所包含的語(yǔ)義信息,針對(duì)視覺(jué)特征信息的在卷積層的傳播過(guò)程中的損失導(dǎo)致模型無(wú)法全面理解輸入圖像語(yǔ)義的情況,本文提出了一種融合多模型跨層特征的方法,融合低層特征和高層特征,并訓(xùn)練出多個(gè)編碼器對(duì)特征進(jìn)行提取,實(shí)現(xiàn)語(yǔ)義特征和細(xì)節(jié)特征之間的信息互補(bǔ),從而學(xué)習(xí)到更形象具體的描述句子。(2)自然場(chǎng)景圖像中經(jīng)常包含多個(gè)目標(biāo)和復(fù)雜的背景信息,對(duì)應(yīng)的描述語(yǔ)句通常也是結(jié)構(gòu)復(fù)雜的長(zhǎng)句子,當(dāng)前...

【文章頁(yè)數(shù)】：52 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景及其意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
    1.3 論文研究?jī)?nèi)容和主要貢獻(xiàn)
        1.3.1 論文的主要研究?jī)?nèi)容
        1.3.2 論文的主要貢獻(xiàn)和創(chuàng)新點(diǎn)
    1.4 論文的組織結(jié)構(gòu)
第二章 基于端到端的圖像描述基礎(chǔ)
    2.1 編碼-解碼框架
    2.2 基于CNN+RNN架構(gòu)的圖像描述生成方法
        2.2.1 方法原理
        2.2.2 監(jiān)督學(xué)習(xí)
    2.3 基于CNN+CNN架構(gòu)的圖像描述生成方法
        2.3.1 方法原理
        2.3.2 監(jiān)督學(xué)習(xí)
    2.4 圖像描述數(shù)據(jù)集及評(píng)價(jià)指標(biāo)
        2.4.1 圖像描述數(shù)據(jù)集
        2.4.2 圖像描述評(píng)價(jià)指標(biāo)
    2.5 本章小結(jié)
第三章 跨層多模型特征融合與因果卷積解碼的圖像描述
    3.1 引言
    3.2 CMFF/CD模型
        3.2.1 視覺(jué)模塊
        3.2.2 語(yǔ)言模塊
        3.2.3 Attention模塊
        3.2.4 語(yǔ)句預(yù)測(cè)生成模塊
        3.2.5 訓(xùn)練與測(cè)試
    3.3 實(shí)驗(yàn)及結(jié)果分析
        3.3.1 實(shí)驗(yàn)平臺(tái)及參數(shù)設(shè)置
        3.3.2 實(shí)驗(yàn)結(jié)果分析
    3.4 本章小結(jié)
第四章 融合多層注意力的CNN語(yǔ)言模型用于圖像描述
    4.1 引言
    4.2 注意力機(jī)制
        4.2.1 注意力機(jī)制的作用與原理
        4.2.2 多層級(jí)注意力模型
    4.3 融合多層注意力的CNN語(yǔ)言模型用于圖像描述
    4.4 實(shí)驗(yàn)結(jié)果與分析
        4.4.1 實(shí)驗(yàn)數(shù)據(jù)集
        4.4.2 定量、定性及可視化實(shí)驗(yàn)結(jié)果分析
    4.5 本章小結(jié)
第五章 總結(jié)與展望
    5.1 本文工作總結(jié)
    5.2 研究展望
參考文獻(xiàn)
致謝
攻讀學(xué)位期間的研究成果



本文編號(hào)：4038238