多模態(tài)信息即指包含文本、圖像等多種不同模態(tài)的信息。多模態(tài)信息如新聞等,是我們?nèi)粘＝佑|到的常見最常見的信息載體之一。隨著海量數(shù)據(jù)的出現(xiàn)迫切需要計(jì)算機(jī)系統(tǒng)需要在短時(shí)間內(nèi)提煉出數(shù)據(jù)中的關(guān)鍵信息,文本摘要生成是基于給定原始數(shù)據(jù)的情況下,對(duì)原始數(shù)據(jù)做出簡(jiǎn)明總結(jié)的任務(wù)。目前,傳統(tǒng)的文本摘要生成絕大部分僅僅針對(duì)于原始數(shù)據(jù)集是文本的情況,由于多模態(tài)數(shù)據(jù)的常見和頻繁使用,迫切需要基于多模態(tài)數(shù)據(jù)獲取摘要的方法。本文研究多模態(tài)數(shù)據(jù)的文本摘要生成,即基于原始輸入信息為多模態(tài)數(shù)據(jù),但是輸出結(jié)果是基于原始信息的一段總結(jié)性文本。鑒于目前文本摘要生成研究中大部分都關(guān)注基于文章的摘要生成,如何處理多模態(tài)數(shù)據(jù)中不同模態(tài)的交互,以及不同模態(tài)如何貢獻(xiàn)文本摘要生成的是本文研究的重點(diǎn)。本文目標(biāo)即通過對(duì)多模態(tài)數(shù)據(jù)的合理處和學(xué)習(xí),即基于原始的多模態(tài)數(shù)據(jù),學(xué)習(xí)出一個(gè)簡(jiǎn)明的文本摘要。本文的主要研究工作主要由三個(gè)部分組成:(1)由于大部分文本摘要生成模型沒有均是在給定數(shù)據(jù)集上進(jìn)行單獨(dú)訓(xùn)練,往往會(huì)導(dǎo)致訓(xùn)練效果較好但測(cè)試集效果較差等過擬合情況,為了盡量避免模型訓(xùn)練時(shí)產(chǎn)生的過擬合風(fēng)險(xiǎn),給出了基于預(yù)訓(xùn)練表征的ELMo-Forward改進(jìn)模型,該改...

【文章頁(yè)數(shù)】：78 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究工作的背景與意義
    1.2 基于多模態(tài)數(shù)據(jù)摘要生成的國(guó)內(nèi)外研究歷史與現(xiàn)狀
    1.3 本論文的主要研究?jī)?nèi)容及組織架構(gòu)安排
第二章 多模態(tài)數(shù)據(jù)下的不同模態(tài)模態(tài)信息表征研究
    2.1 多模態(tài)數(shù)據(jù)中的淺層表征模型
        2.1.1 傳統(tǒng)機(jī)器學(xué)習(xí)表征方法
        2.1.2 基于詞向量的文本表征方法
    2.2 多模態(tài)數(shù)據(jù)中各模態(tài)通用表征模型
        2.2.1 自然語(yǔ)言處理中常見的編碼模型
        2.2.2 各類模態(tài)的通用表示模型
    2.3 本章總結(jié)
第三章 文本摘要生成方法研究
    3.1 文本摘要生成
        3.1.1 抽取式摘要簡(jiǎn)介
        3.1.2 生成式摘要簡(jiǎn)介
    3.2 基于預(yù)訓(xùn)練的共享編碼摘要模型改進(jìn)研究
        3.2.1 編碼器改編——ELMo-Forward
        3.2.2 基于ELMo-Forward編碼的PANTS模型
    3.3 本章總結(jié)
第四章 多模態(tài)數(shù)據(jù)下的摘要生成研究
    4.1 多模態(tài)信息融合
        4.1.1 基于單流模型的模態(tài)融合方法
        4.1.2 基于雙流模型的模態(tài)融合方法
    4.2 基于問答的多模態(tài)融合摘要生成模型改進(jìn)研究
        4.2.1 視覺問答任務(wù)與文本生成
        4.2.2 基于視覺問答的摘要生成模型——QABS
    4.3 本章總結(jié)
第五章 實(shí)驗(yàn)結(jié)論與分析
    5.1 數(shù)據(jù)集介紹與模型評(píng)價(jià)標(biāo)準(zhǔn)
        5.1.1 數(shù)據(jù)集介紹
        5.1.2 摘要評(píng)價(jià)體系
    5.2 實(shí)驗(yàn)設(shè)計(jì)與分析
        5.2.1 基于PANTS的文本摘要生成實(shí)驗(yàn)設(shè)計(jì)與分析
        5.2.2 基于QABS的多模態(tài)文本摘要生成實(shí)驗(yàn)
    5.3 實(shí)驗(yàn)結(jié)論
第六章 全文總結(jié)與展望
    6.1 論文總結(jié)
    6.2 論文展望
致謝
參考文獻(xiàn)



本文編號(hào)：3857401