發(fā)布時(shí)間：2023-12-02 07:41

　　隨著深度學(xué)習(xí)的發(fā)展和應(yīng)用,自然語言處理領(lǐng)域的很多任務(wù)都取得了很大的進(jìn)步。其中文本生成的研究得到了很大發(fā)展,尤其是在機(jī)器翻譯、對(duì)話生成等領(lǐng)域。但隨著文本生成模型在實(shí)際工程上的應(yīng)用,文本生成的語義控制成為急需解決的重要問題。目前文本生成在情感控制和時(shí)態(tài)控制方面有一些不錯(cuò)的效果,但在關(guān)鍵詞語義控制方面還沒有很好的效果。關(guān)鍵問題在于關(guān)鍵詞語義信息的編碼表示和關(guān)鍵詞語義信息如何運(yùn)用到文本生成過程中。針對(duì)以上問題本文做了算法研究和實(shí)現(xiàn),具體包括以下工作:1、將自編解碼(encoder-decoder)框架用于基于關(guān)鍵詞語義控制的文本生成問題。本文任務(wù)的輸入只有關(guān)鍵詞集合,這些關(guān)鍵詞攜帶的語義信息是生成模型的唯一信息來源。把關(guān)鍵詞集合作為編碼器部分的輸入,進(jìn)行語義編碼表示。把文本生成過程當(dāng)做解碼器過程,語義信息通過注意力(attention)機(jī)制引入生成過程,在整個(gè)訓(xùn)練過程中進(jìn)行優(yōu)化。同時(shí)本文設(shè)計(jì)了針對(duì)本任務(wù)的評(píng)價(jià)指標(biāo)K-BLEU(Keyword-BLEU),可以兼顧生成語句通順度的評(píng)價(jià)以及關(guān)鍵詞語義相關(guān)度的評(píng)價(jià)。2、針對(duì)關(guān)鍵詞語義編碼表示的問題,提出了分解機(jī)編碼(FM-encoder)模型。借鑒分...

【文章頁數(shù)】：64 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
    1.3 論文的研究?jī)?nèi)容
    1.4 論文的組織結(jié)構(gòu)
第二章 相關(guān)工作
    2.1 概述
    2.2 文本生成的語義控制模型
    2.3 自編解碼框架
    2.4 語義編碼模型
    2.5 注意力機(jī)制
    2.6 本章小結(jié)
第三章 基于關(guān)鍵詞語義控制的文本生成模型
    3.1 本章引言
    3.2 相關(guān)工作
    3.3 研究動(dòng)機(jī)及創(chuàng)新點(diǎn)
    3.4 基于關(guān)鍵詞語義控制文本生成模型
    3.5 評(píng)測(cè)指標(biāo)改進(jìn)
    3.6 實(shí)驗(yàn)結(jié)果與分析
        3.6.1 數(shù)據(jù)集組建和預(yù)處理
        3.6.2 詞向量預(yù)處理
        3.6.3 實(shí)驗(yàn)設(shè)置
        3.6.4 實(shí)驗(yàn)結(jié)果分析
    3.7 本章小結(jié)
第四章 分解機(jī)編碼模型
    4.1 本章引言
    4.2 相關(guān)工作
    4.3 研究動(dòng)機(jī)及創(chuàng)新點(diǎn)
    4.4 分解機(jī)編碼模型
        4.4.1 問題分析
        4.4.2 模型結(jié)構(gòu)
    4.5 實(shí)驗(yàn)結(jié)果與分析
        4.5.1 實(shí)驗(yàn)細(xì)節(jié)
        4.5.2 實(shí)驗(yàn)結(jié)果與分析
    4.6 本章小結(jié)
第五章 加權(quán)加性注意力機(jī)制
    5.1 本章引言
    5.2 相關(guān)工作
    5.3 研究動(dòng)機(jī)及創(chuàng)新點(diǎn)
    5.4 加權(quán)加性注意力機(jī)制
        5.4.1 模型結(jié)構(gòu)
        5.4.2 模型分析
        5.4.3 訓(xùn)練優(yōu)化
    5.5 實(shí)驗(yàn)結(jié)果與分析
        5.5.1 實(shí)驗(yàn)細(xì)節(jié)
        5.5.2 實(shí)驗(yàn)結(jié)果與分析
    5.6 本章小結(jié)
第六章 總結(jié)及展望
    6.1 論文總結(jié)
    6.2 未來工作展望
參考文獻(xiàn)
致謝



本文編號(hào)：3869219