近年來,隨著大數(shù)據(jù)和深度學(xué)習(xí)技術(shù)的不斷發(fā)展,對(duì)話系統(tǒng)在各個(gè)領(lǐng)域越來越引起人們的重視。對(duì)話系統(tǒng)大致可分為兩種:任務(wù)導(dǎo)向型對(duì)話系統(tǒng)和非任務(wù)導(dǎo)向型對(duì)話系統(tǒng)。面向任務(wù)的系統(tǒng)旨在幫助用戶完成實(shí)際具體的任務(wù),非任務(wù)導(dǎo)向的對(duì)話系統(tǒng)與人類交互,提供合理的回復(fù)和娛樂消遣功能,通常情況下主要集中在開放的領(lǐng)域與人交談。雖然非任務(wù)導(dǎo)向的系統(tǒng)似乎在進(jìn)行聊天,但是它在許多實(shí)際應(yīng)用程序中都發(fā)揮了作用。在非任務(wù)導(dǎo)向型對(duì)話系統(tǒng)中,比較常見的是用Seq2Seq生成閑聊型機(jī)器人。但普通Seq2Seq可能出現(xiàn)如負(fù)面情感的回復(fù)、疑問句式的回復(fù)、回復(fù)的多樣性較低等問題,導(dǎo)致用戶體驗(yàn)差或者對(duì)話上下文不夠連貫。并且,對(duì)于多輪對(duì)話系統(tǒng)來說,現(xiàn)有的Seq2Seq模型并不能令人滿意。在多輪回答選擇中,重要的是要在之前的話語(yǔ)中找出重要的信息,并恰當(dāng)?shù)啬７略捳Z(yǔ)的關(guān)系,以確保談話的連貫性。所以多輪對(duì)話的難點(diǎn)為:如何明確上下文的關(guān)鍵信息,在上下文中如何模擬多輪對(duì)話間的關(guān)系。本論文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于Transformer和記憶網(wǎng)絡(luò)的多輪對(duì)話系統(tǒng),具體工作如下:（1）針對(duì)當(dāng)前的記憶網(wǎng)絡(luò)在復(fù)雜問答任務(wù)上表現(xiàn)不佳的問題,本文在端到端記憶網(wǎng)絡(luò)的基礎(chǔ)上提出... 

【文章來源】：天津工業(yè)大學(xué)天津市

【文章頁(yè)數(shù)】：72 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景和意義
    1.2 對(duì)話系統(tǒng)概述
    1.3 國(guó)內(nèi)外研究現(xiàn)狀
        1.3.1 國(guó)外研究現(xiàn)狀
        1.3.2 國(guó)內(nèi)研究現(xiàn)狀
    1.4 論文主要工作
    1.5 論文各章節(jié)安排
第二章 對(duì)話系統(tǒng)相關(guān)技術(shù)
    2.1 詞嵌入
        2.1.1 word2vec
        2.1.2 ELMO
        2.1.3 BERT
    2.2 神經(jīng)網(wǎng)絡(luò)
        2.2.1 RNN
        2.2.2 LSTM
        2.2.3 GRU
    2.3 記憶網(wǎng)絡(luò)
        2.3.1 Memory Networks
        2.3.2 End-To-End Memory Networks
        2.3.3 Dynamic Memory Networks
    2.4 優(yōu)化函數(shù)
        2.4.1 梯度下降法(Gradient Descent)
        2.4.2 動(dòng)量?jī)?yōu)化法
        2.4.3 自適應(yīng)學(xué)習(xí)率優(yōu)化算法
    2.5 注意力機(jī)制
        2.5.1 Encoder-Decoder框架
        2.5.2 Attention機(jī)制
        2.5.3 Global Attention和 Local Attention
        2.5.4 Self Attention
    2.6 Beam Search算法
    2.7 本章總結(jié)
第三章 基于記憶網(wǎng)絡(luò)的問答系統(tǒng)模型設(shè)計(jì)
    3.1 問答系統(tǒng)介紹
        3.1.1 問題描述
        3.1.2 數(shù)據(jù)集介紹
        3.1.3 評(píng)價(jià)標(biāo)準(zhǔn)
    3.2 實(shí)驗(yàn)設(shè)計(jì)
        3.2.1 編碼部分
        3.2.2 模型設(shè)計(jì)
    3.3 實(shí)驗(yàn)效果
    3.4 本章總結(jié)
第四章 基于Transformer的單輪對(duì)話模型設(shè)計(jì)
    4.1 序列建模
        4.1.1 Text CNN模型
        4.1.2 RNN和注意力機(jī)制
    4.2 問題描述
    4.3 實(shí)驗(yàn)準(zhǔn)備
        4.3.1 實(shí)驗(yàn)數(shù)據(jù)
        4.3.2 評(píng)價(jià)指標(biāo)
    4.4 實(shí)驗(yàn)設(shè)計(jì)
        4.4.1 Transformer
        4.4.2 模型設(shè)計(jì)
    4.5 實(shí)驗(yàn)結(jié)果
    4.6 本章總結(jié)
第五章 基于Transformer的多輪對(duì)話模型設(shè)計(jì)
    5.1 問題描述
    5.2 實(shí)驗(yàn)數(shù)據(jù)
    5.3 實(shí)驗(yàn)設(shè)計(jì)
    5.4 實(shí)驗(yàn)結(jié)果
    5.5 本章總結(jié)
第六章 總結(jié)和展望
參考文獻(xiàn)
研究生期間發(fā)表論文及參加科研情況說明
致謝



本文編號(hào)：3632367