近年來(lái),隨著計(jì)算機(jī)的性能突飛猛進(jìn),特別是圖形處理單元（GPU）的使用,促進(jìn)著自然語(yǔ)言處理領(lǐng)域研究的不斷發(fā)展,其中,基于深度學(xué)習(xí)的對(duì)話(huà)系統(tǒng)取得了巨大的進(jìn)步。然而,當(dāng)前對(duì)話(huà)系統(tǒng)的研究主要集中于對(duì)于句子語(yǔ)義的理解,并未考慮到情感因素對(duì)于整個(gè)系統(tǒng)的影響。情商作為人類(lèi)智力的重要組成部分,高情商的人可以察言觀色,根據(jù)對(duì)話(huà)中的情感因素給出最佳的回復(fù)。所以讓對(duì)話(huà)系統(tǒng)能夠進(jìn)行情感表達(dá),可以提高對(duì)話(huà)系統(tǒng)生成對(duì)話(huà)的質(zhì)量,從而帶來(lái)更好的用戶(hù)體驗(yàn)。同時(shí),生成式對(duì)抗網(wǎng)絡(luò)在對(duì)話(huà)系統(tǒng)的使用,可以提高傳統(tǒng)機(jī)器學(xué)習(xí)方法的準(zhǔn)確性,并使得生成的對(duì)話(huà)更加類(lèi)人化。首先,本文對(duì)機(jī)器翻譯模型Transformer和GNA-RNN模型中的語(yǔ)言子網(wǎng)絡(luò)的結(jié)構(gòu)和原理進(jìn)行了相關(guān)研究。Transformer模型中通過(guò)對(duì)詞向量進(jìn)行多尺度的變換,可以得到不同維度的語(yǔ)義特征,進(jìn)而提高了模型的準(zhǔn)確性;GNA-RNN模型通過(guò)語(yǔ)言子網(wǎng)絡(luò)增加語(yǔ)句中重要單詞的權(quán)重,從而提高了模型進(jìn)行相關(guān)圖片搜索的能力。為了提高序列生成模型的準(zhǔn)確性,本文提出了詞級(jí)權(quán)重網(wǎng)絡(luò),將經(jīng)過(guò)詞嵌入的語(yǔ)句向量作為輸入,語(yǔ)句中各單詞的權(quán)重作為輸出,并與序列生成模型生成的語(yǔ)句相乘,得到最終的輸出... 

【文章來(lái)源】：遼寧大學(xué)遼寧省 211工程院校

【文章頁(yè)數(shù)】：77 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 研究背景及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 神經(jīng)機(jī)器翻譯
        1.2.2 智能對(duì)話(huà)系統(tǒng)
    1.3 本文主要研究?jī)?nèi)容與章節(jié)安排
        1.3.1 主要研究?jī)?nèi)容
        1.3.2 章節(jié)安排
第2章 基于對(duì)抗性網(wǎng)絡(luò)對(duì)話(huà)生成的相關(guān)理論基礎(chǔ)
    2.1 循環(huán)神經(jīng)網(wǎng)絡(luò)
        2.1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)基本理論
        2.1.2 長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM
        2.1.3 門(mén)控循環(huán)單元GRU
    2.2 Seq2Seq模型
        2.2.1 Seq2Seq模型基本理論
        2.2.2 注意力機(jī)制
    2.3 生成式對(duì)抗網(wǎng)絡(luò)GAN
        2.3.1 GAN模型基本理論
        2.3.2 文本序列生成模型SeqGAN
    2.4 本章小節(jié)
第3章 基于詞級(jí)權(quán)重的文本序列生成模型改進(jìn)方法
    3.1 機(jī)器翻譯模型Transformer
        3.1.1 編碼器和解碼器堆
        3.1.2 Transformer模型中的注意力機(jī)制
        3.1.3 位置編碼
    3.2 詞級(jí)權(quán)重方法的提出
        3.2.1 GNA-RNN中的語(yǔ)言子網(wǎng)絡(luò)
        3.2.2 關(guān)鍵詞權(quán)重計(jì)算方法TF-IDF
    3.3 基于詞級(jí)權(quán)重的序列生成網(wǎng)絡(luò)
        3.3.1 詞級(jí)權(quán)重網(wǎng)絡(luò)
        3.3.2 基于詞級(jí)權(quán)重的Transformer模型
        3.3.3 基于詞級(jí)權(quán)重的ECM模型
    3.4 本章小結(jié)
第4章 基于對(duì)抗性ECM模型的對(duì)話(huà)生成方法
    4.1 多情感對(duì)話(huà)生成模型ECM
        4.1.1 Encoder-decoder框架
        4.1.2 多情感對(duì)話(huà)生成任務(wù)
    4.2 ECM模型的實(shí)現(xiàn)機(jī)制
        4.2.1 情感類(lèi)別嵌入
        4.2.2 內(nèi)部情感記憶
        4.2.3 外部情感記憶
        4.2.4 ECM的損失函數(shù)
    4.3 對(duì)抗性多情感對(duì)話(huà)生成模型ECGAN
        4.3.1 策略梯度
        4.3.2 ECGAN獎(jiǎng)勵(lì)機(jī)制
        4.3.3 教師激勵(lì)機(jī)制
        4.3.4 ECGAN模型算法
    4.4 本章小結(jié)
第5章 實(shí)驗(yàn)結(jié)果及分析
    5.1 實(shí)驗(yàn)環(huán)境
        5.1.1 實(shí)驗(yàn)硬件環(huán)境
        5.1.2 實(shí)驗(yàn)軟件環(huán)境
    5.2 實(shí)驗(yàn)數(shù)據(jù)集
        5.2.1 IWSLT16英語(yǔ)-德語(yǔ)平行語(yǔ)料庫(kù)
        5.2.2 NLPCC2017數(shù)據(jù)集
    5.3 實(shí)驗(yàn)評(píng)價(jià)標(biāo)準(zhǔn)
        5.3.1 BLEU標(biāo)準(zhǔn)
        5.3.2 METEOR標(biāo)準(zhǔn)
    5.4 實(shí)驗(yàn)結(jié)果及分析
        5.4.1 帶有詞級(jí)權(quán)重的序列生成模型實(shí)驗(yàn)結(jié)果
        5.4.2 ECGAN模型實(shí)驗(yàn)結(jié)果及分析
    5.5 本章小結(jié)
第6章 總結(jié)與展望
    6.1 總結(jié)
    6.2 進(jìn)一步工作方向
致謝
參考文獻(xiàn)
攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文及參加科研情況


【參考文獻(xiàn)】：
期刊論文
[1]深度學(xué)習(xí)方法研究綜述[J]. 高明旭,李靖,朱緒平,常延輝.  中國(guó)科技信息. 2019(10)
[2]一種基于詞級(jí)權(quán)重的Transformer模型改進(jìn)方法[J]. 王明申,牛斌,馬利.  小型微型計(jì)算機(jī)系統(tǒng). 2019(04)
[3]基于深度學(xué)習(xí)的生成式聊天機(jī)器人算法綜述[J]. 孫立茹,余華云.  電腦知識(shí)與技術(shù). 2018(23)



本文編號(hào)：3201505