發(fā)布時間：2021-05-22 18:56

　　近年來,隨著計算機的性能突飛猛進(jìn),特別是圖形處理單元（GPU）的使用,促進(jìn)著自然語言處理領(lǐng)域研究的不斷發(fā)展,其中,基于深度學(xué)習(xí)的對話系統(tǒng)取得了巨大的進(jìn)步。然而,當(dāng)前對話系統(tǒng)的研究主要集中于對于句子語義的理解,并未考慮到情感因素對于整個系統(tǒng)的影響。情商作為人類智力的重要組成部分,高情商的人可以察言觀色,根據(jù)對話中的情感因素給出最佳的回復(fù)。所以讓對話系統(tǒng)能夠進(jìn)行情感表達(dá),可以提高對話系統(tǒng)生成對話的質(zhì)量,從而帶來更好的用戶體驗。同時,生成式對抗網(wǎng)絡(luò)在對話系統(tǒng)的使用,可以提高傳統(tǒng)機器學(xué)習(xí)方法的準(zhǔn)確性,并使得生成的對話更加類人化。首先,本文對機器翻譯模型Transformer和GNA-RNN模型中的語言子網(wǎng)絡(luò)的結(jié)構(gòu)和原理進(jìn)行了相關(guān)研究。Transformer模型中通過對詞向量進(jìn)行多尺度的變換,可以得到不同維度的語義特征,進(jìn)而提高了模型的準(zhǔn)確性;GNA-RNN模型通過語言子網(wǎng)絡(luò)增加語句中重要單詞的權(quán)重,從而提高了模型進(jìn)行相關(guān)圖片搜索的能力。為了提高序列生成模型的準(zhǔn)確性,本文提出了詞級權(quán)重網(wǎng)絡(luò),將經(jīng)過詞嵌入的語句向量作為輸入,語句中各單詞的權(quán)重作為輸出,并與序列生成模型生成的語句相乘,得到最終的輸出... 

【文章來源】：遼寧大學(xué)遼寧省 211工程院校

【文章頁數(shù)】：77 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 神經(jīng)機器翻譯
        1.2.2 智能對話系統(tǒng)
    1.3 本文主要研究內(nèi)容與章節(jié)安排
        1.3.1 主要研究內(nèi)容
        1.3.2 章節(jié)安排
第2章 基于對抗性網(wǎng)絡(luò)對話生成的相關(guān)理論基礎(chǔ)
    2.1 循環(huán)神經(jīng)網(wǎng)絡(luò)
        2.1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)基本理論
        2.1.2 長短期記憶網(wǎng)絡(luò)LSTM
        2.1.3 門控循環(huán)單元GRU
    2.2 Seq2Seq模型
        2.2.1 Seq2Seq模型基本理論
        2.2.2 注意力機制
    2.3 生成式對抗網(wǎng)絡(luò)GAN
        2.3.1 GAN模型基本理論
        2.3.2 文本序列生成模型SeqGAN
    2.4 本章小節(jié)
第3章 基于詞級權(quán)重的文本序列生成模型改進(jìn)方法
    3.1 機器翻譯模型Transformer
        3.1.1 編碼器和解碼器堆
        3.1.2 Transformer模型中的注意力機制
        3.1.3 位置編碼
    3.2 詞級權(quán)重方法的提出
        3.2.1 GNA-RNN中的語言子網(wǎng)絡(luò)
        3.2.2 關(guān)鍵詞權(quán)重計算方法TF-IDF
    3.3 基于詞級權(quán)重的序列生成網(wǎng)絡(luò)
        3.3.1 詞級權(quán)重網(wǎng)絡(luò)
        3.3.2 基于詞級權(quán)重的Transformer模型
        3.3.3 基于詞級權(quán)重的ECM模型
    3.4 本章小結(jié)
第4章 基于對抗性ECM模型的對話生成方法
    4.1 多情感對話生成模型ECM
        4.1.1 Encoder-decoder框架
        4.1.2 多情感對話生成任務(wù)
    4.2 ECM模型的實現(xiàn)機制
        4.2.1 情感類別嵌入
        4.2.2 內(nèi)部情感記憶
        4.2.3 外部情感記憶
        4.2.4 ECM的損失函數(shù)
    4.3 對抗性多情感對話生成模型ECGAN
        4.3.1 策略梯度
        4.3.2 ECGAN獎勵機制
        4.3.3 教師激勵機制
        4.3.4 ECGAN模型算法
    4.4 本章小結(jié)
第5章 實驗結(jié)果及分析
    5.1 實驗環(huán)境
        5.1.1 實驗硬件環(huán)境
        5.1.2 實驗軟件環(huán)境
    5.2 實驗數(shù)據(jù)集
        5.2.1 IWSLT16英語-德語平行語料庫
        5.2.2 NLPCC2017數(shù)據(jù)集
    5.3 實驗評價標(biāo)準(zhǔn)
        5.3.1 BLEU標(biāo)準(zhǔn)
        5.3.2 METEOR標(biāo)準(zhǔn)
    5.4 實驗結(jié)果及分析
        5.4.1 帶有詞級權(quán)重的序列生成模型實驗結(jié)果
        5.4.2 ECGAN模型實驗結(jié)果及分析
    5.5 本章小結(jié)
第6章 總結(jié)與展望
    6.1 總結(jié)
    6.2 進(jìn)一步工作方向
致謝
參考文獻(xiàn)
攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文及參加科研情況


【參考文獻(xiàn)】：
期刊論文
[1]深度學(xué)習(xí)方法研究綜述[J]. 高明旭,李靖,朱緒平,常延輝.  中國科技信息. 2019(10)
[2]一種基于詞級權(quán)重的Transformer模型改進(jìn)方法[J]. 王明申,牛斌,馬利.  小型微型計算機系統(tǒng). 2019(04)
[3]基于深度學(xué)習(xí)的生成式聊天機器人算法綜述[J]. 孫立茹,余華云.  電腦知識與技術(shù). 2018(23)



本文編號：3201505