神經對話生成(Neural Dialogue Generation)模型是最近的研究熱點。其中基于LSTM的Seq2Seq是其中一個典型的模型,盡管該模型在對話生成取得成功,但是還存在一般性回復問題,陷入死循環(huán)問題和對話生成中情感傾向不可控問題等。本文的研究課題將探討對話生成中的情感傾向不可控問題。不同于目前的研究對象,本論文以生成對抗網(wǎng)絡(Generative Adversarial Networks)為理論基礎,依據(jù)循環(huán)神經網(wǎng)絡和增強學習構建出具有情感傾向的對話生成模型。本文主要貢獻如下:(1)梳理歸納了近幾年生成對話模型的研究進展,并總結了它們的優(yōu)缺點,指出了情感因素在對話系統(tǒng)中的重要意義。(2)在生成式對話模型的情感控制研究中,通過對抗網(wǎng)絡和增強學習來指導生成模型的情感傾向。相比該方向的其他研究方法,該方法提出了一個新思路,并且有效便捷。(3)本文設計了一個全新的判別模型。提出了基于TextRank和Word2Vec結合的特征權重模型,通過該模型可以計算短文本的特征權重;除此之外,本文還將文本特征權重作為向量和分級分類模型得到的向量進行拼接組合,得到一個具有文本語義和文本特征的...

【文章頁數(shù)】：66 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 對話模型的定義與劃分
    1.2 對話模型的研究歷史與現(xiàn)狀
    1.3 情感模型的研究歷史與現(xiàn)狀
    1.4 對話情感模型的研究意義
    1.5 本文的組織結構
第2章 對話情感模型的相關技術介紹
    2.1 循環(huán)神經網(wǎng)絡
        2.1.1 循環(huán)神經網(wǎng)絡簡介
        2.1.2 長短時記憶神經網(wǎng)絡(LSTM)
        2.1.3 循環(huán)神經網(wǎng)絡在NLP中的應用與擴展
    2.2 Sequence-to-Sequence模型
        2.2.1 Sequence-to-Sequence模型簡介
        2.2.2 帶有注意力機制的Sequence-to-Sequence模型
    2.3 TextRank算法
        2.3.1 PageRank算法
        2.3.2 TextRank算法
    2.4 Word2Vec算法
        2.4.1 詞向量簡介
        2.4.2 Word2Vec向量
    2.5 生成對抗網(wǎng)絡
    2.6 增強學習
        2.6.1 馬爾科夫決策過程
        2.6.2 增強學習
    2.7 本章小結
第3章 對話情感模型的算法設計
    3.1 對話情感模型概述
    3.2 生成模型設計
        3.2.1 生成模型概述
        3.2.2 具有注意力機制的Sequence-to-Sequence模型
    3.3 判別模型設計
    3.4 策略梯度的應用
        3.4.1 策略梯度的概述
        3.4.2 蒙特卡洛采樣
        3.4.3 策略梯度的在模型中的應用
    3.5 模型的損失函數(shù)
        3.5.1 損失函數(shù)概述
        3.5.2 交叉熵函數(shù)
    3.6 本章小結
第4章 對話情感模型的判別模型算法設計
    4.1 分級向量模型
    4.2 基于TextRank和Word2Vec結合的特征權重計算方法
    4.3 組合向量
    4.4 Sigmoid激活函數(shù)
    4.5 判別模型分類實驗與分析
    4.6 本章小結
第5章 對話情感模型的實驗設計與效果展示
    5.1 實驗環(huán)境、語料及預處理
    5.2 對話情感模型的訓練
    5.3 對話情感模型的效果展示
    5.4 本章小結
總結
    本文總結
    工作展望
參考文獻
攻讀碩士學位期間取得的研究成果
致謝



本文編號：3911605