【摘要】：人機(jī)對(duì)話作為人工智能領(lǐng)域的核心技術(shù)之一,一直以來(lái)備受學(xué)術(shù)界與工業(yè)界的關(guān)注。早期,人機(jī)對(duì)話系統(tǒng)的構(gòu)建主要基于規(guī)則、模板或者檢索的方法。近年來(lái),深度學(xué)習(xí)技術(shù)的發(fā)展使得現(xiàn)有人機(jī)對(duì)話技術(shù)有了突破性的進(jìn)展。隨著人機(jī)對(duì)話系統(tǒng)應(yīng)用場(chǎng)景的不斷擴(kuò)展,人們提出更高的需求,無(wú)論是任務(wù)型人機(jī)對(duì)話還是開(kāi)放域的閑聊,都希望機(jī)器兼具智商與情商,能夠靈活地與人交流,理解并且表達(dá)情感,而不是給出冷冰冰的回復(fù)。然而,現(xiàn)有的對(duì)話生成研究大多致力于提高回復(fù)內(nèi)容的相關(guān)性,在情感對(duì)話生成上的研究還較少。本文研究基于深度學(xué)習(xí)的情感對(duì)話生成,即根據(jù)用戶對(duì)話消息與指定情感類別,生成語(yǔ)法正確、內(nèi)容相關(guān)且包含指定情感的回復(fù),情感類別包括{其他、喜歡、悲傷、厭惡、憤怒、快樂(lè)}六種。本文的主要工作如下。本文提出基于內(nèi)容與情感聯(lián)合解碼的情感對(duì)話生成模型(EDG-JDCE)。研究表明,在對(duì)話生成模型中加入情感因素會(huì)導(dǎo)致生成回復(fù)的內(nèi)容相關(guān)性降低。為了緩解上述問(wèn)題,該模型構(gòu)建基于內(nèi)容與情感的聯(lián)合注意力機(jī)制與聯(lián)合解碼器。在解碼器中設(shè)計(jì)獨(dú)立的內(nèi)容解碼單元與情感解碼單元,分別學(xué)習(xí)對(duì)話中內(nèi)容與情感的表達(dá)能力。在解碼過(guò)程中,引入基于內(nèi)容與情感的聯(lián)合注意力機(jī)制,根據(jù)內(nèi)容與情感的表達(dá)狀態(tài),獲取注意力權(quán)重,動(dòng)態(tài)對(duì)用戶對(duì)話消息進(jìn)行編碼。同時(shí),本文在該模型的基礎(chǔ)上,探討One-hot與Embedding兩種常見(jiàn)的情感類別表示方式對(duì)模型的影響。本文在NLPCC2017發(fā)布的情感對(duì)話語(yǔ)料上進(jìn)行對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,相比其他模型,該模型在各項(xiàng)評(píng)價(jià)指標(biāo)上均有一定程度的提升。EDG-JDCE模型使用極大似然函數(shù)作為目標(biāo)函數(shù),同樣會(huì)出現(xiàn)這種方法下普遍存在的“安全回復(fù)”的問(wèn)題,如“我不知道”等。為了提高回復(fù)的多樣性,本文提出基于序列生成對(duì)抗網(wǎng)絡(luò)的情感對(duì)話生成模型(EDG-SeqGAN),主要包括生成器、內(nèi)容與情感鑒別器。生成器使用EDG-JDCE模型,內(nèi)容與情感鑒別器均基于雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)。在對(duì)抗訓(xùn)練中,使用內(nèi)容鑒別器保證生成器生成與用戶對(duì)話消息內(nèi)容相關(guān)的回復(fù),使用情感鑒別器引導(dǎo)生成器生成包含指定情感類別的回復(fù),從而最終生成更接近真實(shí)對(duì)話的回復(fù),提高回復(fù)的多樣性。實(shí)驗(yàn)結(jié)果表明,本文模型生成的回復(fù)在內(nèi)容和情感上相關(guān),同時(shí)也更加豐富、多樣。
【學(xué)位授予單位】：華中師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP391.1;TP18
【圖文】：

復(fù)雜的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（ＬｏｎｇＳｈｏｒｔ－ＴｅｒｍＭｅｍｏｒｙ，ＬＳＴＭ）邋［３７１，通過(guò)遺忘門、輸入逡逑門、輸出門實(shí)踐部保留長(zhǎng)期記憶。ＬＳＴＭ也是一種循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，可以串聯(lián)展逡逑開(kāi)，模型如圖２．２所示。逡逑Ｑ邐？邐Ｑ逡逑邐，邐邐０邐丨丨＂�。邋褰皴澹卞澹у宀峰义希藻濉姡郏撸海姡催姟妭�(gè)邋＿＿＿＿＿逡逑＾邋ｉｆｆ邋ｒ＾＇邋［＾］逡逑丨丨邋．．．．」＾邋ｒｉ邋丨邋—邐邐逡逑◎邋？邋？逡逑圖２．２邋ＬＳＴＭ網(wǎng)絡(luò)結(jié)構(gòu)圖逡逑９逡逑

＠邐④邐＠邐（ｊ；邐？逡逑圖２．１邋ＲＮＮ網(wǎng)絡(luò)結(jié)構(gòu)圖逡逑其中，每個(gè)時(shí)刻有一個(gè)輸入ｘｔ，Ａ是ＲＮＮ的一個(gè)單元，心是每個(gè)時(shí)刻對(duì)應(yīng)的輸逡逑出，下一時(shí)刻的輸出￣由當(dāng)前時(shí)刻的輸入Ａ與前一時(shí)刻的輸出計(jì)算得到，如公逡逑式２．１所示。逡逑ｈｔ邋－邋ａ（Ｗｈｈ邋■邋ｈｔ＿！邋＋邋Ｗｘｈ邋？邋ｘｔ）邐（公式邋２．１）逡逑其中與１４／Ｚ／１均為ＲＮＮ的參數(shù)，每個(gè)時(shí)刻的參數(shù)共享，Ｊ是激活函數(shù)，常用的逡逑激活函數(shù)有Ｓｉｇｍｏｉｄ函數(shù)、Ｔａｎｈ函數(shù)以及ＲｅＬｕ函數(shù)等。逡逑２．２．２長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)逡逑＿雖然可以將之前的序列數(shù)據(jù)進(jìn)行關(guān)聯(lián)，但是隨著序列的增長(zhǎng)，開(kāi)始的信息逡逑會(huì)逐漸被遺忘，而越靠后的序列信息保留的越多，存在長(zhǎng)期依賴（Ｌｏｎｇ－ｔｅｒｍ逡逑Ｄｅｐｅｎｄｅｎｃｉｅｓ）的問(wèn)題。１９９７年Ｓｃｈｍｉｄｈｕｂｅｒ教授為解決此問(wèn)題提出內(nèi)部結(jié)構(gòu)更加逡逑復(fù)雜的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（ＬｏｎｇＳｈｏｒｔ－ＴｅｒｍＭｅｍｏｒｙ，ＬＳＴＭ）邋［３７１，通過(guò)遺忘門、輸入逡逑門、輸出門實(shí)踐部保留長(zhǎng)期記憶。ＬＳＴＭ也是一種循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，可以串聯(lián)展逡逑開(kāi)，模型如圖２．２所示。逡逑Ｑ邐？邐Ｑ逡逑

ｔｆ＾．ｆ輸入門通過(guò)Ｓｉｇｍｏｉｄ函數(shù)控制接受前一時(shí)刻信息的程度，并通過(guò)非線性Ｔａｎｈ激逡逑活函數(shù)得到候選狀態(tài)Ｃｔ，如公式２．３、２．４所示。逡逑ｉｔ邋＝邋ａ（Ｗｉ邋■邐（公式邋２．３）逡逑Ｑ邋＝邋ｔａｎｈ（Ｍ／ｃ－邋［ｈｔ．ｉ．Ｘｆ］邋＋邋ｂｃ）邐（公式邋２．４）逡逑通過(guò)將上一時(shí)刻的狀態(tài)與遺忘門的參數(shù)相乘，表示需要忘記的信息，候選狀態(tài)逡逑與輸入門的參數(shù)相乘，表示保留現(xiàn)有的信息，兩者相加，更新為ＬＳＴＭ的狀態(tài)，如逡逑公式２．５所不。逡逑Ｃｔ邋＝邋ｆｔ邋＊邋＾ｔ－ｉ邋＋邋ｈ邋＊邋Ｑ邐（公式邋２．５）逡逑輸出門通過(guò)Ｓｉｇｍｏｉｄ函數(shù)決定最終要輸出的信息參數(shù)，并通過(guò)非線性Ｔａｎｈ激逡逑活函數(shù)進(jìn)行映射與輸出門的參數(shù)相乘，得到最終輸出結(jié)果，如公式２．６、１７所示。逡逑ｏｔ邋＝邋ａ（Ｗ0邋■邐＋邋ｂ0）邐（公式邋２．６）逡逑ｈｔ邋＝邋ｏｔ邋＊邋ｔａｎｈ（Ｃ￡）邐（公式邋２．７）逡逑２．２．３門控循環(huán)單元網(wǎng)絡(luò)逡逑門控循環(huán)單元網(wǎng)絡(luò)（ＧａｔｅｄＲｅｃｕｒｒｅｎｔＵｎｉｔ，ＧＲＵ）是ＬＳＴＭ的一種變體［３６］’也逡逑是一種循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，模型如圖２．３所示。逡逑？邐？邐Ｑ逡逑

【參考文獻(xiàn)】

相關(guān)碩士學(xué)位論文 前2條

1 范創(chuàng);人機(jī)對(duì)話中的情感文本生成方法研究[D];哈爾濱工業(yè)大學(xué);2018年

2 曹東巖;基于強(qiáng)化學(xué)習(xí)的開(kāi)放領(lǐng)域聊天機(jī)器人對(duì)話生成算法[D];哈爾濱工業(yè)大學(xué);2017年

本文編號(hào)：2799021