發(fā)布時(shí)間：2021-06-21 08:00

　　在開放域?qū)υ捝上到y(tǒng)中,Seq2Seq模型取得了不錯(cuò)的效果。但是,由于Seq2Seq模型沒有著重建模情感信息,因而該模型生成的回復(fù)語句往往在情感上與源語句不太匹配。為了在對(duì)話系統(tǒng)中引入外部情感信息進(jìn)而引導(dǎo)其生成情感合適的回復(fù)語句,我們將基于PAD情感狀態(tài)模型的PAD情感向量引入Seq2Seq模型并取得了比傳統(tǒng)Seq2Seq模型更好的效果�！癙AD情感狀態(tài)模型”是用以描述和度量情感狀態(tài)的一種心理學(xué)模型,它包含三個(gè)數(shù)值型維度:愉悅度、激活度和優(yōu)勢(shì)度,理論上可以利用這三個(gè)維度表示所有的情感狀態(tài)。在本文中,首先,我們根據(jù)PAD情感向量詞典賦予每一個(gè)詞語一個(gè)三維的PAD情感向量,該向量代表了詞語的情感信息,然后,將詞語的PAD情感向量和詞向量一起作為編碼器的輸入進(jìn)行“聯(lián)合編碼”,這為Seq2Seq模型增加了額外的情感信息。其次,為了解碼器能夠在解碼階段有選擇性地“關(guān)注”上下文的內(nèi)容信息和情感信息進(jìn)而生成情感合適的回復(fù),本文提出“聯(lián)合注意力機(jī)制”,包括“內(nèi)容注意力機(jī)制”和“情感注意力機(jī)制”�！扒楦凶⒁饬C(jī)制”基于PAD情感向量,它可以在解碼時(shí)有選擇地“關(guān)注”并充分利用源語句中詞語的PAD情感向量包... 

【文章來源】：華中師范大學(xué)湖北省 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：66 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖１．２開放域?qū)υ捪到y(tǒng)分類??［７］一“”

碩士學(xué)位論文??ｖＭｊｊＷ／Ｊ?ＭＡＳＴＫＲ?Ｓ?ＴＨＥＳＩＳ??ＣＢＯＷ是基于詞語的上下文來預(yù)測(cè)當(dāng)前詞語（計(jì)算其出現(xiàn)的概率）。它與前饋??神經(jīng)網(wǎng)絡(luò)語言模型（Ｆｅｅｄｆｏｒｗａｒｄ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ?Ｌａｎｇｕａｇｅ?Ｍｏｄｅ丨）｜２８］類似，但將其中??的非線性隱藏層（Ｎｏｎ－ｌｉｎｅａｒ?Ｈｉｄｄｅｎ?Ｌａｙｅｒ）去掉，并且映射層（Ｐｒｏｊｅｃｔｉｏｎ?Ｌａｙｅｒ）??為所有詞語所共享，因此所有詞語都映射到了相同位置。（詞語所對(duì)應(yīng)的向量被平均??化了）因?yàn)闅v史詞語的順序不影響映射過程，因此稱其為“詞袋模型”。??Ｓｋｉｐ－ｇｒａｍ模型同ＣＢＯＷ類似，但它則是給定某個(gè)詞語來計(jì)算同一句子中其前??后其他詞語出現(xiàn)的概率。模型將每個(gè)當(dāng)前詞語作為一個(gè)具有連續(xù)映射層的丨ｏｇ－ｌｉｎｅａｒ??分類器的輸入，然后在一定范圍內(nèi)預(yù)測(cè)位于當(dāng)前詞語前面和后面的詞語。并且該范??圍越大，生成的詞向量質(zhì)量越高，但計(jì)算復(fù)雜度也會(huì)相應(yīng)升高。??上述模型是當(dāng)前得到詞語分布式表示的非常通用的主流方法，Ｇｏｏｇｌｅ同時(shí)提供??了現(xiàn)成的工具包ｗ〇ｒｄ２ｖｅｃ。實(shí)驗(yàn)中，我們直接該工具包訓(xùn)練詞向量。當(dāng)然，也可以??利用其他工具進(jìn)行預(yù)訓(xùn)練，或者選擇隨機(jī)初始化同模型一起訓(xùn)練。??ＩＮＰＵＴ?ＰＲＯＪＥＣＴＩＯＮ?ＯＵＴＰＵＴ?ＩＮＰＵＴ?ＰＲＯＪＥＣＴＩＯＮ?ＯＵＴＰＵＴ??

碩士學(xué)位論文??ｖＭｊｊＷ／Ｊ?ＭＡＳＴＫＲ?Ｓ?ＴＨＥＳＩＳ??ＣＢＯＷ是基于詞語的上下文來預(yù)測(cè)當(dāng)前詞語（計(jì)算其出現(xiàn)的概率）。它與前饋??神經(jīng)網(wǎng)絡(luò)語言模型（Ｆｅｅｄｆｏｒｗａｒｄ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ?Ｌａｎｇｕａｇｅ?Ｍｏｄｅ丨）｜２８］類似，但將其中??的非線性隱藏層（Ｎｏｎ－ｌｉｎｅａｒ?Ｈｉｄｄｅｎ?Ｌａｙｅｒ）去掉，并且映射層（Ｐｒｏｊｅｃｔｉｏｎ?Ｌａｙｅｒ）??為所有詞語所共享，因此所有詞語都映射到了相同位置。（詞語所對(duì)應(yīng)的向量被平均??化了）因?yàn)闅v史詞語的順序不影響映射過程，因此稱其為“詞袋模型”。??Ｓｋｉｐ－ｇｒａｍ模型同ＣＢＯＷ類似，但它則是給定某個(gè)詞語來計(jì)算同一句子中其前??后其他詞語出現(xiàn)的概率。模型將每個(gè)當(dāng)前詞語作為一個(gè)具有連續(xù)映射層的丨ｏｇ－ｌｉｎｅａｒ??分類器的輸入，然后在一定范圍內(nèi)預(yù)測(cè)位于當(dāng)前詞語前面和后面的詞語。并且該范??圍越大，生成的詞向量質(zhì)量越高，但計(jì)算復(fù)雜度也會(huì)相應(yīng)升高。??上述模型是當(dāng)前得到詞語分布式表示的非常通用的主流方法，Ｇｏｏｇｌｅ同時(shí)提供??了現(xiàn)成的工具包ｗ〇ｒｄ２ｖｅｃ。實(shí)驗(yàn)中，我們直接該工具包訓(xùn)練詞向量。當(dāng)然，也可以??利用其他工具進(jìn)行預(yù)訓(xùn)練，或者選擇隨機(jī)初始化同模型一起訓(xùn)練。??ＩＮＰＵＴ?ＰＲＯＪＥＣＴＩＯＮ?ＯＵＴＰＵＴ?ＩＮＰＵＴ?ＰＲＯＪＥＣＴＩＯＮ?ＯＵＴＰＵＴ??


本文編號(hào)：3240308