人機(jī)對(duì)話系統(tǒng)是人機(jī)交互領(lǐng)域一個(gè)非常重要的研究方向,開(kāi)放域聊天機(jī)器人的研究受到了廣泛關(guān)注�，F(xiàn)有的聊天機(jī)器人主要存在3個(gè)方面的問(wèn)題:①無(wú)法有效捕捉上下文情境信息,導(dǎo)致前后對(duì)話內(nèi)容缺乏邏輯關(guān)聯(lián)。②大部分不具備個(gè)性化特征,導(dǎo)致聊天過(guò)程千篇一律,且前后對(duì)話內(nèi)容可發(fā)生矛盾。③傾向于生成"我不知道"、"對(duì)不起"等無(wú)意義的通用回復(fù)內(nèi)容,極大降低用戶(hù)的聊天興趣。本研究中利用基于Transformer模型的編解碼（Encoder-Decoder）結(jié)構(gòu)分別構(gòu)建了通用對(duì)話模型和個(gè)性化對(duì)話模型,通過(guò)編碼歷史對(duì)話內(nèi)容和個(gè)性化特征信息,模型可以有效捕捉上下文情境信息以及個(gè)性化信息,實(shí)現(xiàn)多輪對(duì)話過(guò)程,且對(duì)話內(nèi)容符合個(gè)性化特征。實(shí)驗(yàn)結(jié)果表明,基于Transformer的對(duì)話模型在困惑度（perplexity）和F1分?jǐn)?shù)評(píng)價(jià)指標(biāo)上相比于基線模型得到了一定的提升,人工評(píng)價(jià)顯示模型可以正常進(jìn)行多輪交互對(duì)話過(guò)程,生成內(nèi)容多樣性高,且符合給定的個(gè)性化特征。 

【文章來(lái)源】：圖學(xué)學(xué)報(bào). 2020,41(02)北大核心CSCD

【文章頁(yè)數(shù)】：7 頁(yè)

【部分圖文】：

Transformer模型整體結(jié)構(gòu)圖

自注意力機(jī)制是Transformer模型最核心的部分，捕捉一個(gè)序列自身單詞之間的依賴(lài)關(guān)系，根據(jù)上下文信息對(duì)句子中的單詞進(jìn)行編碼，使得單詞向量中蘊(yùn)含豐富的上下文信息。計(jì)算過(guò)程中，輸入序列的每個(gè)單詞的詞嵌入向量分別與3個(gè)權(quán)重矩陣相乘得到對(duì)應(yīng)的Q、K及V向量，然后將當(dāng)前單詞的Q向量與輸入序列中其他單詞的K向量作點(diǎn)積運(yùn)算得到相關(guān)程度，進(jìn)行歸一化后的結(jié)果再通過(guò)Softmax激活函數(shù)得到概率分布，最后將概率分布作為權(quán)重值對(duì)每個(gè)單詞的V向量進(jìn)行加權(quán)，得到當(dāng)前時(shí)刻單詞的向量表示，即4 個(gè)性化對(duì)話模型設(shè)計(jì)

本文實(shí)驗(yàn)過(guò)程中首先進(jìn)行通用對(duì)話模型的設(shè)計(jì)與實(shí)現(xiàn)開(kāi)放域多輪日常對(duì)話過(guò)程。本文中設(shè)計(jì)的通用對(duì)話模型基于編-解碼結(jié)構(gòu)，其中編碼端和解碼端分別由Transformer編碼器和解碼器組成。模型的整體結(jié)構(gòu)如圖3所示。編碼端和解碼端的層數(shù)均為12層，為了考慮上下文情境信息，在編碼階段，將歷史對(duì)話內(nèi)容編碼，其中可能包含多個(gè)句子序列，每個(gè)序列獨(dú)自輸入模型，與當(dāng)前時(shí)刻輸入共同作用影響解碼階段的預(yù)測(cè)輸出。


本文編號(hào)：3256662