隨著大規(guī)模深度學(xué)習(xí)算法的發(fā)展,自然語言處理領(lǐng)域重新掀起對(duì)開放域下對(duì)話系統(tǒng)研究的熱潮。同時(shí)社交媒體的影響力快速傳播,網(wǎng)絡(luò)上可獲取的海量數(shù)據(jù)也為研究者們構(gòu)建數(shù)據(jù)驅(qū)動(dòng)型的智能聊天系統(tǒng)提供了極大地助力。然而鮮有人將目標(biāo)聚焦于分析對(duì)話主題,以引導(dǎo)用戶進(jìn)行更有意義的談話上。當(dāng)前在開放域下聊天機(jī)器人的研究中,較為主流的方法是基于深度學(xué)習(xí)的序列到序列框架。在這樣的技術(shù)支持下,考慮將對(duì)話的主題信息融入基礎(chǔ)框架,提出了一個(gè)主題模型與開放域下的對(duì)話生成模型相結(jié)合的智能聊天機(jī)器人模型(RS2S-TA)。模型使用主題模型獲取的關(guān)鍵詞模擬用戶的先驗(yàn)知識(shí),并利用聯(lián)合注意力機(jī)制和偏向主題信息的生成概率,引導(dǎo)對(duì)話系統(tǒng)生成富含信息且有趣的回復(fù)。聯(lián)合注意力機(jī)制通過文本注意力層將輸入消息的隱含狀態(tài)壓縮為語義向量,通過主題注意力層將從預(yù)訓(xùn)練的增長式詞對(duì)主題模型(iBTM)中獲得的相關(guān)主題關(guān)鍵詞合成主題向量。二者共同影響解碼過程中詞語的選擇。為了增加主題關(guān)鍵詞在回復(fù)中出現(xiàn)的可能性,模型為詞語生成概率添加額外的偏置項(xiàng),使得整體分布偏向于主題關(guān)鍵詞�？紤]到生成式對(duì)話模型僅以短問句作為輸入可能存在信息量不足,無法被深度學(xué)習(xí)網(wǎng)絡(luò)捕獲特征...

【文章頁數(shù)】：52 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖3-1對(duì)話系統(tǒng)總體框架

圖3-1對(duì)話系統(tǒng)總體框架對(duì)話系統(tǒng)的核心問題在于如何得到高質(zhì)量的回復(fù)，簡(jiǎn)單來說在滿足生成回復(fù)語句連貫性的前提下，希望生成的回復(fù)能夠與問題保持相關(guān)性，同時(shí)能包含更多信息以利于對(duì)話的繼續(xù)。傳統(tǒng)的檢索式模型從已有對(duì)話預(yù)料庫中返回最合適的應(yīng)答，生成的回復(fù)比較自然且符合語法，缺點(diǎn)是無法生....

圖3-3檢索式模塊總體結(jié)構(gòu)

中科技大學(xué)碩士學(xué)位論文其改進(jìn)算法增量式詞對(duì)模型(incrementalBTM，iBTTM求解參數(shù)的具體算法偽碼為表3-1。成后，語料庫中所有詞語都按照主題進(jìn)行分組。而對(duì)于用的方式抽取句中詞對(duì)，并計(jì)算詞對(duì)屬于某個(gè)主題的概率，個(gè)詞語作為該問句q的話題相....

圖3-4基于主題的生成式模塊結(jié)構(gòu)

華中科技大學(xué)碩士學(xué)位論文3.4生成式模塊原理基于主題的生成式模型輸入有三個(gè)來源，為用戶問句q，檢索模塊的輸出r*，主題模型經(jīng)過語義分析預(yù)測(cè)得到的多個(gè)主題相關(guān)詞。模型的輸出為最終生成的回復(fù)語句。整體模型框架如圖3-4所示。傳統(tǒng)的Seq2Seq框架....

圖5-1標(biāo)準(zhǔn)seq2seq框架loss變化

圖5-1標(biāo)準(zhǔn)seq2seq框架loss變化圖5-2引入聯(lián)合注意力機(jī)制的模型loss變化為了更為直觀展示聯(lián)合注意力機(jī)制對(duì)模型的影響，在驗(yàn)證集中隨機(jī)選取一句進(jìn)行模型預(yù)測(cè)，并將其中的注意力矩陣可視化，結(jié)果如圖5-3所示，其：“最近皮膚好干，鼻子上還有紅血絲，有什....

本文編號(hào)：3961907