發(fā)布時(shí)間：2020-10-17 11:06

　　 隨著深度學(xué)習(xí)的發(fā)展,越來越多的基于深度學(xué)習(xí)的問答系統(tǒng)被提出。這些系統(tǒng)能夠接受用戶以自然語言提出的問題,并能從大量異構(gòu)數(shù)據(jù)中查詢或者推理得到用戶所需答案,但是大部分模型都無法解釋其推理能力。受人類記憶方式的啟發(fā),近年來研究者提出了許多基于記憶建模的深度學(xué)習(xí)模型。這些基于記憶建模的深度學(xué)習(xí)模型具有較強(qiáng)的推理能力,并可以從模型結(jié)構(gòu)上解釋其推理能力。本文對(duì)現(xiàn)有的記憶網(wǎng)絡(luò)模型進(jìn)行了研究,分析其存在的問題和不足,提出了相應(yīng)的改進(jìn)方法,并將改進(jìn)的記憶網(wǎng)絡(luò)模型應(yīng)用在問答系統(tǒng)中。本文的研究主要包括以下兩個(gè)方面:(1)提出了稠密連接記憶神經(jīng)網(wǎng)絡(luò)。通過對(duì)傳統(tǒng)端到端記憶神經(jīng)網(wǎng)絡(luò)和關(guān)系推理模型進(jìn)行深入研究。本文認(rèn)為傳統(tǒng)端到端記憶神經(jīng)網(wǎng)絡(luò)無法在關(guān)系推理任務(wù)取得較好效果的原因是其多跳機(jī)制造成信息損失,缺少獲取關(guān)系特征的結(jié)構(gòu)。為此本文提出了稠密連接記憶神經(jīng)網(wǎng)絡(luò),希望在傳統(tǒng)端到端記憶神經(jīng)網(wǎng)絡(luò)模型的多跳機(jī)制中加入稠密連接,門控機(jī)制和多層感知機(jī)。通過使用稠密連接,可以更全面的考慮已有的事實(shí),結(jié)合門控機(jī)制過濾信息,并使用多層感知機(jī)就可以獲取已有事實(shí)的關(guān)系特征,從而提升了模型的關(guān)系特征表示能力,最終提升了模型的關(guān)系推理能力。本文在問答數(shù)據(jù)集上測(cè)試了已有的記憶神經(jīng)網(wǎng)絡(luò)模型,實(shí)驗(yàn)結(jié)果表明,稠密連接記憶神經(jīng)網(wǎng)絡(luò)有較強(qiáng)的關(guān)系推理能力。(2)提出了稠密多頭注意力記憶神經(jīng)網(wǎng)絡(luò)。為了讓模型能完成多個(gè)文本推理任務(wù),對(duì)工作記憶網(wǎng)絡(luò)進(jìn)行了深入的研究。由于推理模塊破壞了遞進(jìn)式推理的推理鏈,工作記憶網(wǎng)絡(luò)無法很好的解決遞進(jìn)式推理任務(wù)。為此本文使用多頭注意力機(jī)制提升模型的特征表示能力,使用稠密連接和線性變換結(jié)構(gòu)代替工作記憶網(wǎng)絡(luò)的推理模塊。多頭注意力機(jī)制將詞嵌入矩陣的訓(xùn)練與注意力的獲取分離,模型可以獲取更復(fù)雜的注意模式,提升模型同時(shí)完成多個(gè)文本推理任務(wù)的能力。稠密連接能夠更好的考慮各層輸出的信息,通過不同的輸入保留了推理過程的推理序列信息。線性變換則能用最簡(jiǎn)單的結(jié)構(gòu)去獲取關(guān)系特征。面對(duì)問答數(shù)據(jù)集上的問題,稠密多頭注意力記憶神經(jīng)網(wǎng)絡(luò)具有更好的穩(wěn)定性,更快的收斂速度以及更快的訓(xùn)練速度。本文還將稠密多頭注意力記憶神經(jīng)網(wǎng)絡(luò)與工作記憶網(wǎng)絡(luò)在遞進(jìn)式推理的任務(wù)上進(jìn)行了對(duì)比,實(shí)驗(yàn)結(jié)果也表明,稠密多頭注意力記憶神經(jīng)網(wǎng)絡(luò)模型在遞進(jìn)式推理上更具優(yōu)勢(shì)。此外,本文將提出的模型應(yīng)用到視覺問答,實(shí)驗(yàn)結(jié)果表明稠密多頭注意力網(wǎng)絡(luò)結(jié)合關(guān)系推理模塊的模型取得了更好的效果。
【學(xué)位單位】：南寧師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TP18;TP391.1
【部分圖文】：

基于記憶建模的深度學(xué)習(xí)模型及其在問答系統(tǒng)中的應(yīng)用在各類實(shí)踐中，注意力機(jī)制有著非常廣泛的作用。注意力機(jī)制最成功的就是神經(jīng)機(jī)器翻譯[31](Neural Machine Translation, NMT)。NMT 是一個(gè)典型的碼器-解碼器”結(jié)構(gòu)，其首先保留源語言中每個(gè)位置的信息，在解碼過程中每一個(gè)目標(biāo)語言詞，都需要通過注意力機(jī)制從源語言保留的信息中選擇需要的以此得到了更好的效果。在圖像描述任務(wù)中，Xu[32]等人提出的基于注意力型不僅在圖像描述上取得了非常優(yōu)秀的結(jié)果，還通過可視化的方式為使用注機(jī)制的可解釋性做了進(jìn)一步論證。其結(jié)果表明，當(dāng)圖像描述的匹配程度較高注意力往往都會(huì)集中在描述正確的物體上，如圖 2-2 所示。在自然語言問答有許多用到注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型，例如各類記憶神經(jīng)網(wǎng)絡(luò)的變種，基識(shí)庫問答的深度學(xué)習(xí)模型[33]，還有 R-Net，QANet 這類基于文本閱讀的深度問答模型。

南寧師范大學(xué)碩士學(xué)位論文 k+1 跳的輸入 uk+1，即第 k 跳的輸出為：k 1k ku u o+= + （2-12過式(2-12)，MemN2N 實(shí)現(xiàn)了自然語言理解的多級(jí)計(jì)算，將上下文關(guān)聯(lián)的信計(jì)算中聯(lián)系了起來。多層的 MemN2N 通過將上一跳的輸入與輸出之和作為跳的輸入，下一跳再通過求相似度的方式找到與上一跳有關(guān)的記憶。這個(gè)過質(zhì)上就是一個(gè)聯(lián)想回憶的過程。本文提出的模型都是基于 MemN2N 架構(gòu)構(gòu)端到端模型。

基于記憶建模的深度學(xué)習(xí)模型及其在問答系統(tǒng)中的應(yīng)用合訓(xùn)練下的 bAbI 數(shù)據(jù)集。但 WMemNN 的結(jié)構(gòu)由于使用 RN 作為關(guān)系推理結(jié)構(gòu)，導(dǎo)致其網(wǎng)絡(luò)結(jié)構(gòu)過雜。而 WMemNN 推理模塊通過兩兩配對(duì)獲取關(guān)系特征的方式，也破壞了遞推理的信息，導(dǎo)致其在遞進(jìn)式推理上的表現(xiàn)不理想。
【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 吳友政,趙軍,段湘煜,徐波;問答式檢索技術(shù)及評(píng)測(cè)研究綜述[J];中文信息學(xué)報(bào);2005年03期

本文編號(hào)：2844694