基于序列到序列模型的答案生成方法研究
發(fā)布時(shí)間:2023-06-23 19:30
問(wèn)答系統(tǒng)是目前人工智能和自然語(yǔ)言處理領(lǐng)域中一個(gè)備受關(guān)注并具有廣泛發(fā)展前景的研究方向,同時(shí)也是最困難的研究方向之一,其涉及了自然語(yǔ)言處理,知識(shí)推理等諸多知識(shí)。隨著深度學(xué)習(xí)技術(shù)的興起,問(wèn)答系統(tǒng)成為了科技媒體和研究者社區(qū)討論的焦點(diǎn),并且越來(lái)越多的研究者都熱衷于將循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用于問(wèn)答系統(tǒng)中用以實(shí)現(xiàn)答案的生成。答案生成的研究對(duì)象是文本。文本的長(zhǎng)度不一,并且文本中各元素之間具有順序關(guān)系,由此可見(jiàn)文本數(shù)據(jù)屬于變長(zhǎng)序列數(shù)據(jù),所以答案生成問(wèn)題可以看成序列到序列問(wèn)題。序列到序列問(wèn)題的特性就是輸入和輸出是不定長(zhǎng)的,而且輸入和輸出元素之間是具有順序關(guān)系的。因此,針對(duì)此類問(wèn)題,本文選擇了序列到序列模型。序列到序列模型的優(yōu)點(diǎn)就是對(duì)于不同長(zhǎng)度的輸入序列可以得到不同長(zhǎng)度的輸出序列,符合文本的變長(zhǎng)特性,并且考慮了文本元素之間的順序關(guān)系。本文研究中文限定域的答案生成問(wèn)題,問(wèn)答系統(tǒng)的實(shí)現(xiàn)分為檢索式和生成式。因此,本文基于這兩種方式對(duì)答案進(jìn)行生成。其中,檢索式是基于檢索融合的答案生成方法,首先基于關(guān)鍵字,使用向量空間模型實(shí)現(xiàn)文本的匹配,然后根據(jù)匹配結(jié)果返回答案候選列表,最后基于同義詞詞林,實(shí)現(xiàn)文本的語(yǔ)義相似度,并對(duì)候選列表...
【文章頁(yè)數(shù)】:57 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
Abstract
第1章 緒論
1.1 研究背景及意義
1.2 國(guó)內(nèi)外研究現(xiàn)狀
1.3 本文的主要工作
1.4 論文結(jié)構(gòu)
第2章 基于檢索融合的答案生成方法
2.1 候選答案的選取
2.1.1 關(guān)鍵字的提取
2.1.2 候選答案選取
2.2 候選答案的融合生成方法
2.2.1 同義詞詞林
2.2.2 基于同義詞詞林的詞語(yǔ)相似度
2.2.3 基于詞語(yǔ)相似度的句子語(yǔ)義相似度
2.2.4 多句子的融合方法
2.3 本章小結(jié)
第3章 基于序列到序列模型的答案生成方法
3.1 序列到序列模型
3.1.1 序列到序列模型核心思想
3.1.2 融入注意力的序列到序列模型
3.2 循環(huán)神經(jīng)網(wǎng)絡(luò)
3.2.1 標(biāo)準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)
3.2.2 長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)
3.2.3 雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)
3.3 中文詞向量
3.4 答案生成方法
3.4.1 基于多層LSTM的生成方法
3.4.2 基于多層LSTM與注意力的生成方法
3.4.3 基于雙向LSTM與注意力的生成方法
3.5 本章小結(jié)
第4章 基于自注意力的答案生成方法
4.1 自注意力機(jī)制
4.2 基于自注意力的生成方法
4.2.1 基于自注意力句子嵌入表示的生成方法
4.2.2 基于自注意力的生成方法
4.3 本章小結(jié)
第5章 實(shí)驗(yàn)結(jié)果與分析
5.1 實(shí)驗(yàn)數(shù)據(jù)描述
5.2 實(shí)驗(yàn)結(jié)果分析
5.3 本章小結(jié)
第6章 總結(jié)與展望
6.1 總結(jié)
6.2 展望
致謝
參考文獻(xiàn)
附錄1 攻讀學(xué)位期間的研究成果
附錄2 攻讀學(xué)位期間參加的科研項(xiàng)目
中文詳細(xì)摘要
本文編號(hào):3835182
【文章頁(yè)數(shù)】:57 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
Abstract
第1章 緒論
1.1 研究背景及意義
1.2 國(guó)內(nèi)外研究現(xiàn)狀
1.3 本文的主要工作
1.4 論文結(jié)構(gòu)
第2章 基于檢索融合的答案生成方法
2.1 候選答案的選取
2.1.1 關(guān)鍵字的提取
2.1.2 候選答案選取
2.2 候選答案的融合生成方法
2.2.1 同義詞詞林
2.2.2 基于同義詞詞林的詞語(yǔ)相似度
2.2.3 基于詞語(yǔ)相似度的句子語(yǔ)義相似度
2.2.4 多句子的融合方法
2.3 本章小結(jié)
第3章 基于序列到序列模型的答案生成方法
3.1 序列到序列模型
3.1.1 序列到序列模型核心思想
3.1.2 融入注意力的序列到序列模型
3.2 循環(huán)神經(jīng)網(wǎng)絡(luò)
3.2.1 標(biāo)準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)
3.2.2 長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)
3.2.3 雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)
3.3 中文詞向量
3.4 答案生成方法
3.4.1 基于多層LSTM的生成方法
3.4.2 基于多層LSTM與注意力的生成方法
3.4.3 基于雙向LSTM與注意力的生成方法
3.5 本章小結(jié)
第4章 基于自注意力的答案生成方法
4.1 自注意力機(jī)制
4.2 基于自注意力的生成方法
4.2.1 基于自注意力句子嵌入表示的生成方法
4.2.2 基于自注意力的生成方法
4.3 本章小結(jié)
第5章 實(shí)驗(yàn)結(jié)果與分析
5.1 實(shí)驗(yàn)數(shù)據(jù)描述
5.2 實(shí)驗(yàn)結(jié)果分析
5.3 本章小結(jié)
第6章 總結(jié)與展望
6.1 總結(jié)
6.2 展望
致謝
參考文獻(xiàn)
附錄1 攻讀學(xué)位期間的研究成果
附錄2 攻讀學(xué)位期間參加的科研項(xiàng)目
中文詳細(xì)摘要
本文編號(hào):3835182
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/3835182.html
最近更新
教材專著