口語(yǔ)理解中意圖識(shí)別和語(yǔ)義槽填充聯(lián)合建模研究
發(fā)布時(shí)間:2023-01-07 09:00
口語(yǔ)理解是對(duì)話(huà)系統(tǒng)重要的功能模塊,口語(yǔ)理解的性能直接影響后續(xù)的對(duì)話(huà)管理,意圖識(shí)別和語(yǔ)義槽填充是口語(yǔ)理解的兩個(gè)關(guān)鍵子任務(wù)。本研究主要針對(duì)對(duì)話(huà)系統(tǒng)中的口語(yǔ)理解進(jìn)行研究。傳統(tǒng)方法中,意圖識(shí)別和語(yǔ)義槽填充獨(dú)立解決,獨(dú)立建模沒(méi)有考慮兩個(gè)任務(wù)的相關(guān)性,但是這兩個(gè)任務(wù)相互關(guān)聯(lián),因此現(xiàn)階段大多數(shù)研究者將意圖識(shí)別和語(yǔ)義槽填充任務(wù)使用同一個(gè)模型聯(lián)合解決,這樣既可以將模型學(xué)習(xí)到的特征被兩個(gè)任務(wù)共享,同時(shí)將意圖識(shí)別和語(yǔ)義槽填充的結(jié)果使用一個(gè)模型輸出,對(duì)于后續(xù)的對(duì)話(huà)管理可以減少誤差累積。本文在聯(lián)合建模的基礎(chǔ)上進(jìn)行改進(jìn)。本文的工作包含兩個(gè)任務(wù)的獨(dú)立建模研究和融合多種方法的聯(lián)合建模研究。本文的具體工作如下:(1)兩個(gè)任務(wù)的獨(dú)立建模研究。由于支持向量機(jī)(Support Vector Machine,SVM)在意圖識(shí)別任務(wù)中效果比較好,因此本文采用SVM對(duì)意圖識(shí)別進(jìn)行獨(dú)立建模研究,并采用深度學(xué)習(xí)模型卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)、雙向門(mén)控循環(huán)單元(Bidirectional Gated Recurrent Unit,BiGRU)以及CNN-BiGRU模型對(duì)意圖識(shí)別進(jìn)行研...
【文章頁(yè)數(shù)】:60 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
中文摘要
abstract
第1章 緒論
1.1 研究背景
1.2 研究意義
1.3 研究?jī)?nèi)容
1.4 本文組織結(jié)構(gòu)
第2章 相關(guān)工作及理論介紹
2.1 意圖識(shí)別研究
2.2 語(yǔ)義槽填充研究
2.3 聯(lián)合建模研究
2.3.1 基于三角鏈條件隨機(jī)場(chǎng)的聯(lián)合識(shí)別
2.3.2 基于CNN-TriCRF的聯(lián)合識(shí)別
2.3.3 基于遞歸神經(jīng)網(wǎng)絡(luò)和Viterbi算法的聯(lián)合識(shí)別
2.3.4 基于BiGRU-CNN的聯(lián)合識(shí)別
2.3.5 基于BiLSTM和注意力機(jī)制的聯(lián)合識(shí)別
2.4 相關(guān)理論介紹
2.4.1 詞向量
2.4.2 雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)
2.4.3 注意力機(jī)制
2.4.4 門(mén)控機(jī)制
2.4.5 條件隨機(jī)場(chǎng)
2.5 本章小結(jié)
第3章 口語(yǔ)理解獨(dú)立建模研究
3.1 意圖識(shí)別獨(dú)立建模
3.1.1 基本思想
3.1.2 實(shí)驗(yàn)設(shè)置
3.2 語(yǔ)義槽填充獨(dú)立建模
3.2.1 基本思想
3.2.2 實(shí)驗(yàn)設(shè)置
3.3 實(shí)驗(yàn)數(shù)據(jù)
3.4 評(píng)價(jià)指標(biāo)
3.5 實(shí)驗(yàn)結(jié)果及分析
3.6 本章小結(jié)
第4章 基于門(mén)控機(jī)制和CRF的聯(lián)合建模
4.1 基本思想
4.2 對(duì)比實(shí)驗(yàn)介紹
4.3 實(shí)驗(yàn)數(shù)據(jù)
4.3.1 數(shù)據(jù)格式
4.3.2 數(shù)據(jù)預(yù)處理
4.3.3 實(shí)驗(yàn)設(shè)置
4.3.4 實(shí)驗(yàn)過(guò)程
4.4 實(shí)驗(yàn)結(jié)果及分析
4.5 本章小結(jié)
第5章 總結(jié)與展望
5.1 總結(jié)
5.2 展望
參考文獻(xiàn)
致謝
攻讀碩士學(xué)位期間發(fā)表的論文
【參考文獻(xiàn)】:
期刊論文
[1]基于上下文詞向量和主題模型的實(shí)體消歧方法[J]. 王瑞,李弼程,杜文倩. 中文信息學(xué)報(bào). 2019(11)
[2]基于深度學(xué)習(xí)的開(kāi)放領(lǐng)域?qū)υ?huà)系統(tǒng)研究綜述[J]. 陳晨,朱晴晴,嚴(yán)睿,柳軍飛. 計(jì)算機(jī)學(xué)報(bào). 2019(07)
[3]面向任務(wù)口語(yǔ)理解研究現(xiàn)狀綜述[J]. 侯麗仙,李艷玲,李成城. 計(jì)算機(jī)工程與應(yīng)用. 2019(11)
[4]特定領(lǐng)域的命名實(shí)體識(shí)別方法的研究[J]. 張磊. 計(jì)算機(jī)與現(xiàn)代化. 2018(03)
[5]From Eliza to XiaoIce:challenges and opportunities with social chatbots[J]. Heung-yeung SHUM,Xiao-dong HE,Di LI. Frontiers of Information Technology & Electronic Engineering. 2018(01)
[6]問(wèn)答中的問(wèn)句意圖識(shí)別和約束條件分析[J]. 孫鑫,王厚峰. 中文信息學(xué)報(bào). 2017(06)
[7]聊天機(jī)器人中用戶(hù)出行消費(fèi)意圖識(shí)別方法[J]. 錢(qián)岳,丁效,劉挺,陳毅恒. 中國(guó)科學(xué):信息科學(xué). 2017(08)
[8]AI時(shí)代的門(mén)票——智能語(yǔ)音交互[J]. 張繼勇. 計(jì)算機(jī)與網(wǎng)絡(luò). 2017(15)
[9]基于深度神經(jīng)網(wǎng)絡(luò)的中文命名實(shí)體識(shí)別[J]. 張海楠,伍大勇,劉悅,程學(xué)旗. 中文信息學(xué)報(bào). 2017(04)
[10]基于BLSTM的命名實(shí)體識(shí)別方法[J]. 馮艷紅,于紅,孫庚,孫娟娟. 計(jì)算機(jī)科學(xué). 2018(02)
碩士論文
[1]基于深度學(xué)習(xí)的任務(wù)型對(duì)話(huà)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 趙明星.北京郵電大學(xué) 2019
[2]可控閑聊對(duì)話(huà)系統(tǒng)的研究[D]. 顧秀森.北京郵電大學(xué) 2019
[3]面向出行領(lǐng)域的任務(wù)型對(duì)話(huà)系統(tǒng)研究[D]. 林先輝.哈爾濱工業(yè)大學(xué) 2018
[4]人機(jī)對(duì)話(huà)系統(tǒng)中用戶(hù)意圖分類(lèi)方法研究[D]. 黃佳偉.華中師范大學(xué) 2018
[5]基于深度學(xué)習(xí)的短文本分類(lèi)研究[D]. 胡可奇.電子科技大學(xué) 2018
[6]基于詞向量的中文短文本分類(lèi)問(wèn)題研究[D]. 汪靜.中南民族大學(xué) 2018
[7]基于A(yíng)ttention-Based LSTM模型的文本分類(lèi)技術(shù)的研究[D]. 張沖.南京大學(xué) 2016
[8]詞典和機(jī)器學(xué)習(xí)相結(jié)合的生物命名實(shí)體識(shí)別[D]. 王琦.大連理工大學(xué) 2009
本文編號(hào):3728353
【文章頁(yè)數(shù)】:60 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
中文摘要
abstract
第1章 緒論
1.1 研究背景
1.2 研究意義
1.3 研究?jī)?nèi)容
1.4 本文組織結(jié)構(gòu)
第2章 相關(guān)工作及理論介紹
2.1 意圖識(shí)別研究
2.2 語(yǔ)義槽填充研究
2.3 聯(lián)合建模研究
2.3.1 基于三角鏈條件隨機(jī)場(chǎng)的聯(lián)合識(shí)別
2.3.2 基于CNN-TriCRF的聯(lián)合識(shí)別
2.3.3 基于遞歸神經(jīng)網(wǎng)絡(luò)和Viterbi算法的聯(lián)合識(shí)別
2.3.4 基于BiGRU-CNN的聯(lián)合識(shí)別
2.3.5 基于BiLSTM和注意力機(jī)制的聯(lián)合識(shí)別
2.4 相關(guān)理論介紹
2.4.1 詞向量
2.4.2 雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)
2.4.3 注意力機(jī)制
2.4.4 門(mén)控機(jī)制
2.4.5 條件隨機(jī)場(chǎng)
2.5 本章小結(jié)
第3章 口語(yǔ)理解獨(dú)立建模研究
3.1 意圖識(shí)別獨(dú)立建模
3.1.1 基本思想
3.1.2 實(shí)驗(yàn)設(shè)置
3.2 語(yǔ)義槽填充獨(dú)立建模
3.2.1 基本思想
3.2.2 實(shí)驗(yàn)設(shè)置
3.3 實(shí)驗(yàn)數(shù)據(jù)
3.4 評(píng)價(jià)指標(biāo)
3.5 實(shí)驗(yàn)結(jié)果及分析
3.6 本章小結(jié)
第4章 基于門(mén)控機(jī)制和CRF的聯(lián)合建模
4.1 基本思想
4.2 對(duì)比實(shí)驗(yàn)介紹
4.3 實(shí)驗(yàn)數(shù)據(jù)
4.3.1 數(shù)據(jù)格式
4.3.2 數(shù)據(jù)預(yù)處理
4.3.3 實(shí)驗(yàn)設(shè)置
4.3.4 實(shí)驗(yàn)過(guò)程
4.4 實(shí)驗(yàn)結(jié)果及分析
4.5 本章小結(jié)
第5章 總結(jié)與展望
5.1 總結(jié)
5.2 展望
參考文獻(xiàn)
致謝
攻讀碩士學(xué)位期間發(fā)表的論文
【參考文獻(xiàn)】:
期刊論文
[1]基于上下文詞向量和主題模型的實(shí)體消歧方法[J]. 王瑞,李弼程,杜文倩. 中文信息學(xué)報(bào). 2019(11)
[2]基于深度學(xué)習(xí)的開(kāi)放領(lǐng)域?qū)υ?huà)系統(tǒng)研究綜述[J]. 陳晨,朱晴晴,嚴(yán)睿,柳軍飛. 計(jì)算機(jī)學(xué)報(bào). 2019(07)
[3]面向任務(wù)口語(yǔ)理解研究現(xiàn)狀綜述[J]. 侯麗仙,李艷玲,李成城. 計(jì)算機(jī)工程與應(yīng)用. 2019(11)
[4]特定領(lǐng)域的命名實(shí)體識(shí)別方法的研究[J]. 張磊. 計(jì)算機(jī)與現(xiàn)代化. 2018(03)
[5]From Eliza to XiaoIce:challenges and opportunities with social chatbots[J]. Heung-yeung SHUM,Xiao-dong HE,Di LI. Frontiers of Information Technology & Electronic Engineering. 2018(01)
[6]問(wèn)答中的問(wèn)句意圖識(shí)別和約束條件分析[J]. 孫鑫,王厚峰. 中文信息學(xué)報(bào). 2017(06)
[7]聊天機(jī)器人中用戶(hù)出行消費(fèi)意圖識(shí)別方法[J]. 錢(qián)岳,丁效,劉挺,陳毅恒. 中國(guó)科學(xué):信息科學(xué). 2017(08)
[8]AI時(shí)代的門(mén)票——智能語(yǔ)音交互[J]. 張繼勇. 計(jì)算機(jī)與網(wǎng)絡(luò). 2017(15)
[9]基于深度神經(jīng)網(wǎng)絡(luò)的中文命名實(shí)體識(shí)別[J]. 張海楠,伍大勇,劉悅,程學(xué)旗. 中文信息學(xué)報(bào). 2017(04)
[10]基于BLSTM的命名實(shí)體識(shí)別方法[J]. 馮艷紅,于紅,孫庚,孫娟娟. 計(jì)算機(jī)科學(xué). 2018(02)
碩士論文
[1]基于深度學(xué)習(xí)的任務(wù)型對(duì)話(huà)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 趙明星.北京郵電大學(xué) 2019
[2]可控閑聊對(duì)話(huà)系統(tǒng)的研究[D]. 顧秀森.北京郵電大學(xué) 2019
[3]面向出行領(lǐng)域的任務(wù)型對(duì)話(huà)系統(tǒng)研究[D]. 林先輝.哈爾濱工業(yè)大學(xué) 2018
[4]人機(jī)對(duì)話(huà)系統(tǒng)中用戶(hù)意圖分類(lèi)方法研究[D]. 黃佳偉.華中師范大學(xué) 2018
[5]基于深度學(xué)習(xí)的短文本分類(lèi)研究[D]. 胡可奇.電子科技大學(xué) 2018
[6]基于詞向量的中文短文本分類(lèi)問(wèn)題研究[D]. 汪靜.中南民族大學(xué) 2018
[7]基于A(yíng)ttention-Based LSTM模型的文本分類(lèi)技術(shù)的研究[D]. 張沖.南京大學(xué) 2016
[8]詞典和機(jī)器學(xué)習(xí)相結(jié)合的生物命名實(shí)體識(shí)別[D]. 王琦.大連理工大學(xué) 2009
本文編號(hào):3728353
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/3728353.html
最近更新
教材專(zhuān)著