基于LSTM與槽填充的對話管理模型研究與應(yīng)用
發(fā)布時間:2022-07-02 15:36
隨著機(jī)器學(xué)習(xí)的發(fā)展,人機(jī)對話領(lǐng)域相關(guān)的技術(shù)取得極大的突破,近年來,許多成熟的人機(jī)對話系統(tǒng)已經(jīng)實現(xiàn)了產(chǎn)品落地并在人們生活中逐漸普及,如微軟小冰、siri以及小度機(jī)器人等。任務(wù)型人機(jī)對話系統(tǒng)主要由語音識別,自然語言處理,對話管理、自然語言生成以及語音合成五個模塊組成,對話管理控制著整個對話過程的邏輯,相當(dāng)于對話系統(tǒng)的大腦,主要負(fù)責(zé)對話狀態(tài)追蹤、槽位填充、上下文建模、指代消減和省略補(bǔ)充等任務(wù)。本文在槽位填充和對話狀態(tài)追蹤任務(wù)上開展了研究工作。在槽位填充任務(wù)中,本文提出了一種基于改進(jìn)BILSTM(Bidirectional Long Short-Term Memory,雙向長短時記憶網(wǎng)絡(luò))+CRF(Conditional Random Field,條件隨機(jī)場)的槽模型來完成槽值填充任務(wù),新模型在BILSTM+CRF模型的輸入層加入了依存句法分析模塊,通過學(xué)習(xí)句子中的詞性、語法等特征,提升槽位填充的準(zhǔn)確率,實驗表明,新模型在訓(xùn)練數(shù)據(jù)較少的情況下對槽位填充效果提升更明顯。在對話狀態(tài)追蹤任務(wù)中,本文提出了一種基于LSTM(Long Short-Term Memory,長短時記憶網(wǎng)絡(luò))的狀態(tài)追蹤模型,...
【文章頁數(shù)】:68 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
Abstract
第1章 緒論
1.1 課題研究的目的和意義
1.2 國內(nèi)外研究現(xiàn)狀分析
1.2.1 人機(jī)對話系統(tǒng)技術(shù)的發(fā)展
1.2.2 對話管理技術(shù)的研究現(xiàn)狀
1.3 本論文的主要研究內(nèi)容
第2章 基礎(chǔ)知識
2.1 文本表示
2.1.1 One-Hot編碼
2.1.2 壓縮編碼
2.1.3 基于詞嵌入
2.2 循環(huán)神經(jīng)網(wǎng)絡(luò)
2.3 長短時記憶網(wǎng)絡(luò)
2.4 條件隨機(jī)場模型
2.5 本章小結(jié)
第3章 基于改進(jìn)BILSTM+CRF的槽填充模型
3.1 槽位填充
3.2 BILSTM模型
3.3 依存句法分析
3.3.1 基于決策的依存句法分析
3.3.2 基于深度學(xué)習(xí)的依存句法分析
3.4 改進(jìn)的BILSTM+CRF模型
3.4.1 模型整體結(jié)構(gòu)
3.4.2 依存句法分析模塊
3.4.3 BILSTM+CRF模型
3.5 實驗與分析
3.5.1 數(shù)據(jù)準(zhǔn)備
3.5.2 評價指標(biāo)
3.5.3 實驗環(huán)境
3.5.4 實驗結(jié)果及分析
3.6 本章小結(jié)
第4章 基于LSTM的狀態(tài)追蹤模型
4.1 任務(wù)形式化定義及模型框架
4.1.1 狀態(tài)追蹤任務(wù)定義
4.1.2 模型框架
4.1.3 ASR特征向量表示
4.2 注意力模型
4.2.1 基于LSTM的注意力模型
4.2.2 余弦相似度計算
4.3 實驗與分析
4.3.1 數(shù)據(jù)準(zhǔn)備
4.3.2 實驗評估標(biāo)準(zhǔn)
4.3.3 實驗設(shè)置
4.3.4 實驗結(jié)果及分析
4.4 本章小結(jié)
第5章 餐廳預(yù)訂系統(tǒng)的設(shè)計與實現(xiàn)
5.1 系統(tǒng)框架
5.2 系統(tǒng)搭建環(huán)境
5.3 模塊介紹
5.4 控制終端效果展示
5.5 搭建系統(tǒng)微信公眾號
5.5.1 整體框架
5.5.2 服務(wù)器搭建和通信
5.5.3 效果展示
5.6 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀學(xué)位期間取得的學(xué)術(shù)成果
致謝
本文編號:3654622
【文章頁數(shù)】:68 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
Abstract
第1章 緒論
1.1 課題研究的目的和意義
1.2 國內(nèi)外研究現(xiàn)狀分析
1.2.1 人機(jī)對話系統(tǒng)技術(shù)的發(fā)展
1.2.2 對話管理技術(shù)的研究現(xiàn)狀
1.3 本論文的主要研究內(nèi)容
第2章 基礎(chǔ)知識
2.1 文本表示
2.1.1 One-Hot編碼
2.1.2 壓縮編碼
2.1.3 基于詞嵌入
2.2 循環(huán)神經(jīng)網(wǎng)絡(luò)
2.3 長短時記憶網(wǎng)絡(luò)
2.4 條件隨機(jī)場模型
2.5 本章小結(jié)
第3章 基于改進(jìn)BILSTM+CRF的槽填充模型
3.1 槽位填充
3.2 BILSTM模型
3.3 依存句法分析
3.3.1 基于決策的依存句法分析
3.3.2 基于深度學(xué)習(xí)的依存句法分析
3.4 改進(jìn)的BILSTM+CRF模型
3.4.1 模型整體結(jié)構(gòu)
3.4.2 依存句法分析模塊
3.4.3 BILSTM+CRF模型
3.5 實驗與分析
3.5.1 數(shù)據(jù)準(zhǔn)備
3.5.2 評價指標(biāo)
3.5.3 實驗環(huán)境
3.5.4 實驗結(jié)果及分析
3.6 本章小結(jié)
第4章 基于LSTM的狀態(tài)追蹤模型
4.1 任務(wù)形式化定義及模型框架
4.1.1 狀態(tài)追蹤任務(wù)定義
4.1.2 模型框架
4.1.3 ASR特征向量表示
4.2 注意力模型
4.2.1 基于LSTM的注意力模型
4.2.2 余弦相似度計算
4.3 實驗與分析
4.3.1 數(shù)據(jù)準(zhǔn)備
4.3.2 實驗評估標(biāo)準(zhǔn)
4.3.3 實驗設(shè)置
4.3.4 實驗結(jié)果及分析
4.4 本章小結(jié)
第5章 餐廳預(yù)訂系統(tǒng)的設(shè)計與實現(xiàn)
5.1 系統(tǒng)框架
5.2 系統(tǒng)搭建環(huán)境
5.3 模塊介紹
5.4 控制終端效果展示
5.5 搭建系統(tǒng)微信公眾號
5.5.1 整體框架
5.5.2 服務(wù)器搭建和通信
5.5.3 效果展示
5.6 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀學(xué)位期間取得的學(xué)術(shù)成果
致謝
本文編號:3654622
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/3654622.html
最近更新
教材專著