隨著人工智能的興起,各類智能助手和智能客服系統(tǒng)迅猛發(fā)展,作為上述服務核心的對話系統(tǒng)已成為自然語言處理領域的研究熱點。對話系統(tǒng)根據(jù)具體應用可分為非任務型對話系統(tǒng)和任務型對話系統(tǒng)。其中,非任務型對話系統(tǒng)致力于在開放域與用戶交流,在交互中提供合理的反應和娛樂。任務型對話系統(tǒng)旨在幫助用戶完成某項任務,具有廣闊的應用前景。本文主要關注于任務型對話系統(tǒng)的設計與實現(xiàn)。傳統(tǒng)的基于規(guī)則的任務型對話系統(tǒng)中,針對單一領域設計的規(guī)則難以適應其他領域,限制了系統(tǒng)擴展到其他領域的能力。而基于統(tǒng)計學方法的任務型對話系統(tǒng)一般需要設計手工特征,時間成本較高。為解決上述問題,本文基于深度學習框架實現(xiàn)任務型對話系統(tǒng)。該系統(tǒng)包括Web服務器、文本預處理、自然語言理解、對話狀態(tài)追蹤、對話策略選擇、自然語言生成和背景知識管理等模塊。特別地,本文針對自然語言理解模塊提出基于層級注意力機制的自然語言理解模型。該深度學習模型利用基于層級注意力機制構(gòu)建的層間語義傳遞結(jié)構(gòu)將低層級的語義傳遞到更高層級,層層遞進地挖掘文本的語義特征。此外,本文針對對話狀態(tài)追蹤模塊提出基于信息熵的對話狀態(tài)總結(jié)模型。該模型基于信息熵對系統(tǒng)對話狀態(tài)中的概率分布進行...

【文章頁數(shù)】：76 頁

【學位級別】：碩士

【部分圖文】：

圖２－２循環(huán)神經(jīng)網(wǎng)絡結(jié)構(gòu)??圖２－２所示的是一個單層單向的Ｖａｎｉｌｌａ?ＲＮＮ，左側(cè)是ＲＮＮ的實際網(wǎng)絡流，??

并根據(jù)后續(xù)的輸入不斷更新隱狀態(tài)。Ｖａｎｉｌｌａ?ＲＮＮ基本結(jié)構(gòu)是將網(wǎng)絡的輸出作為??隱狀態(tài)，這個隱狀態(tài)和下一時間步（ｔｉｍｅｓｔｅｐ）的輸入一起輸入到神經(jīng)網(wǎng)絡中，??構(gòu)成循環(huán)結(jié)構(gòu)。網(wǎng)絡的具體結(jié)構(gòu)如圖２－２所示：??ｈ，?＾２?Ｋ??＾?＼?＼?］??丫?Ｔ?Ｔ?＂??圖２－２循環(huán)....

圖２－３ＬＳＴＭ網(wǎng)絡結(jié)構(gòu)【４５］??

從序列中提取更有效的輸入。遺忘門控制記憶對于輸出的影響，從而控制歷史輸??入對于輸出的影響。輸出門則控制更新后的記憶對于輸出的影響。具體的網(wǎng)絡結(jié)??構(gòu)如圖２－３所示：??？?？?？??ｒ?（?ｈ?ｒ?ｉ??ａ?ｕＭＭＡ?．??ｖ?????－Ｊ?ｖ?????ｒ?ｒ?Ｔ??＠?＠?（....

圖２－４ＧＲＵ網(wǎng)絡結(jié)構(gòu)【４６！??ＧＲＵ的解析式如下：??ｚ，?＝?ｃｒ（ｆｆｒ．ｘ，＋＂ｚ＂７，?一丨）

?＝ｚ，＊Ｖ，＋（ｌ－ｚ，）＊／ｉ；?（２－１９）??通過對比圖２－３和圖２－４可知，ＧＲＵ和ＬＳＴＭ的網(wǎng)絡結(jié)構(gòu)相似，但是也存??在明顯的差異。ＬＳＴＭ和ＧＲＵ的主要區(qū)別在于：??（１）?ＧＲＵ通過重置門（Ｒｅｓｅｔ?Ｇａｔｅ）控制之前的隱狀態(tài)的輸入量；??（２）

圖２－５卷枳神經(jīng)網(wǎng)絡結(jié)構(gòu)??２．５

?卜??ｘｔ??圖２－４ＧＲＵ網(wǎng)絡結(jié)構(gòu)【４６！??ＧＲＵ的解析式如下：??ｚ，?＝?ｃｒ（ｆｆｒ．ｘ，＋＂ｚ＂７，?一丨）?（２－１６）??ｒｔ?＝〇－（Ｗｒ＊ｘｌ?＋ｔ／ｒ?？／？，＿，）?（２－１７）??ｈｔ?＝?ｔａｎｈ（＾？ｘ，?＋?ｒｔ?）?（２－１８）??ｈ，?＝ｚ，....

本文編號：3942240