隨著人工智能的興起,各類智能助手和智能客服系統(tǒng)迅猛發(fā)展,作為上述服務(wù)核心的對話系統(tǒng)已成為自然語言處理領(lǐng)域的研究熱點(diǎn)。對話系統(tǒng)根據(jù)具體應(yīng)用可分為非任務(wù)型對話系統(tǒng)和任務(wù)型對話系統(tǒng)。其中,非任務(wù)型對話系統(tǒng)致力于在開放域與用戶交流,在交互中提供合理的反應(yīng)和娛樂。任務(wù)型對話系統(tǒng)旨在幫助用戶完成某項(xiàng)任務(wù),具有廣闊的應(yīng)用前景。本文主要關(guān)注于任務(wù)型對話系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。傳統(tǒng)的基于規(guī)則的任務(wù)型對話系統(tǒng)中,針對單一領(lǐng)域設(shè)計(jì)的規(guī)則難以適應(yīng)其他領(lǐng)域,限制了系統(tǒng)擴(kuò)展到其他領(lǐng)域的能力。而基于統(tǒng)計(jì)學(xué)方法的任務(wù)型對話系統(tǒng)一般需要設(shè)計(jì)手工特征,時(shí)間成本較高。為解決上述問題,本文基于深度學(xué)習(xí)框架實(shí)現(xiàn)任務(wù)型對話系統(tǒng)。該系統(tǒng)包括Web服務(wù)器、文本預(yù)處理、自然語言理解、對話狀態(tài)追蹤、對話策略選擇、自然語言生成和背景知識(shí)管理等模塊。特別地,本文針對自然語言理解模塊提出基于層級注意力機(jī)制的自然語言理解模型。該深度學(xué)習(xí)模型利用基于層級注意力機(jī)制構(gòu)建的層間語義傳遞結(jié)構(gòu)將低層級的語義傳遞到更高層級,層層遞進(jìn)地挖掘文本的語義特征。此外,本文針對對話狀態(tài)追蹤模塊提出基于信息熵的對話狀態(tài)總結(jié)模型。該模型基于信息熵對系統(tǒng)對話狀態(tài)中的概率分布進(jìn)行...

【文章頁數(shù)】：76 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－２循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)??圖２－２所示的是一個(gè)單層單向的Ｖａｎｉｌｌａ?ＲＮＮ，左側(cè)是ＲＮＮ的實(shí)際網(wǎng)絡(luò)流，??

并根據(jù)后續(xù)的輸入不斷更新隱狀態(tài)。Ｖａｎｉｌｌａ?ＲＮＮ基本結(jié)構(gòu)是將網(wǎng)絡(luò)的輸出作為??隱狀態(tài)，這個(gè)隱狀態(tài)和下一時(shí)間步（ｔｉｍｅｓｔｅｐ）的輸入一起輸入到神經(jīng)網(wǎng)絡(luò)中，??構(gòu)成循環(huán)結(jié)構(gòu)。網(wǎng)絡(luò)的具體結(jié)構(gòu)如圖２－２所示：??ｈ，?＾２?Ｋ??＾?＼?＼?］??丫?Ｔ?Ｔ?＂??圖２－２循環(huán)....

圖２－３ＬＳＴＭ網(wǎng)絡(luò)結(jié)構(gòu)【４５］??

從序列中提取更有效的輸入。遺忘門控制記憶對于輸出的影響，從而控制歷史輸??入對于輸出的影響。輸出門則控制更新后的記憶對于輸出的影響。具體的網(wǎng)絡(luò)結(jié)??構(gòu)如圖２－３所示：??？?？?？??ｒ?（?ｈ?ｒ?ｉ??ａ?ｕＭＭＡ?．??ｖ?????－Ｊ?ｖ?????ｒ?ｒ?Ｔ??＠?＠?（....

圖２－４ＧＲＵ網(wǎng)絡(luò)結(jié)構(gòu)【４６！??ＧＲＵ的解析式如下：??ｚ，?＝?ｃｒ（ｆｆｒ．ｘ，＋＂ｚ＂７，?一丨）

?＝ｚ，＊Ｖ，＋（ｌ－ｚ，）＊／ｉ；?（２－１９）??通過對比圖２－３和圖２－４可知，ＧＲＵ和ＬＳＴＭ的網(wǎng)絡(luò)結(jié)構(gòu)相似，但是也存??在明顯的差異。ＬＳＴＭ和ＧＲＵ的主要區(qū)別在于：??（１）?ＧＲＵ通過重置門（Ｒｅｓｅｔ?Ｇａｔｅ）控制之前的隱狀態(tài)的輸入量；??（２）

圖２－５卷枳神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)??２．５

?卜??ｘｔ??圖２－４ＧＲＵ網(wǎng)絡(luò)結(jié)構(gòu)【４６！??ＧＲＵ的解析式如下：??ｚ，?＝?ｃｒ（ｆｆｒ．ｘ，＋＂ｚ＂７，?一丨）?（２－１６）??ｒｔ?＝〇－（Ｗｒ＊ｘｌ?＋ｔ／ｒ?？／？，＿，）?（２－１７）??ｈｔ?＝?ｔａｎｈ（＾？ｘ，?＋?ｒｔ?）?（２－１８）??ｈ，?＝ｚ，....

本文編號：3942240