隨著人工智能技術(shù)的發(fā)展,人機(jī)對(duì)話(huà)系統(tǒng)逐漸出現(xiàn)在了人們的日常生活中。這種任務(wù)驅(qū)動(dòng)的人機(jī)對(duì)話(huà)系統(tǒng)能夠通過(guò)用戶(hù)提供的信息,協(xié)助用戶(hù)完成特定領(lǐng)域的任務(wù)�？谡Z(yǔ)理解作為任務(wù)型人機(jī)對(duì)話(huà)系統(tǒng)的關(guān)鍵模塊,可以從用戶(hù)的自然語(yǔ)言中提取出計(jì)算機(jī)能夠識(shí)別的結(jié)構(gòu)化數(shù)據(jù),主要包括兩個(gè)子任務(wù):用戶(hù)語(yǔ)句的意圖識(shí)別與語(yǔ)義槽填充。深度學(xué)習(xí)模型能夠以端到端的形式高效地完成口語(yǔ)理解任務(wù),從而提高任務(wù)型對(duì)話(huà)系統(tǒng)的整體效果。在多輪對(duì)話(huà)中,用戶(hù)與機(jī)器之間的歷史對(duì)話(huà)信息能夠?yàn)榭谡Z(yǔ)理解模型提供額外的信息支撐從而更好地理解用戶(hù)的當(dāng)前語(yǔ)句。但是并非所有的歷史信息都與當(dāng)前句相關(guān),在人機(jī)交互中用戶(hù)的意圖存在跳轉(zhuǎn)的情況,這時(shí)無(wú)關(guān)的歷史信息則會(huì)為當(dāng)前句的理解帶來(lái)負(fù)面影響。此外,在人與人之間的交互中,言語(yǔ)背后通常都省略了人們通曉的常識(shí)和知識(shí),但是機(jī)器卻不了解這些信息,無(wú)法和人類(lèi)一樣進(jìn)行推理。本文將歷史信息和外部知識(shí)引入意圖識(shí)別和語(yǔ)義槽填充的聯(lián)合模型,使模型能夠更加精準(zhǔn)地理解用戶(hù)對(duì)話(huà)。本文主要研究包括:提出了一種融入歷史信息的口語(yǔ)理解聯(lián)合模型,該模型能夠利用機(jī)器與用戶(hù)之間的歷史對(duì)話(huà)信息,從而提升意圖識(shí)別和語(yǔ)義槽填充任務(wù)的準(zhǔn)確度。針對(duì)該歷史信息存在的意圖... 

【文章來(lái)源】：華中師范大學(xué)湖北省 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：60 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖１．２任務(wù)型人機(jī)對(duì)話(huà)系統(tǒng)輸入輸出樣例??目前，口語(yǔ)理解技術(shù)的發(fā)展經(jīng)過(guò)三個(gè)階段：第一個(gè)階段是基于規(guī)則模板的口??

ｆｏｒｍｅｒ?qū)崿F(xiàn)其特有的編碼器，并利用無(wú)監(jiān)督學(xué)習(xí)，??讓模型能夠?qū)W到一個(gè)詞在不同上下文語(yǔ)境下?lián)碛胁煌恼Z(yǔ)義表示。由于ＢＥＲＴ是??由深層Ｔｒａｎｓｆｏｒｍｅｒ構(gòu)成并在強(qiáng)大的硬件系統(tǒng)的支撐下訓(xùn)練完成的，所以Ｇｏｏｇｌｅ??公司為全世界的研宄人員提供了己完成預(yù)訓(xùn)練的ＢＥＲＴ模型，研宄人員只需要在??該模型的下游補(bǔ)充用于解決特定任務(wù)的神經(jīng)網(wǎng)絡(luò)并采取微調(diào)（ｆｉｎｅ－Ｕｍｅ）的形式，??就可以從多任務(wù)聯(lián)合學(xué)習(xí)（Ｍｕｌｔｉ－Ｔａｓｋ?Ｌｅａｒｎｉｎｇ）的角度解決ＮＬＰ問(wèn)題。??ＢＥＲＴ模型結(jié)構(gòu)如圖２．１所示，本文實(shí)驗(yàn)利用ＢＥＲＴ輸入后的編碼層獲得詞向??量，ＣＬＳ位標(biāo)簽的向量表示代表句子的分類(lèi)信息，輔助完成口語(yǔ)理解任務(wù)。??＇［ＣＬＳ］?［■詞編碼１?ｆ?ｉ司編碼ｆ詞編碼＇??ｔ輸出?１?２?ｎ??ＢＥＲＴ??＾?Ｅ＿［ｄｓ）?Ｅ＿１?Ｅ＿２?Ｅ＿ｎ?Ｊ??［ＣＬＳ］?｜?｜?［詞１】?［詞２］?｜?［詞ｎ】??圖２．?１?ＢＥＲＴ模型結(jié)構(gòu)圖??１３??

ｚＳＳｘ碩士學(xué)位論文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??２．３神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)??與傳統(tǒng)機(jī)器學(xué)習(xí)不同的是，深度學(xué)習(xí)模型作為一種端到端的結(jié)構(gòu)能夠在沒(méi)有??特征工程干預(yù)的情況下從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)特征［３９］，是目前解決人工智能領(lǐng)域問(wèn)題??的有效途徑和方法。對(duì)于口語(yǔ)理解中的意圖識(shí)別任務(wù)和語(yǔ)義槽填充任務(wù)來(lái)說(shuō)，構(gòu)??建深度神經(jīng)網(wǎng)絡(luò)模型是目前的主流解決手段。??如圖２．２所示，一個(gè)基本的全連接神經(jīng)網(wǎng)絡(luò)的基本構(gòu)成包括輸入層（Ｉｎｐｕｔ??ｌａｙｅｒ）、隱藏層（Ｈｉｄｄｅｎ丨ａｙｅｒ）和輸出層（Ｏｕｔｐｕｔ?ｌａｙｅｒ）。全連接網(wǎng)絡(luò)簡(jiǎn)單且有??效，但是其存在兩個(gè)非常明顯的缺點(diǎn)：首先，每次網(wǎng)絡(luò)的輸出只依賴(lài)于當(dāng)前的輸??入，沒(méi)有考慮不同時(shí)刻輸入的相互影響；其次，輸入和輸出的維度必須固定，沒(méi)??有考慮到序列結(jié)構(gòu)數(shù)據(jù)長(zhǎng)度的不固定性。所以，循環(huán)神經(jīng)網(wǎng)絡(luò)的出現(xiàn)解決了全連??接神經(jīng)網(wǎng)絡(luò)的問(wèn)題，對(duì)自然語(yǔ)言處理領(lǐng)域的發(fā)展起到了關(guān)鍵性的作用。??輸入層?隱藏層?輸出層??圖２．２全連接祌經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖??２．３．１循環(huán)神經(jīng)網(wǎng)絡(luò)??自然語(yǔ)言處理領(lǐng)域中，循環(huán)神經(jīng)網(wǎng)絡(luò)（ＲＮＮ）作為最常用的基礎(chǔ)神經(jīng)網(wǎng)絡(luò)模??型廣受研宄人員的喜愛(ài)。循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)展開(kāi)圖如２．３所示，其中；ｃ是輸入??序列（長(zhǎng)度為：Ｔ），／ｚ是隱藏層序列，〇是輸出序列，Ｚ是總體損失，少是目標(biāo)標(biāo)??簽序列，ｔ／是輸入層到隱藏層的參數(shù)矩陣，Ｆ是隱藏層到隱藏層的自循環(huán)參數(shù)矩??１４??

【參考文獻(xiàn)】：
碩士論文
[1]任務(wù)型人機(jī)對(duì)話(huà)系統(tǒng)中口語(yǔ)理解技術(shù)研究[D]. 王逾凡.華中師范大學(xué) 2019



本文編號(hào)：2950191