服務(wù)機(jī)器人需要直接與人類(lèi)溝通并為人類(lèi)提供服務(wù),因此人機(jī)交互模塊在服務(wù)機(jī)器人中具有重要的地位。為了提升用戶滿意度,自然語(yǔ)言交互的方式是目前人機(jī)交互的主流研究方向。語(yǔ)義解析作為自然語(yǔ)言交互模塊中的一個(gè)任務(wù),旨在將自然語(yǔ)言語(yǔ)句直接轉(zhuǎn)化成語(yǔ)義完整的、計(jì)算機(jī)可執(zhí)行的意義表示。語(yǔ)義解析的研究已經(jīng)有較長(zhǎng)的歷史,從早期基于手工規(guī)則和模板匹配的方法,到基于訓(xùn)練數(shù)據(jù)的統(tǒng)計(jì)學(xué)習(xí)方法,再到深度學(xué)習(xí)模型方法,以及為了不標(biāo)注數(shù)據(jù)而結(jié)合強(qiáng)化學(xué)習(xí)的弱監(jiān)督方法,這些方法都體現(xiàn)出了各自的優(yōu)勢(shì)和缺點(diǎn)。本文針對(duì)語(yǔ)義解析數(shù)據(jù)標(biāo)注困難、數(shù)據(jù)集規(guī)模小、深度學(xué)習(xí)模型難以發(fā)揮潛力的問(wèn)題,從不同的角度提出了兩個(gè)模型。第一個(gè)模型是結(jié)合句法知識(shí)的Tree2Tree模型,通過(guò)對(duì)句法分析得到的句法成分樹(shù)進(jìn)行編碼,將句法視為先驗(yàn)知識(shí)引入到模型中,從而提升模型對(duì)自然語(yǔ)言的編碼能力。另外,Tree2Tree模型采用樹(shù)解碼器進(jìn)行層次解碼得到邏輯形式,可以保證邏輯形式的語(yǔ)法正確性。第二個(gè)模型是基于預(yù)訓(xùn)練語(yǔ)言模型和知識(shí)蒸餾的語(yǔ)義解析模型,利用大規(guī)模預(yù)訓(xùn)練模型中含有的通用語(yǔ)義知識(shí)來(lái)完成語(yǔ)義解析任務(wù)。雖然預(yù)訓(xùn)練模型在語(yǔ)義解析任務(wù)上微調(diào)后可以得到較高的準(zhǔn)確率,但... 

【文章來(lái)源】：中國(guó)科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：77 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖１．１可佳機(jī)器人自然語(yǔ)言處理模塊與任務(wù)規(guī)劃模塊??本文的研宄目標(biāo)是為可佳機(jī)器人提供高準(zhǔn)確率的自然語(yǔ)言語(yǔ)義解析系統(tǒng)

?第２章相關(guān)工作與背景知識(shí)???“管理員”進(jìn)行評(píng)分獎(jiǎng)勵(lì)。根據(jù)生成的邏輯形式或代碼在執(zhí)行器中執(zhí)行的結(jié)果進(jìn)??行獎(jiǎng)勵(lì)或懲罰，從而通過(guò)強(qiáng)化學(xué)習(xí)策略梯度方法來(lái)對(duì)“程序員”模塊進(jìn)行訓(xùn)練。??２．３基于ＬＳＴＭ網(wǎng)絡(luò)的語(yǔ)義解析模型??如２．２．３中提到的，基于ＬＳＴＭ網(wǎng)絡(luò)的語(yǔ)義解析模型是深度學(xué)習(xí)語(yǔ)義解析方??法中的一個(gè)經(jīng)典模型。并且作為本文提出的兩個(gè)語(yǔ)義解析模型的背景知識(shí)，本節(jié)??將詳細(xì)介紹基于ＬＳＴＭ網(wǎng)絡(luò)的語(yǔ)義解析模型。??２．３．１編碼器－解碼器框架??如圖２．１所亦，編碼器－解碼器（Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ）模型是指將輸入的源語(yǔ)句通??過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)（ＲＮＮ，?Ｒｅｃｕｒｒｅｎｔ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ）【４９］或長(zhǎng)短期記憶網(wǎng)絡(luò)（ＬＳＴＭ，??Ｌｏｎｇ?Ｓｈｏｒｔ－ｔｅｒｍ?１＾１１１〇丨７）［５（）】進(jìn)行編碼，得到一個(gè)包含語(yǔ)義的編碼向量Ｋ。編碼??向量Ｋ就可以看作是包含了輸入數(shù)據(jù)中的語(yǔ)義或其他信息�；诖司幋a向量Ｆ，??再由一個(gè)同樣的ＲＮＮ或ＬＳＴＭ網(wǎng)絡(luò)作為解碼器來(lái)解析出目標(biāo)語(yǔ)句。解析過(guò)程??中，解碼器根據(jù)編碼向量和已解析出的符號(hào)，逐個(gè)的預(yù)測(cè)每一個(gè)單詞的概率，選??取概率最大的單詞作為當(dāng)前解析出的符號(hào)。這樣，最后就得到了一個(gè)最高概率的??候選語(yǔ)句作為解析結(jié)果。由于在編碼和解碼過(guò)程中，源序列和目標(biāo)序列的長(zhǎng)度不??受到限制，因此，許多學(xué)者將編碼器－解碼器框架看作是一個(gè)萬(wàn)能框架，可以應(yīng)??用到許多任務(wù)中。??ｆ?Ｎ??目標(biāo)輸出??，?ｉ?＼?７??編碼器Ｅｎｃｏｄｅｒ??＞－?〇?〇?〇??＞?解碼器Ｄｅｃｏｄｅｒ??Ｖ．?／／??編碼向量Ｖ??輸入數(shù)據(jù)??Ｖ?／??圖２．１編碼器－解碼

Ａｄｄ＆Ｎｏｒｍ?｜?｜?Ａｄｄ＆Ｎｏｒｍ?＜－ｉ?］??ｉ?＋?；?！?Ａ?！??｜?Ｍｕｌｔｉ－ｈｅａｄ?？?；?Ｍａｓｋｅｄ￣￣?１??Ａ＋＋?．．?１?Ｍｕｌｔｉ－ｈｅａｄ?｜??ｉ?＾?Ａｔｔｅｎｔｉｏｎ＾?ｉ?１?Ａｔｔｅｎｔｉｏｎ?，??＇、、？個(gè)＋?＼ｙ??Ｐｏｓｉｔｉｏｎａｌ?〇?Ｐｏｓｉｔｉｏｎａｌ??Ｅｎｃｏｄｉｎｇ?Ｅｎｃｏｄｉｎｇ??Ｅｍｂｅｄｄｉｎｇ?Ｅｍｂｅｄｄｉｎｇ??Ｓｏｕｒｃｅｓ?Ｔａｒｇｅｔｓ??圖２．２?Ｔｒａｎｓｆｏｒｍｅｒ模型示意圖??差連接方法將前一層計(jì)算后的信息分為兩個(gè)流向，一個(gè)是直接傳遞到下一層末??尾，另一個(gè)是在下一層進(jìn)行非線性變化。然后將兩部分進(jìn)行線性疊加作為下一層??的輸出。這樣的殘差連接方法可以達(dá)到僅關(guān)注差異部分的目的，并且能夠緩解深??層神經(jīng)網(wǎng)絡(luò)訓(xùn)練困難的問(wèn)題。層歸一化方法是指計(jì)算該層的平均輸入值和輸入??方差，然后用同一個(gè)規(guī)范化操作來(lái)轉(zhuǎn)換各個(gè)維度的輸入，從而對(duì)層的激活值進(jìn)行??歸一化。??在Ｔｒａｎｓｆｏｒｍｅｒ的解碼器中，每個(gè)Ｔｒａｎｓｆｏｒｍｅｒ塊會(huì)包括一個(gè)掩碼多頭自注意??力模塊（Ｍａｓｋｅｄ?Ｍｕｌｔｉ－ｈｅａｄ?Ａｔｔｅｎｔｉｏｎ）以及一個(gè)普通的多頭自注意力模塊。掩碼??多頭自注意力模塊是為了保證在解碼過(guò)程中，通過(guò)對(duì)將來(lái)的詞進(jìn)行掩碼（Ｍａｓｋ）??操作，使得當(dāng)前的詞只能看到前面己經(jīng)解碼出的詞，而不能看到將來(lái)的詞。而??第二個(gè)多頭自注意力模塊的輸入除了來(lái)自前面的掩碼多頭自注意力模塊的輸出，??還包括了編碼器端的輸出，因此稱為編碼器－解碼器注意力層（ｅｎｃｏｄｅｒ－ｄｅｃｏｄｅｒ??ａｔｔｅｎｔｉｏｎ?

【參考文獻(xiàn)】：
博士論文
[1]提高ASP效率的若干途徑及服務(wù)機(jī)器人上應(yīng)用[D]. 吉建民.中國(guó)科學(xué)技術(shù)大學(xué) 2010



本文編號(hào)：3209029