人機(jī)對(duì)話技術(shù)是自然語言處理領(lǐng)域的研究熱點(diǎn)。用戶意圖分類與語義槽填充作為對(duì)話理解的核心任務(wù),吸引了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。隨著神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)技術(shù)的發(fā)展,盡管在用戶意圖分類與語義槽填充方面的研究進(jìn)步顯著,但依然存在許多挑戰(zhàn):(1)已有的研究通常使用循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)對(duì)用戶問題進(jìn)行語義編碼,而循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度問題制約了模型的性能;(2)利用從左到右或從右到左的單一上下文信息不能充分反映句子表達(dá)的語義語境信息;(3)大多數(shù)方法將用戶意圖分類與語義槽填充視為獨(dú)立任務(wù)單獨(dú)處理,忽視了不同任務(wù)之間的聯(lián)系和影響。本文聚焦于從語義融合、多任務(wù)學(xué)習(xí)和遷移學(xué)習(xí)等方面對(duì)用戶意圖分類與語義槽填充技術(shù)展開研究。本文的主要貢獻(xiàn)總結(jié)如下:(1)針對(duì)已有方法對(duì)用戶輸入的意圖識(shí)別性能不高、沒有充分發(fā)揮句子中領(lǐng)域核心詞對(duì)語義表示的貢獻(xiàn)等問題,提出了一種基于獨(dú)立循環(huán)神經(jīng)網(wǎng)絡(luò)(Independently Recurrent Neural Network,IndRNN)和詞級(jí)別注意力機(jī)制(Word-level Attention Mechanism)的用戶意圖分類方法,...

【文章頁數(shù)】：67 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖1-1任務(wù)型對(duì)話系統(tǒng)框架圖

西北師范大學(xué)碩士學(xué)位論文2圖1-1任務(wù)型對(duì)話系統(tǒng)框架圖圖1-1展示了任務(wù)型人機(jī)對(duì)話系統(tǒng)的框架結(jié)構(gòu)，主要由五部分組成。（1）自動(dòng)語音識(shí)別（AutomaticSpeechRecognition,ASR）：旨在通過語音識(shí)別技術(shù)將語音輸入轉(zhuǎn)換為文本；（2）自然語言理解（NaturalLa....

圖1-2論文組織結(jié)構(gòu)

第1章緒論5含起飛時(shí)間、航班類型等時(shí)，那么領(lǐng)域識(shí)別任務(wù)將傾向于將句子劃分到機(jī)票服務(wù)類場景領(lǐng)域。針對(duì)任務(wù)型對(duì)話中意圖分類和語義槽填充兩個(gè)任務(wù)的聯(lián)合建模研究已有不少，Xu和Sarikaya等人[34]提出使用基于卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)格條件隨機(jī)場方法進(jìn)行用戶意圖分類和語義填充的聯(lián)合優(yōu)化。G....

圖2-1自然語言處理中的卷積神經(jīng)網(wǎng)絡(luò)模型

第2章基礎(chǔ)知識(shí)7第2章基礎(chǔ)知識(shí)本章介紹了本文在任務(wù)型對(duì)話系統(tǒng)自然語言理解研究過程中使用的一些理論與技術(shù)，包括卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、Transformer、BERT和條件隨機(jī)場等。2.1卷積神經(jīng)網(wǎng)絡(luò)2.1.1卷積操作近年來，深度學(xué)習(xí)在計(jì)算機(jī)視覺和語音識(shí)別方面取得了顯著成果[3....

圖2-2LSTM單元結(jié)構(gòu)

第2章基礎(chǔ)知識(shí)92.2循環(huán)神經(jīng)網(wǎng)絡(luò)2.2.1長短期記憶網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)由于具有長時(shí)記憶特性和序列處理特性，被廣泛應(yīng)用于自然語言處理領(lǐng)域。RNN模型當(dāng)前時(shí)刻的狀態(tài)依賴于當(dāng)前時(shí)刻的輸入狀態(tài)和上一時(shí)刻的輸出狀態(tài)，因此網(wǎng)絡(luò)記憶能力較強(qiáng)。雖然如此，由于激活函數(shù)和序列長度的增加使得RNN在反....

本文編號(hào)：4025097