利用深度學(xué)習(xí)解決自然語言處理任務(wù)已成為當(dāng)下主流。深度學(xué)習(xí)的本質(zhì)是利用計算機(jī)構(gòu)建神經(jīng)網(wǎng)絡(luò),去模擬一個通用的、具有良好泛化性能的黑盒函數(shù)達(dá)到識別與預(yù)測的目的。研究表明,深度循環(huán)神經(jīng)網(wǎng)絡(luò)所構(gòu)建的系統(tǒng)在針對時序特性的數(shù)據(jù)處理上具有良好的表現(xiàn),例如基于循環(huán)神經(jīng)網(wǎng)絡(luò)的序列到序列（sequence to sequence,seq2seq）技術(shù)在開放場景自動問答的應(yīng)用。然而,seq2seq技術(shù)不足以應(yīng)對特定場景下較為專業(yè)的用戶需求。首先,經(jīng)典的循環(huán)神經(jīng)網(wǎng)絡(luò)單元在輸入與輸出的層級連接中忽略了某些狀態(tài)變化從而丟失了一些信息,導(dǎo)致對文本的解析不全面。其次,在特定場景下,利用seq2seq生成的回答中有很多是無意義的回答。針對上述問題,本文以構(gòu)建一個在特定場景下能充分理解用戶提問、生成有意義回答的自動問答模型為研究目標(biāo),將該目標(biāo)分為遞進(jìn)的兩個子任務(wù),分別是文本標(biāo)注和基于文本標(biāo)注的自動問答模型,并給出相應(yīng)的解決方案。本文的主要研究工作如下:（1）網(wǎng)狀長短時記憶單元結(jié)構(gòu)研究。針對經(jīng)典深度循環(huán)神經(jīng)網(wǎng)絡(luò)單元結(jié)構(gòu)的不足,提出一種改進(jìn)的循環(huán)神經(jīng)網(wǎng)絡(luò)單元結(jié)構(gòu)。常用的循環(huán)網(wǎng)絡(luò)單元結(jié)構(gòu)如長短時記憶單元（Long Short-T... 

【文章來源】：武漢理工大學(xué)湖北省 211工程院校 教育部直屬院校

【文章頁數(shù)】：81 頁

【學(xué)位級別】：碩士

【部分圖文】：

二維GLSTM結(jié)構(gòu)圖

圖 2-13 訓(xùn)練后詞嵌入分布圖 圖 2-14 單詞的相似度關(guān)系在對基于循環(huán)神經(jīng)網(wǎng)絡(luò)的文本標(biāo)注模型實(shí)驗過程中，以單向 LSTM 為例，利用TensorFlow的可視化工具TensorBorad可以描繪訓(xùn)練過程中目標(biāo)損失函數(shù)L的下降過程，如圖 2-15 所示。

圖 2-13 訓(xùn)練后詞嵌入分布圖 圖 2-14 單詞的相似度關(guān)系在對基于循環(huán)神經(jīng)網(wǎng)絡(luò)的文本標(biāo)注模型實(shí)驗過程中，以單向 LSTM 為例，利用TensorFlow的可視化工具TensorBorad可以描繪訓(xùn)練過程中目標(biāo)損失函數(shù)L的下降過程，如圖 2-15 所示。


本文編號：3361271