【摘要】：語言模型是自然語言處理領(lǐng)域中的基礎(chǔ)任務(wù)之一,同時也被應(yīng)用在語音識別、對話系統(tǒng)、機器翻譯、句法分析等多個文本處理任務(wù)上。隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展,語言模型逐漸從傳統(tǒng)的N-gram語言模型,發(fā)展到現(xiàn)在主流的基于循環(huán)神經(jīng)網(wǎng)絡(luò)的語言模型。在循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)語言模型中,通過共用循環(huán)結(jié)構(gòu)體,序列中的歷史信息得以被記錄在網(wǎng)絡(luò)中,但也因此出現(xiàn)遠距離依賴問題,即遠距離的語義信息在網(wǎng)絡(luò)中被更新和覆蓋,導致網(wǎng)絡(luò)逐漸忘記了重要的遠距離語義信息。語言是由語法與語義共同組成的,目前的RNN語言模型基本可以實現(xiàn)局部語法通順,但很難保證語義豐富且明確。本文主要針對RNN語言模型語義表達較弱的問題,從主題特征與詞特征兩個角度進行語義強化,主要工作包括以下幾個方面:(1)提出基于主題表征向量的語義強化方法TE-RNN。利用LDA主題模型與預訓練的詞向量,結(jié)合詞的位置信息,優(yōu)化主題表征向量的計算方式,為輸入序列中的每個詞提供準確的主題語義表示;(2)提出基于主題注意力分配的語義強化方法TA-RNN。不同于TE-RNN直接把主題表征向量拼接到網(wǎng)絡(luò)輸入中,TA-RNN通過構(gòu)建語句級與段落級的主題注意力,將句子內(nèi)部局部主題與段落中的全局主題動態(tài)分配給序列中的每個單詞,為輸入序列中的每個詞提供準確的主題語義分配;(3)提出基于詞權(quán)重特征的語義強化方法WD-RNN。由于在實際語料中停用詞占比較高(70%左右),網(wǎng)絡(luò)中充斥著“貧語義”的詞信息。WD-RNN利用詞的權(quán)重特征,構(gòu)建weighted dropout層,在網(wǎng)絡(luò)輸入階段抑制權(quán)重較低詞的信息輸入,在輸出階段增強權(quán)重較高詞的神經(jīng)元活力,強化了“富語義”詞的信息在網(wǎng)絡(luò)中記憶與傳遞。
【學位授予單位】：華僑大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP391.1;TP183
【圖文】：

來源于人腦神經(jīng)元細胞。人腦的神神經(jīng)元，神經(jīng)元進行處理，當滿足為感知機，它是一個簡單的線性模NNxxWbPerceptron( ) ininoutoutddddx R， W R,b R，W 表示權(quán)重矩陣，inoutd ,d分別表責接收數(shù)據(jù)，輸出層對輸入數(shù)據(jù)進出+1 或-1。由于簡單的線性模型難入了非線性的激活函數(shù)，單層感知

多層神經(jīng)網(wǎng)絡(luò)

在循環(huán)神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)共用同一個神經(jīng)元結(jié)構(gòu)來記錄之前時刻在隱藏層之間的節(jié)點建立了連接，隱藏層的輸入不僅只有輸入層上一時刻隱藏層的輸出。環(huán)神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)及其展開形式如下圖 2.3 所示：

【參考文獻】

相關(guān)期刊論文 前2條

1 張劍;屈丹;李真;;基于詞向量特征的循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型[J];模式識別與人工智能;2015年04期

2 黃永文,何中市;基于互信息的統(tǒng)計語言模型平滑技術(shù)[J];中文信息學報;2005年04期

本文編號：2780092