近年來,神經(jīng)機(jī)器翻譯發(fā)展迅速,無論是從性能還是復(fù)雜性上相對傳統(tǒng)的統(tǒng)計機(jī)器翻譯都展現(xiàn)了極大的優(yōu)勢。本文針對傳統(tǒng)基于注意力機(jī)制RNN-RNN編解碼框架的神經(jīng)機(jī)器翻譯模型進(jìn)行方法研究。對傳統(tǒng)神經(jīng)機(jī)器翻譯所存在的特征提取能力不足、實詞的原始詞向量信息缺失、過譯、漏譯以及數(shù)據(jù)稀缺等問題,本文從基于注意力機(jī)制編解碼框架下可分離的編碼器、注意力機(jī)制以及解碼器三個子模塊著手進(jìn)行改進(jìn)以緩解特定問題。編碼器作為基于注意力機(jī)制編解碼框架神經(jīng)機(jī)器翻譯系統(tǒng)的特征提取器,相當(dāng)于整個框架的基石,其特征提取能力直接決定了翻譯系統(tǒng)所能取得的性能上限。針對傳統(tǒng)雙向RNN（BiRNN）編碼器所存在的特征提取能力不足的問題,本文提出了融合的多編碼器方法。針對編碼器對虛實詞不加區(qū)分使得原始信息流失而造成的實詞翻譯問題,本文引入了文本分類中的RCNN結(jié)構(gòu)以設(shè)計增強(qiáng)的編碼器。實驗結(jié)果表明本文提出的融合多編碼器方法和增強(qiáng)的編碼器設(shè)計都有效地提升了編碼器的特征提取能力,提升了系統(tǒng)的性能表現(xiàn)。過去幾年中我們看到了基于注意力機(jī)制的神經(jīng)機(jī)器翻譯的成功,并且很多變種方法被提出來提升系統(tǒng)的性能。大部分基于注意力機(jī)制的神經(jīng)機(jī)器翻譯模型均采用將源端... 

【文章來源】：中國科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校

【文章頁數(shù)】：68 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖１．１基于注意力機(jī)制ＲＮＮ－＿編解碼框架的神經(jīng)機(jī)器翻譯框圖??由圖１．１可以看到傳統(tǒng)的基于注意力機(jī)制編解碼框架的神經(jīng)機(jī)器翻譯整體上??

件語言模型。在解碼時，為了緩解采用貪心算法而陷入局部最優(yōu)解的問題，考慮??到整個搜索空間大小隨解碼長度成指數(shù)增長，通常采用集束搜索（ｂｅａｍ－ｓｅａｒｃｈ）??算法近似搜尋全局最優(yōu)解，集束搜索算法示意圖如圖１．３：??從圖１．３可以看出，集束搜索解碼由句子開始符號開始，通過給定的ｂｅａｍｊｉｚｅ??（圖中為５）大小生成前５個最大概率的輸出，再由這５個輸出解碼生成共５＊ｖｏ－??ｃａｂ＿ｓｉｚｅ?（表示系統(tǒng)輸出層的大小）個點的概率輸出中選出前５個最大概率的輸??出，遇到結(jié)束符號則當(dāng)前路徑結(jié)束，一直到有５個結(jié)束符號出現(xiàn)，取最大概率路??徑節(jié)點作為最終輸出。其中貪心算法相當(dāng)于是ｂｅａｎ＾ｓｉｚｅ大小設(shè)為１時的特殊情??況，ｂｅａｍ＿ｓｉｚｅ取大一些可以相對緩解局部最優(yōu)解問題，實驗表明，隨著ｂｅａｍ＿ｓｉｚｅ??的增大測試集性能逐漸上升到趨于穩(wěn)定。??８??

ｒ〇??目標(biāo)語??圖１．２注意力機(jī)制示意圖??訓(xùn)練過程中的解碼器可以數(shù)學(xué)公式化表示如下：??ｐ?｛ｙｋ＼ｙ＜＾?ｘ）?＝?ｓ〇ｆＪ?ｍａｘ?｛Ｅ＼ｙｋ．＾?ｃｋ））?０．８）??ｈ?＝?ｆ?（，＊－ｌ，＾＇［ｙｔ＿ｉ］，ｃｉｔ）?（１－９）??其中，ｇ（．）是一個分線性函數(shù)，表示３＾４所對應(yīng)的詞向量表示，公式表??示為Ｗｋ－小其中Ｗ表示目標(biāo)端詞向量矩陣，Ｍ表示序列＾丨，乃，…，外一丨｝，??表示第個解碼端隱層狀態(tài)，Ｃｆｃ是通過注意力機(jī)制得到的包含用于生成下一個??目標(biāo)詞的源端上下文向量，整個解碼器相當(dāng)于一個以源端句子信息作為條件的條??件語言模型。在解碼時，為了緩解采用貪心算法而陷入局部最優(yōu)解的問題，考慮??到整個搜索空間大小隨解碼長度成指數(shù)增長，通常采用集束搜索（ｂｅａｍ－ｓｅａｒｃｈ）??算法近似搜尋全局最優(yōu)解


本文編號：3548032