當(dāng)今世界人類(lèi)社會(huì)和經(jīng)濟(jì)社會(huì)快速發(fā)展,隨著世界各國(guó)全球化合作日益加深,人類(lèi)社會(huì)對(duì)機(jī)器翻譯的需求也迅速增加,而人工智能技術(shù)的進(jìn)步,也對(duì)機(jī)器翻譯的質(zhì)量提出了新的要求。同時(shí),機(jī)器翻譯研究的開(kāi)展,對(duì)自然語(yǔ)言處理的其他領(lǐng)域有著標(biāo)桿性的作用。因此,對(duì)于機(jī)器翻譯的研究不僅具有很高的實(shí)用價(jià)值,更能推動(dòng)自然語(yǔ)言處理理論研究的進(jìn)步。機(jī)器翻譯模型可以分為統(tǒng)計(jì)機(jī)器翻譯和神經(jīng)機(jī)器翻譯兩大類(lèi)。其中神經(jīng)機(jī)器翻譯模型是利用深度學(xué)習(xí)技術(shù),完全依賴于神經(jīng)網(wǎng)絡(luò)搭建的翻譯模型,主要由編碼器和解碼器兩個(gè)部分組成。經(jīng)典的“編碼器-解碼器”模型中大多采用的是循環(huán)神經(jīng)網(wǎng)絡(luò)。但由于循環(huán)神經(jīng)網(wǎng)絡(luò)本身不適合進(jìn)行深層網(wǎng)絡(luò)的疊加,所以很難通過(guò)疊加多層網(wǎng)絡(luò)來(lái)提高機(jī)器翻譯模型的性能。而當(dāng)下正流行的Transformer模型在延用“編碼器-解碼器”框架的同時(shí),完全摒棄了循環(huán)神經(jīng)網(wǎng)絡(luò),采用多頭自注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行模型網(wǎng)絡(luò)的搭建,雖可以進(jìn)行多層網(wǎng)絡(luò)疊加,但因其摒棄循環(huán)神經(jīng)網(wǎng)絡(luò),所以失去了輸入序列的位置信息特征,為解決此問(wèn)題,該模型在對(duì)文本進(jìn)行轉(zhuǎn)換表示的過(guò)程中加入了位置信息向量。基于對(duì)以上問(wèn)題的思考,本文作出如下工作和研究:（1）針對(duì)第一種經(jīng)典的... 

【文章來(lái)源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：56 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

“編碼器-解碼器”框架圖

第二章相關(guān)理論基礎(chǔ)知識(shí)簡(jiǎn)介11圖2-2循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖2-3循環(huán)神經(jīng)網(wǎng)絡(luò)展開(kāi)結(jié)構(gòu)記當(dāng)前時(shí)間步為t，則當(dāng)前的輸入為，隱藏層為，輸出為。當(dāng)前輸入和上一時(shí)間步隱藏層1分別進(jìn)行線性變換后相加，經(jīng)過(guò)激活函數(shù)的處理后，得到當(dāng)前時(shí)間步隱藏層，經(jīng)過(guò)線性變換后，再通過(guò)激活函數(shù)的處理，得到當(dāng)前輸出，同時(shí)將作為下一時(shí)間步的輸入進(jìn)行下一步的計(jì)算。這里需要注意的是，權(quán)重矩陣、、在每一個(gè)時(shí)間步上都是完全相同的，0時(shí)點(diǎn)的隱藏層0一般為全零向量。具體的公式如下：=+1（2-3）=（2-4）其中、表示激活函數(shù)。反復(fù)代入后可得到：

第二章相關(guān)理論基礎(chǔ)知識(shí)簡(jiǎn)介11圖2-2循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖2-3循環(huán)神經(jīng)網(wǎng)絡(luò)展開(kāi)結(jié)構(gòu)記當(dāng)前時(shí)間步為t，則當(dāng)前的輸入為，隱藏層為，輸出為。當(dāng)前輸入和上一時(shí)間步隱藏層1分別進(jìn)行線性變換后相加，經(jīng)過(guò)激活函數(shù)的處理后，得到當(dāng)前時(shí)間步隱藏層，經(jīng)過(guò)線性變換后，再通過(guò)激活函數(shù)的處理，得到當(dāng)前輸出，同時(shí)將作為下一時(shí)間步的輸入進(jìn)行下一步的計(jì)算。這里需要注意的是，權(quán)重矩陣、、在每一個(gè)時(shí)間步上都是完全相同的，0時(shí)點(diǎn)的隱藏層0一般為全零向量。具體的公式如下：=+1（2-3）=（2-4）其中、表示激活函數(shù)。反復(fù)代入后可得到：


本文編號(hào)：3361008