【摘要】：身處全球化時(shí)代,各個(gè)國(guó)家和民族間的聯(lián)系日益緊密,各個(gè)語(yǔ)種之間的翻譯也理所當(dāng)然變成了一種迫切的需求。人工翻譯雖然可以實(shí)現(xiàn)準(zhǔn)確翻譯,其相對(duì)應(yīng)的人力代價(jià)對(duì)許多需求來(lái)說(shuō)卻是無(wú)法負(fù)擔(dān)的。因此,機(jī)器翻譯的重要性不言而喻。然而,機(jī)器翻譯還遠(yuǎn)未達(dá)到全自動(dòng)、高質(zhì)量的翻譯要求,具有很大的發(fā)展空間。探索更有效的機(jī)器翻譯算法仍然具有重要的學(xué)術(shù)研究和工業(yè)應(yīng)用價(jià)值。深度學(xué)習(xí)目前應(yīng)用廣泛,在機(jī)器翻譯領(lǐng)域也取得了突破性的成就。但是,目前神經(jīng)機(jī)器翻譯多以詞語(yǔ)作為輸入的基本單元�；谠~語(yǔ)的神經(jīng)機(jī)器翻譯不僅處理流程更加繁瑣而且分詞算法難免引入誤差,詞典過(guò)大也會(huì)造成網(wǎng)絡(luò)模型維度過(guò)高。除此之外,基于詞語(yǔ)的翻譯模型還存在對(duì)未登錄詞處理困難等問(wèn)題。針對(duì)以上問(wèn)題,本文以字符級(jí)別雙語(yǔ)數(shù)據(jù)作為輸入并進(jìn)一步改進(jìn)了基于神經(jīng)網(wǎng)絡(luò)的翻譯模型。字符畢竟不同于詞語(yǔ),輸入形式從詞到字符的轉(zhuǎn)換會(huì)造成原有模型效果的下降。因此,本課題在編碼器-解碼器的整體框架之下,進(jìn)一步改進(jìn)了神經(jīng)機(jī)器翻譯模型,著重強(qiáng)化字符的特征表達(dá)能力。在詞向量生成模塊,對(duì)原始詞表征進(jìn)行卷積運(yùn)算的粗提處理,再通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)字符序列進(jìn)行形式化切詞,增強(qiáng)字符的序列表征能力。此外,硬切詞會(huì)造成梯度回流受阻的問(wèn)題。本課題對(duì)詞向量進(jìn)行了信息補(bǔ)充,整體強(qiáng)化了模型的特征表達(dá)能力。經(jīng)典的注意力機(jī)制只關(guān)注了當(dāng)前輸出與整體輸入的對(duì)應(yīng)關(guān)系,通過(guò)融合歷史信息,可以增強(qiáng)權(quán)值的全局性,進(jìn)一步強(qiáng)化詞對(duì)齊效果。實(shí)驗(yàn)結(jié)果表明,在字符級(jí)別輸入的前提下,本課題的CRNN-embed模型相比RNN-embed以及RNN-search模型效果有了進(jìn)一步提升。對(duì)比基于字符和基于詞語(yǔ)輸入的模型效果以及百萬(wàn)級(jí)和千萬(wàn)級(jí)語(yǔ)料庫(kù)基礎(chǔ)上的模型效果,可以得出字符級(jí)別的模型更有挑戰(zhàn)性且語(yǔ)料規(guī)模的增長(zhǎng)對(duì)模型效果有顯著影響的結(jié)論。
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：H085;TP183
【圖文】：

圖 3-2 詞向量的卷積用長(zhǎng)度不為 1 的濾波器做邊緣區(qū)域卷積時(shí)，沒(méi)有與起始的元素鄰的頂部和底部元素。因此，我們可以對(duì)這些位置的元素進(jìn)行補(bǔ)對(duì)應(yīng)位置沒(méi)有元素的都默認(rèn)設(shè)置為 0。如此一來(lái)，我們就可以波器對(duì)每一個(gè)詞進(jìn)行卷積。在卷積過(guò)程中，每一次卷積核移動(dòng)過(guò)對(duì)輸入矩陣進(jìn)行卷積運(yùn)算，我們能夠得到多個(gè)輸出，將這些可得到一個(gè)特征矩陣，這個(gè)特征矩陣即為下一步循環(huán)神經(jīng)網(wǎng)絡(luò)過(guò)程增強(qiáng)了單個(gè)字符的表征特性。外一個(gè)部分是一般提到卷積神經(jīng)網(wǎng)絡(luò)不可避免的池化層。在計(jì)及一些自然語(yǔ)言處理問(wèn)題當(dāng)中，典型的卷積神經(jīng)網(wǎng)路在卷積層個(gè)池化層，常用最大池化以及平均池化的方法。但在此課題當(dāng)進(jìn)行這一步操作。池化能夠?qū)Σ煌L(zhǎng)度的句子以及不同尺寸的定大小的輸出，一般輸出結(jié)果能夠以較低的維度保留住顯著的任務(wù)對(duì)輸入的長(zhǎng)度比較敏感，輸入長(zhǎng)度對(duì)最終輸出結(jié)果有重要波器作用都是檢測(cè)一種特定的特征，例如，檢測(cè)句子是否包含諸

哈爾濱工業(yè)大學(xué)碩士學(xué)位論文。見(jiàn)的神經(jīng)機(jī)器翻譯系統(tǒng)采用 RNN 系列網(wǎng)絡(luò)模型將源語(yǔ)言信息編向量，然后再通過(guò)另外一個(gè) RNN 系列網(wǎng)絡(luò)模型對(duì)其進(jìn)行解碼。如以中英文為例，“I”、“l(fā)ike”以及“it”依次輸入到編碼器當(dāng)中，最是一個(gè)輸入結(jié)束符（圖中省略），然后解碼器才會(huì)逐個(gè)生成翻譯詞

哈爾濱工業(yè)大學(xué)碩士學(xué)位論文注意力機(jī)制中我們擺脫了固定向量的限制，解碼器每生成一個(gè)輸出詞語(yǔ)時(shí)融合原文的不同部分。尤為重要的是我們讓模型根據(jù)輸入的句子以及已經(jīng)產(chǎn)生的內(nèi)容來(lái)決定與當(dāng)前輸出的關(guān)聯(lián)。因此，在形式非常相似的語(yǔ)種之間（如漢語(yǔ)和韓語(yǔ)），解碼器可能會(huì)選擇順序地參與事情，生成第一個(gè)韓語(yǔ)詞語(yǔ)時(shí)參與原文的第一個(gè)詞語(yǔ)，以此類推。注意力機(jī)制如圖 3-5 所示。

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 胡悅;;金融市場(chǎng)中的神經(jīng)網(wǎng)絡(luò)拐點(diǎn)預(yù)測(cè)法[J];金融經(jīng)濟(jì);2017年18期

2 吳立可;;脈沖神經(jīng)網(wǎng)絡(luò)和行為識(shí)別[J];通訊世界;2018年12期

3 遲惠生;陳珂;;1995年世界神經(jīng)網(wǎng)絡(luò)大會(huì)述評(píng)[J];國(guó)際學(xué)術(shù)動(dòng)態(tài);1996年01期

4 王麗華;楊秀萍;王皓;高崢翔;;智能雙輪平衡車的設(shè)計(jì)研究[J];數(shù)字技術(shù)與應(yīng)用;2018年04期

5 張庭略;;基于硬件的神經(jīng)網(wǎng)絡(luò)加速[J];通訊世界;2018年08期

6 蘇秀婷;;耦合神經(jīng)網(wǎng)絡(luò)的同步[J];紹興文理學(xué)院學(xué)報(bào)(自然科學(xué));2016年03期

7 朱n

本文編號(hào)：2802127