基于深度學(xué)習(xí)的神經(jīng)機器翻譯技術(shù)顯著提高了機器翻譯的質(zhì)量,但是仍然存在很多問題。其一,模型訓(xùn)練存在著數(shù)據(jù)稀疏問題,實際任務(wù)中通常難以獲得充足的平行語料庫進(jìn)行模型訓(xùn)練,這使得模型在面對低資源領(lǐng)域的翻譯任務(wù)中,翻譯效果難以達(dá)到預(yù)期;其二,多層級聯(lián)的網(wǎng)絡(luò)結(jié)構(gòu)將表示信息傳遞到末層,但在一定程度上會損失中間層捕獲到的有效信息,而且,利用最大似然估計原理的訓(xùn)練方法所構(gòu)建的損失函數(shù)是以詞為單元的,在句子或者篇章級別翻譯任務(wù)中,效果較差,而且會存在訓(xùn)練階段與測試階段的不一致性問題;其三,在機器譯文的評測方面,傳統(tǒng)方法多采用BLEU、NIST等評測指標(biāo),這些指標(biāo)僅衡量了譯文評測的單方面信息,考慮不夠全面。本文針對上述問題,進(jìn)行了相關(guān)的研究,主要工作如下:第一,針對雙語平行語料獲取困難的難題,對語料的擴充技術(shù)進(jìn)行了研究,提出了基于EM算法的語料生成聯(lián)合學(xué)習(xí)方法,將EM算法應(yīng)用于神經(jīng)機器翻譯模型Transformer的訓(xùn)練中,語料生成任務(wù)作為主任務(wù),Transformer的訓(xùn)練作為輔助任務(wù),利用機器譯文對平行語料庫進(jìn)行擴充。通過實驗,驗證了這種方法的有效性。第二,針對多層級聯(lián)的深度模型所造成的中間層信息損失以... 

【文章來源】：陜西科技大學(xué)陜西省

【文章頁數(shù)】：81 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖４－１分類模型的訓(xùn)練過程??Ｆｉｇ．?４－１?Ｔｒａｉｎｉｎｇ?ｐｒｏｃｅｄｕｒｅ?ｏｆ?ｔｈｅ?ｃｌａｓｓｉｆｉｃａｔｉｏｎ?ｍｏｄｅｌ??

Ａｄｄ＆Ｎｏｒｍ???？?Ａｄｄ＆Ｎｏｒｍ??？后續(xù)層??Ｊ?Ｘ?Ｉ????Ｆｅｅｄ?Ｆｅｅｄ?Ｆｅｅｄ??Ｆｏｒｗａｒｄ?Ｆｏｒｗａｒｄ?Ｆｏｒｗａｒｄ??Ｉ?Ｉ?Ｉ???？?Ａｄｄ＆Ｎｏｒｍ??？?Ａｄｄ＆Ｎｏｒｍ??Ｍｕｌｔｉ－Ｈｅａｄ?Ｍｕｌｔｉ－Ｈｅａｄ?＾?Ｍｅｒｇｅ??Ａｔｔｅｎｔｉｏｎ?Ａｔｔｅｎｔｉｏｎ?Ｌａｙｅｒ??ａ?八?Ａ??Ｉｎｐｕｔ?Ｅｍｂｅｄｄｉｎｇ??＋??Ｐｏｓｉｔｉｏｎ?Ｅｎｃｏｄｉｎｇ??圖４－２?ＡＴｒａｎｓｆｏｒｍｅｒ編碼器單模塊架構(gòu)??Ｆｉｇ．?４－２?Ｔｈｅ?ｓｉｎｇｌｅ?ｍｏｄｕｌｅ?ａｒｃｈｉｔｅｃｔｕｒｅ?ｏｆ?ＡＴｒａｎｓｆｏｒｍｅｒ?ｅｎｃｏｄｅｒ??３５??

?ＤＳＬ＼ｌ＾］?＝?ＬａｙｅｒＮｏｒｍ｛ａｔｔｅｎｔｉｏｎ｛ＤＭＳ＾，?Ｋ［ＥＬ］，?）?＋?ＤＭＳ＾?）?（４－１０）??ＤＳＬ２＾?＝?ＬａｙｅｒＮｏｒｍ（ＦＣ｛ＤＳＬｌ［＾?）?＋?ＤＳＬ＼｛＾?）?（４－１１）??解碼器合并層的結(jié)果可以通過為式（４－７）計算得到。在上面的計算過程中，－１］、??Ｆ＾＿１］是從第Ｌ?－１個解碼器層１］轉(zhuǎn)換得到的，而尤＾和］來自于編碼器端的最后??一層，解碼器端最后一層的結(jié)果乃見２＾用于生成最終的輸出序列。同理，簡化之后的解??碼器的結(jié)構(gòu)如圖４－５所示。??Ｏｕｔｐｕｔ??Ｐｒｏｂａｂｉｌｉｔｙ??ｓ??Ｓｏｆｔｍａｘ????Ｌｉｎｅａｒ??＾?Ｌ１?＼?平??＾?Ｍｅｒｇｅ?????Ｌａｙｅｒ???？?Ｌ５?’?？??Ｅｎｃｏｄｅｒ?—Ｔ?????？?Ｌ４?、??Ｍｅｒｇｅ???????Ｌａｙｅｒ???？?Ｌ３?’?？???？?Ｌ２?＼??＾?Ｍｅｒｇｅ????＾?Ｌａｙｅｒ???？?ＬＩ?’??圖４－５?ＡＴｒａｎｓｆｏｒｍｅｒ解碼器簡化結(jié)構(gòu)??Ｆｉｇ．?４－５?Ｔｈｅ?ｓｉｍｐｌｉｆｉｅｄ?ｓｔｒｕｃｔｕｒｅ?ｏｆ?ＡＴｒａｎｓｆｏｒｍｅｒ?ｄｅｃｏｄｅｒ??３８??

【參考文獻(xiàn)】：
期刊論文
[1]神經(jīng)網(wǎng)絡(luò)機器翻譯研究熱點與前沿趨勢分析[J]. 林倩,劉慶,蘇勁松,林歡,楊靜,羅斌.  中文信息學(xué)報. 2019(11)
[2]基于聯(lián)合學(xué)習(xí)的問答情感分類方法[J]. 安明慧,沈忱林,李壽山,李逸薇.  中文信息學(xué)報. 2019(10)
[3]基于聯(lián)合學(xué)習(xí)的跨領(lǐng)域法律文書中文分詞方法[J]. 江明奇,嚴(yán)倩,李壽山.  中文信息學(xué)報. 2019(09)
[4]基于改進(jìn)seq2seq模型的英漢翻譯研究[J]. 肖新鳳,李石君,余偉,劉杰,劉倍雄.  計算機工程與科學(xué). 2019(07)
[5]多層信息融合的神經(jīng)機器翻譯[J]. 周孝青,段湘煜,俞鴻飛,張民.  廈門大學(xué)學(xué)報(自然科學(xué)版). 2019(02)
[6]基于SA-SVM的中文文本分類研究[J]. 郭超磊,陳軍華.  計算機應(yīng)用與軟件. 2019(03)
[7]機器翻譯方法研究與發(fā)展綜述[J]. 侯強,侯瑞麗.  計算機工程與應(yīng)用. 2019(10)
[8]神經(jīng)機器翻譯綜述[J]. 李亞超,熊德意,張民.  計算機學(xué)報. 2018(12)
[9]T-Reader:一種基于自注意力機制的多任務(wù)深度閱讀理解模型[J]. 鄭玉昆,李丹,范臻,劉奕群,張敏,馬少平.  中文信息學(xué)報. 2018(11)
[10]基于簡單循環(huán)單元的深層神經(jīng)網(wǎng)絡(luò)機器翻譯模型[J]. 張文,馮洋,劉群.  中文信息學(xué)報. 2018(10)

博士論文
[1]機器翻譯中的模型學(xué)習(xí)問題研究[D]. 陳華棟.南京大學(xué) 2018
[2]融合結(jié)構(gòu)信息的神經(jīng)機器翻譯模型研究[D]. 王星.蘇州大學(xué) 2018
[3]用于自然語言分布式表達(dá)的聯(lián)合學(xué)習(xí)方法研究[D]. 田飛.中國科學(xué)技術(shù)大學(xué) 2016
[4]自然語言處理中序列標(biāo)注問題的聯(lián)合學(xué)習(xí)方法研究[D]. 李鑫鑫.哈爾濱工業(yè)大學(xué) 2014
[5]統(tǒng)計機器翻譯判別式訓(xùn)練方法研究[D]. 劉樂茂.哈爾濱工業(yè)大學(xué) 2013

碩士論文
[1]基于深度神經(jīng)網(wǎng)絡(luò)的中英機器翻譯模型研究[D]. 邵博.西南交通大學(xué) 2018
[2]神經(jīng)機器翻譯網(wǎng)絡(luò)結(jié)構(gòu)建模研究[D]. 張飚.廈門大學(xué) 2018
[3]基于實例的漢英依存樹到串機器翻譯方法研究[D]. 王丹丹.北京交通大學(xué) 2016
[4]EM算法及其應(yīng)用[D]. 張宏東.山東大學(xué) 2014
[5]英漢跨語言問答系統(tǒng)中的文檔語義檢索[D]. 楊田.大連理工大學(xué) 2011
[6]面向模板機器翻譯的文本生成技術(shù)研究[D]. 楊懷志.東北大學(xué) 2011
[7]基于SVM的漢語依存句法分析研究[D]. 王玉丹.中國海洋大學(xué) 2010
[8]基于SVM和TSVM的中文實體關(guān)系抽取[D]. 徐芬.國防科學(xué)技術(shù)大學(xué) 2007



本文編號：3514663