機器翻譯的定義是通過計算模型將一種自然語言的書寫形式翻譯成另一種自然語言的書寫形式,近年來由于神經(jīng)網(wǎng)絡(luò)計算能力的逐步增強,可以利用神經(jīng)網(wǎng)絡(luò)進行機器翻譯,詞能夠被映射到維度更高的向量空間中,利用大規(guī)模的神經(jīng)網(wǎng)絡(luò)將源語言映射到目標(biāo)語言,神經(jīng)網(wǎng)絡(luò)翻譯系統(tǒng)在大部分語義上已經(jīng)超過了傳統(tǒng)基于統(tǒng)計的方法。雖然結(jié)果有了很大的提高,但整體系統(tǒng)仍受制于訓(xùn)練數(shù)據(jù)的規(guī)模,對平行語料的需求量很大且平行語料標(biāo)注起來困難較大。因此本文提出的基于語義向量的神經(jīng)網(wǎng)絡(luò)機器翻譯模型能夠利用現(xiàn)有的平行語料,不需要額外其他的平行語料,通過結(jié)合資源易獲取的數(shù)據(jù)集構(gòu)建在目標(biāo)語言上和源語言上的語義向量,從而提升了機器翻譯的性能。另外由于深度學(xué)習(xí)網(wǎng)絡(luò)巨大的參數(shù)規(guī)模,在訓(xùn)練過程中,很多操作和表示都很難解釋,也包括在神經(jīng)網(wǎng)絡(luò)內(nèi)部訓(xùn)練中參數(shù)動態(tài)變化的原因和方式都很難解釋。在實驗結(jié)果分析中,本文利用了一個新的視角去分析訓(xùn)練過程。本文第一部分是構(gòu)建質(zhì)量較高的語義向量。本文比較了不同結(jié)構(gòu)對句子進行編碼的效果,采用最好的結(jié)構(gòu)對句子進行編碼。另外在自然語言理解任務(wù)上進行在跨語言的實驗,作為語義向量的基線模型,再將編碼器的性能通過多任務(wù)學(xué)習(xí)的方式進一步... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：60 頁

【學(xué)位級別】：碩士

【部分圖文】：

Transformer結(jié)構(gòu)圖

λ|xcy|2+|xyc|2(2-11)在NLI英語的數(shù)據(jù)集上訓(xùn)練英語編碼器是，采用最小化負似然對數(shù)的目標(biāo)函數(shù)訓(xùn)練目標(biāo)編碼器。其中，在進行擬合源語言編碼器和目標(biāo)語言編碼器時，考慮增大負樣例句子xc,yc間的距離，λ控制的是損失函數(shù)中懲罰負樣例距離的參數(shù)。在最開始實驗時只比較兩個向量間的L2距離，用公式表達是dist(x,y)=||x-y||。目標(biāo)是為了讓兩組語義相同的向量間距離盡可能的小，讓隨機抽取出的負樣例間的距離盡可能的大。在這種實驗設(shè)置下，會根據(jù)平行語料來對齊源語言和目標(biāo)語言的編碼器。具體的句子級別跨語言語義向量訓(xùn)練流程圖如圖2-1所示：圖2-1跨語言句子語義向量流程圖首先在有充足訓(xùn)練數(shù)據(jù)的語料上，訓(xùn)練NLI的模型，作為指導(dǎo)模型，比如在有充足訓(xùn)練數(shù)據(jù)的英語上，訓(xùn)練出一個準(zhǔn)確率達到90%以上的模型，采用的

的標(biāo)準(zhǔn)解決方案。標(biāo)簽解碼是命名實體識別模型的最后一步。在得到單詞的矢量表示并將其轉(zhuǎn)換為上下文敏感表示后，標(biāo)簽解碼模塊將其作為輸入，并為整個模型的輸入預(yù)測相應(yīng)的標(biāo)簽序列。利用這種結(jié)構(gòu)，本文可以將命名實體識別模型看作一個多類型分類問題。在這個階段，每個詞的標(biāo)簽都是根據(jù)輸入的上下文語義表示獨立地預(yù)測的，而不是依賴于相鄰的詞。事實上，最有效的條件隨機場是概率圖模型，在基于特征的監(jiān)測方法中得到了廣泛的應(yīng)用。近年來，許多深度學(xué)習(xí)方法也將條件隨機場作為最終的標(biāo)記結(jié)構(gòu)。命名實體識別任務(wù)的流程圖如圖2-2所示：圖2-2命名實體識別任務(wù)流程圖這里也使用雙向長短時記憶神經(jīng)網(wǎng)絡(luò)加上條件隨機場的模型作為本文識別命名實體的模型。本文在自然語言理解的任務(wù)上和在命名實體識別的任務(wù)上共享編碼器的參數(shù)，在一輪訓(xùn)練中，本文先在充足的英語訓(xùn)練數(shù)據(jù)上對這兩個任務(wù)進行訓(xùn)練，損失經(jīng)過反向傳播后調(diào)整編碼器的參數(shù)。在下一輪訓(xùn)練中，本文

【參考文獻】：
期刊論文
[1]基于半監(jiān)督學(xué)習(xí)的小語種機器翻譯算法[J]. 陸雯潔,譚儒昕,劉功申,孫環(huán)榮.  廈門大學(xué)學(xué)報(自然科學(xué)版). 2019(02)
[2]深度學(xué)習(xí)研究進展[J]. 郭麗麗,丁世飛.  計算機科學(xué). 2015(05)
[3]使用源語言復(fù)述知識改善統(tǒng)計機器翻譯性能[J]. 蘇晨,張玉潔,郭振,徐金安.  北京大學(xué)學(xué)報(自然科學(xué)版). 2015(02)
[4]文化信息流動與語言模因傳播研究[J]. 劉琳琪.  蘭州大學(xué)學(xué)報(社會科學(xué)版). 2014(06)
[5]百度翻譯和有道翻譯API的封裝與利用[J]. 黃皓.  電腦編程技巧與維護. 2014(16)



本文編號：3498928