跨語(yǔ)言詞向量學(xué)習(xí)是指利用某一種資源豐富的源語(yǔ)言詞向量來(lái)輔助資源相對(duì)匱乏的目標(biāo)語(yǔ)言詞向量空間的學(xué)習(xí),該問(wèn)題的研究對(duì)小語(yǔ)種的自然語(yǔ)言處理任務(wù)具有重要的意義。最近,生成對(duì)抗網(wǎng)絡(luò)（GANs）已被成功地運(yùn)用于無(wú)監(jiān)督的跨語(yǔ)言詞向量學(xué)習(xí)�；贕ANs的跨語(yǔ)言詞向量模型將源語(yǔ)言和目標(biāo)語(yǔ)言的單語(yǔ)言詞向量看作兩個(gè)分布,并迫使源向量分布對(duì)齊于目標(biāo)向量分布。本文基于GANs模型開(kāi)展無(wú)監(jiān)督的跨語(yǔ)言詞向量學(xué)習(xí)方法研究,主要工作如下:（1）跨語(yǔ)言詞向量空間在對(duì)齊過(guò)程中,需要大量目標(biāo)端信息作為可靠的對(duì)齊標(biāo)準(zhǔn),而已有的基于GANs的跨語(yǔ)言詞向量模型普遍忽視了這一點(diǎn),不能有效地挖掘目標(biāo)端的信息,導(dǎo)致生成次優(yōu)的跨語(yǔ)言詞向量。針對(duì)這一問(wèn)題,提出一種新穎的基于改進(jìn)WGAN和回譯的跨語(yǔ)言詞向量方法,通過(guò)對(duì)目標(biāo)端樣本的重復(fù)使用為對(duì)齊過(guò)程建立了可靠的參照標(biāo)準(zhǔn)。該方法首先使用一個(gè)基于改進(jìn)WGAN的跨語(yǔ)言詞向量模型學(xué)習(xí)初步的雙向映射,然后根據(jù)獲得的映射矩陣對(duì)目標(biāo)端的詞向量進(jìn)行回譯訓(xùn)練。三個(gè)語(yǔ)言對(duì)上的實(shí)驗(yàn)結(jié)果證明了該算法的有效性。（2）跨語(yǔ)言詞向量學(xué)習(xí)中,相對(duì)高頻詞來(lái)說(shuō),低頻詞的語(yǔ)義信息相對(duì)較弱。因此,在跨語(yǔ)言詞向量學(xué)習(xí)過(guò)程中低頻詞易對(duì)向... 

【文章來(lái)源】：合肥工業(yè)大學(xué)安徽省 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：52 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

ABWAGAN算法框架

合肥工業(yè)大學(xué)學(xué)歷碩士研究生學(xué)位論文18圖3.2AWAGAN算法框架Fig.3.2TheFrameworkofAWGAN其中，`x=G(x)+(1)y，是一個(gè)服從均勻分布的隨機(jī)數(shù)，即U(0,1)栱,G(x)表示生成器G根據(jù)樣本x生成的樣本。因此，判斷器的損失函數(shù)由公式(3.2)給出：(())()DpenaltyL=DGxDy+L(3.2)其中，D()$定義為樣本的Wasserstein距離，為一個(gè)平衡系數(shù)。在我們的模型中，310=效果很好。我們初始化生成器的權(quán)值為一個(gè)映射矩陣ddGR，用于最小化判斷器度量的Wasserstein距離。我們還在生成器的基礎(chǔ)上堆疊了一個(gè)解碼器TG，用于從映射后的向量中重構(gòu)源語(yǔ)言向量輸入。因此，解碼器旨在最大化生成器的輸入x和解碼器的輸出x"之間的余弦距離。此外，我們引入了一個(gè)超參數(shù)用來(lái)在映射矩陣上施加一個(gè)弱正交約束。生成器和解碼器共同構(gòu)成一個(gè)自動(dòng)編碼器。因此，自動(dòng)編碼器的損失函數(shù)AEL由生成器的損失函數(shù)和重構(gòu)器的損失函數(shù)共同組成，如公式(3.3)所示：(()cos(,)TAEL=DGxxGGx(3.3)其中，cos(,)TxGGx表示重構(gòu)誤差，超參數(shù)反映了模型的正交程度。在初步的映射學(xué)習(xí)中，我們使用RMSprop[50]作為梯度更新算法，并設(shè)置學(xué)習(xí)率為310。3.2.2.3目標(biāo)端的回譯訓(xùn)練經(jīng)過(guò)初步的映射學(xué)習(xí)后，我們利用一個(gè)基于目標(biāo)端的回譯訓(xùn)練來(lái)進(jìn)一步優(yōu)化以得到更高質(zhì)量的跨語(yǔ)言映射�；刈g（Back-translation）指將一種語(yǔ)言的文本翻譯成另一種語(yǔ)言，然后再翻譯回原始的語(yǔ)言。這一概念最先被用來(lái)提高神經(jīng)機(jī)器翻譯模型的質(zhì)量[51]。在本章中，我們訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)端的詞向量進(jìn)行回譯操作，以此進(jìn)一步挖掘目標(biāo)端的分布信息。我們稱這個(gè)執(zhí)行回譯操作的神經(jīng)網(wǎng)絡(luò)為BTN（Back-translationnetwork），其算法的框架圖如圖3.3所示。BTN以目標(biāo)端的詞向量y為輸入，以初步映射矩陣"yx

第三章基于改進(jìn)WGAN和回譯的跨語(yǔ)言詞向量方法研究19交約束項(xiàng)，通過(guò)數(shù)據(jù)驅(qū)動(dòng)來(lái)激勵(lì)網(wǎng)絡(luò)權(quán)值的弱正交性。最終，BTN的目標(biāo)函數(shù)如公式(3.4)所示：圖3.3BTN算法框架Fig.3.3TheFrameworkofBTNcos(,"")""BTxyyxxyyxFLyGGyGGI→→→→=+(3.4)其中，I是單位陣，超參數(shù)的作用是平衡回譯訓(xùn)練和正交約束。值越大，映射矩陣的正交性也越強(qiáng)。在目標(biāo)端的回譯訓(xùn)練中，我們同樣使用RMSprop作為梯度下降更新算法，并設(shè)置其學(xué)習(xí)率為4510。值得注意得是，我們?cè)诿恳淮蔚型瑫r(shí)更新"xyG→和"yxG→。在足夠次的迭代后，更新后的"xyG→就是最終的映射矩陣xyG→。3.3實(shí)驗(yàn)與分析本小節(jié)主要介紹我們的實(shí)驗(yàn)結(jié)果和相關(guān)的實(shí)驗(yàn)分析。一方面，我們?yōu)榱俗C明ABWGAN的有效性，在三種語(yǔ)言對(duì)上比較了ABWGAN和幾個(gè)無(wú)監(jiān)督的跨語(yǔ)言詞向量模型。另一方面，我們?cè)O(shè)計(jì)了多個(gè)ABWGAN的變種模型，并通過(guò)實(shí)驗(yàn)對(duì)這些變種模型進(jìn)行比較，以此來(lái)說(shuō)明目標(biāo)端的回譯訓(xùn)練的合理性和必要性。3.3.1實(shí)驗(yàn)數(shù)據(jù)集和評(píng)估任務(wù)我們的實(shí)驗(yàn)執(zhí)行在一個(gè)由Zhang等人[17]提供的公開(kāi)數(shù)據(jù)集上。該數(shù)據(jù)集包括三種語(yǔ)言對(duì)，分別是：中文-英語(yǔ)(<Zh,En>)、土耳其語(yǔ)-英語(yǔ)(<Tr-En>)和西班牙語(yǔ)-英語(yǔ)(Es-En)。數(shù)據(jù)集中的單語(yǔ)言詞向量是在維基百科可比語(yǔ)料庫(kù)訓(xùn)練word2vec得到的。表3.1給出了每種語(yǔ)言下詞向量的統(tǒng)計(jì)數(shù)據(jù)。此外，評(píng)估時(shí)使用的標(biāo)準(zhǔn)字典是由Lample等人[23]發(fā)布的1500個(gè)詞對(duì)。本章所使用的跨語(yǔ)言詞向量評(píng)估任務(wù)是雙語(yǔ)言字典生成任務(wù)。具體來(lái)說(shuō)，我們首先利用CSLS[23]計(jì)算所有的目標(biāo)詞向量和映射后的源語(yǔ)言詞向量間的相似度評(píng)分，再根據(jù)這個(gè)相似度評(píng)分為每個(gè)源語(yǔ)言詞尋找其前k個(gè)最近鄰詞，從而構(gòu)成雙語(yǔ)言字典。最后，比較生成的字典和標(biāo)準(zhǔn)的字典獲得生成字典的準(zhǔn)確率P@k。我?

【參考文獻(xiàn)】：
期刊論文
[1]基于改進(jìn)自編碼器的文本分類算法[J]. 許卓斌,鄭海山,潘竹虹.  計(jì)算機(jī)科學(xué). 2018(06)
[2]融合先驗(yàn)信息的蒙漢神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型[J]. 樊文婷,侯宏旭,王洪彬,武靜,李金廷.  中文信息學(xué)報(bào). 2018(06)
[3]基于詞向量模型的情感分析[J]. 魏廣順,吳開(kāi)超.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2017(03)
[4]一種用于文章推薦系統(tǒng)中的用戶模型表示方法[J]. 趙鵬,蔡慶生,王清毅.  計(jì)算機(jī)技術(shù)與發(fā)展. 2007(01)



本文編號(hào)：3123978