詞向量(Word Embedding)是現(xiàn)今單詞的主流表示方法�；谟成涞臒o(wú)監(jiān)督跨語(yǔ)言詞向量(Unsupervised Cross-lingual Emeddings)旨在不使用任何跨語(yǔ)言知識(shí),將源語(yǔ)言和目標(biāo)語(yǔ)言的詞向量映射到同一向量空間中,使得不同語(yǔ)言下語(yǔ)義相同的詞具有較高的相似度。研究該問(wèn)題對(duì)于解決資源匱乏的語(yǔ)言的信息鴻溝問(wèn)題和跨語(yǔ)言自然語(yǔ)言處理任務(wù)有著重大意義。近年來(lái),各國(guó)學(xué)者在該方向上的研究取得了許多成果。不過(guò)現(xiàn)有的無(wú)監(jiān)督方法存在著兩個(gè)不足(1)沒(méi)有處理一次多義的問(wèn)題;(2)模型在實(shí)際應(yīng)用場(chǎng)景中的魯棒性不足,尤其是對(duì)于距離遙遠(yuǎn)的語(yǔ)言對(duì)。針對(duì)以上問(wèn)題,本文的主要研究工作包含以下內(nèi)容:1.分析了造成無(wú)監(jiān)督魯棒性不足的原因,發(fā)現(xiàn)無(wú)監(jiān)督方法所依賴的同構(gòu)性假設(shè)在實(shí)際應(yīng)用場(chǎng)景中是不成立的。之后量化的分析了無(wú)監(jiān)督方法的魯棒性,并提出了語(yǔ)言詞向量模型的距離度量方法。該度量方法成功地表現(xiàn)出了語(yǔ)言模型在語(yǔ)言學(xué)知識(shí)下的距離性質(zhì),不同語(yǔ)系的語(yǔ)言較同一語(yǔ)系下的語(yǔ)言有著更大的距離值。然后研究表明了語(yǔ)言距離與無(wú)監(jiān)督模型的性能存在著線性關(guān)系,關(guān)系較遠(yuǎn)的語(yǔ)言在無(wú)監(jiān)督模型的件能上有著明顯的下降。2.本文提出從構(gòu)建...

【文章頁(yè)數(shù)】：62 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖１－１英語(yǔ)和西班牙語(yǔ)中數(shù)字詞向最與動(dòng)物詞向鋒之間的呈現(xiàn)了相似的幾何關(guān)??系［２】??

?〇？？？〇？＊？？｝??Ｊ???．?．?１?〇ｄｏ＞（ｔｗｏ）??＂ｊ＊?？?＇?？？?Ｕ?Ｍ?Ｍ?ｔ；?＂Ｘｉ?Ｉ?？Ｊ?��？?１３?？＃?＇??？４ｒ?ＩＳ??〇?ｈｏｒｓｅ?〇?ｃａｂａｌｏ?（ｈｏｒｓｅ）??？，?，Ｊ?ｏｖａｃａ?（ｃｏｗ）??ｍ?‘?〇?ｃｏｗ?（Ｊ....

圖２－１?Ｗｏｒｄ２Ｖｅｃ的連續(xù)詞袋模型和跳字模型結(jié)構(gòu)圖［５５］??（１）?Ｓｋｉｐ－ｇｒａｍ?模型??

ＦａｓｔＴｅｘｔ模型。??２．３．１．１?Ｗｏｒｄ２Ｖｅｃ??谷歌（Ｇｏｏｇｌｅ）公司在２０１３年開(kāi)源發(fā)布了一種可以將單詞轉(zhuǎn)換為向量形式??的計(jì)算工具Ｗ〇ｒｄ２ＶｅＣ［２］，它基于分布假設(shè)的思想，可以根據(jù)詞忙間的距離或相似??度表示出單詞間的關(guān)系，從而發(fā)掘出語(yǔ)言詞？Ｉ：結(jié)構(gòu)和關(guān)系....

圖２－２?Ｗｏｒｄ２Ｖｅｃ下的跳寺模型［５５］??如圖２－２所示，Ｓｋｉｐ－ｇｒａｍ可以看做是由輸入層、隱藏層（也稱為投射層）、??輸出Ｍ構(gòu)成的三雇網(wǎng)絡(luò)：輸入層是由中心詞構(gòu)成的Ｖ維的獨(dú)熱編碼的向量ｓ中??

?哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文???它距離不超過(guò)２的背景詞“ｍｅｔｈｏｄ”、“ｆｏｒ”、“ｗｏｒｄ”、“ｅｍｂｅｄｄｉｎｇｓ”的條件概率。??／〇?Ｏｕｔｐｕｔ?ｌａｙｅｒ??Ｔ?，?Ａｗｔ??Ｉｎｐｕｔ?ｌａｙｅｒ?／?／??ｌａｙｅｒ／??〇?ｗｒｘＪＶ?ｈｔ?ｉ??Ｆ－ｄ....

圖２－３?Ｗｏｒｄ２Ｖｅｃ的連續(xù)詞袋模型［５５］??＿?ｓｋｉｐ－ｇｒａｍ模ＩＩＩ類(lèi)似，ＣＢＯＷ模塑的結(jié)構(gòu)同枰是一個(gè)三屬的全連接神經(jīng)網(wǎng)??絡(luò)，同樣它只有一個(gè)隱藏層

?哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文???Ｉｎｐｕｔ?ｌａｙｅｒ??Ｊ＼??＾＾ｍｄｄｅ＾＾ｇ０１１，ｉａｙｅｒ??Ｘ２ｋ?〇?＾ｈｔ?＾＇ｎ＾Ｖ?〇?ｙｊ??？?／?／?Ｆ－ｄｉｍ??％?ｗ＾／??－；／??５／?ＣｘＦ－ｄｉｍ??圖２－３?Ｗｏｒｄ２Ｖｅｃ的連續(xù)詞袋模型［５５］?....

本文編號(hào)：3995763