自然語言處理研究是人工智能領(lǐng)域的核心難題,解決該問題的關(guān)鍵是如何讓機(jī)器正確解析自然語言的語義,并獲得某種形式的語義表示。由于自然語言中的句子是承載語義信息的主要單位,因此,準(zhǔn)確解析句子語義是實(shí)現(xiàn)自然語言語義理解任務(wù)的關(guān)鍵。鑒于分布式詞嵌入表示已經(jīng)在機(jī)器翻譯、自動(dòng)摘要等自然語言處理任務(wù)上取得了成功的應(yīng)用,人們很自然地想到能否將分布式表示擴(kuò)展到句子、段落或篇章等長文本,即將句子、段落或篇章的語義表示映射至低維的連續(xù)空間。由于句子是組成段落和篇章的重要語言單位,它是由詞語根據(jù)句法結(jié)構(gòu)耦合得到,而現(xiàn)有的句子語義嵌入表示方法主要是基于句子中的詞嵌入表示進(jìn)行加權(quán)或求和平均,忽略了詞序和句法結(jié)構(gòu)信息,因此學(xué)習(xí)到的句子嵌入表示并不準(zhǔn)確。本文主要針對(duì)當(dāng)前句子嵌入表示學(xué)習(xí)中因?yàn)槿狈浞ńY(jié)構(gòu)信息、以及句子長度過長導(dǎo)致的長距離依賴,致使句子嵌入表示不準(zhǔn)確的問題,提出兩種方法。第一種方法是基于句法結(jié)構(gòu)化特征的句子嵌入表示學(xué)習(xí)方法,為了減少參數(shù)訓(xùn)練耗費(fèi)的時(shí)間以及句子中非重要信息對(duì)于句子語義的影響,在構(gòu)建句法結(jié)構(gòu)樹時(shí),對(duì)于一些復(fù)雜的句法結(jié)構(gòu)樹進(jìn)行相應(yīng)的剪枝操作,并且將句法信息轉(zhuǎn)化為權(quán)重計(jì)算。另一種方法是將詞向量同句... 

【文章來源】：華東交通大學(xué)江西省

【文章頁數(shù)】：51 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

PV-DM模型結(jié)構(gòu)

圖1-2 PV-DBOW模型結(jié)構(gòu)Fig. 1-2 PV-DBOW model structure014 年提出了基于共現(xiàn)矩陣的詞表示方法，通過不同并將向量應(yīng)用到相似度檢測中，該方法保留的短語量模型得到的語義信息，而 Hermann 則采取了不同、張量乘法等[5]。Jiwei Li[6]等人利用篇章級(jí)文本的句子進(jìn)行編碼，使用無須標(biāo)注的數(shù)據(jù)集即可訓(xùn)練得-解碼”模型框架的使用，Jiwei Li 在 2015 年又提自動(dòng)編碼器[7]，通過長短時(shí)記憶網(wǎng)絡(luò)對(duì)句子進(jìn)行編時(shí)記憶網(wǎng)絡(luò)做為解碼器，對(duì)句子向量進(jìn)行解碼得到提出了基于“編碼-解碼”框架的 Skip-Thought 模型組，首先對(duì)中間句子進(jìn)行編碼，然后根據(jù)編碼得到子分別進(jìn)行預(yù)測，該模型的缺點(diǎn)是要求輸入的句子 Skip-Thought 模型進(jìn)行修剪和優(yōu)化，在編碼層和解到的句子向量用于復(fù)述檢測和文本分類任務(wù)。Hill

圖 2-2 NNLM 模型結(jié)構(gòu)圖Fig. 2-2 NNLM Model Structurebert 等人在 NNLM 模型的基礎(chǔ)上修改了神經(jīng)網(wǎng)絡(luò)詞向量為目標(biāo)的模型，該模型稱作 C&W 模型[47]。大減少了模型訓(xùn)練的時(shí)間復(fù)雜度。與 NNLM 模型標(biāo)詞，輸出層只有一個(gè)神經(jīng)單元，用于對(duì)目標(biāo)詞進(jìn)高分，沒有出現(xiàn)過的通常會(huì)打低分。循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent NeuraL Network,RNN）環(huán)神經(jīng)網(wǎng)絡(luò)語言模型[48-49]（Recurrent Neural Net，網(wǎng)絡(luò)結(jié)構(gòu)如下圖 2-3 所示。由于循環(huán)神經(jīng)網(wǎng)絡(luò)由上一時(shí)刻的隱藏層和當(dāng)前時(shí)刻的輸入層聯(lián)合計(jì)狀態(tài)，相比NNLM模型每次只能利用n個(gè)詞去預(yù)測分利用上文所有信息來預(yù)測下一個(gè)詞。

【參考文獻(xiàn)】：
期刊論文
[1]知識(shí)表示學(xué)習(xí)研究進(jìn)展[J]. 劉知遠(yuǎn),孫茂松,林衍凱,謝若冰.  計(jì)算機(jī)研究與發(fā)展. 2016(02)
[2]基于極性轉(zhuǎn)移和LSTM遞歸網(wǎng)絡(luò)的情感分析[J]. 梁軍,柴玉梅,原慧斌,高明磊,昝紅英.  中文信息學(xué)報(bào). 2015(05)
[3]單詞嵌入——自然語言的連續(xù)空間表示[J]. 陳恩紅,邱思語,許暢,田飛,劉鐵巖.  數(shù)據(jù)采集與處理. 2014(01)

碩士論文
[1]融合句法信息的句子嵌入表示學(xué)習(xí)方法及應(yīng)用研究[D]. 陶蘭.華東交通大學(xué) 2018



本文編號(hào)：3215638