基于深度學(xué)習(xí)的自然語言語義表征計算方法研究
發(fā)布時間:2021-02-01 10:55
自然語言處理是人工智能領(lǐng)域的關(guān)鍵技術(shù),其包括自然語言理解和自然語言生成兩類基本問題。而解決上述兩類問題的首要核心就是獲得自然語言的語義表征。自然語言文本的構(gòu)成層級依次為單詞、句子、篇章,其中單詞表征的好壞會直接影響后續(xù)各級文本表征的質(zhì)量;語句作為最簡單的語義單元序列,其語義表征方法也會被用來處理由多句組成的篇章文本,F(xiàn)階段,基于深度學(xué)習(xí)的單詞及句子語義表征技術(shù)已經(jīng)取得了積極進(jìn)展,但仍存在諸多不足。首先,基于分布式語義假設(shè)從文本語料中獲取的文本語義詞向量,其包含的語義信息受制于單一數(shù)據(jù)來源而缺乏全面性;其次,在面向自然語言理解任務(wù)的句子語義表征中,領(lǐng)域內(nèi)主流使用的循環(huán)神經(jīng)網(wǎng)絡(luò)無法直接建模句子中的潛在結(jié)構(gòu)信息;再次,在面向自然語言生成任務(wù)的句子語義表征中,主流的條件變分自編碼器模型在閑聊對話場景下無法有效獲取受控于輸入對話上文與情感風(fēng)格的隱變量表征。因此,本文圍繞基于深度學(xué)習(xí)的自然語言語義表征方法,在單詞級別和句子級別的語義表征計算方面開展研究,具體包括:首先,研究了結(jié)合腦觀測數(shù)據(jù)的單詞語義表征方法。通過分析不同模態(tài)語義特征的詞向量(包括文本語義詞向量,視覺語義詞向量、初級視覺特征詞向量)...
【文章來源】:中國科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校
【文章頁數(shù)】:102 頁
【學(xué)位級別】:博士
【文章目錄】:
摘要
ABSTRACT
第1章 緒論
1.1 國內(nèi)外研究現(xiàn)狀
1.1.1 單詞語義表征技術(shù)現(xiàn)狀
1.1.2 面向自然語言理解的句子語義表征技術(shù)現(xiàn)狀
1.1.3 面向自然語言生成的句子語義表征技術(shù)現(xiàn)狀
1.2 本文主要內(nèi)容及組織結(jié)構(gòu)
1.2.1 主要內(nèi)容
1.2.2 組織結(jié)構(gòu)
第2章 結(jié)合腦觀測數(shù)據(jù)的單詞語義表征
2.1 概述
2.2 大腦皮層語義表征規(guī)律研究
2.2.1 實驗方法
2.2.2 實驗設(shè)置
2.2.3 實驗結(jié)果
2.3 結(jié)合腦觀測數(shù)據(jù)的語義詞向量構(gòu)建方法
2.3.1 實驗方法
2.3.2 實驗設(shè)置
2.3.3 實驗結(jié)果
2.4 本章小結(jié)
第3章 基于潛在結(jié)構(gòu)描述的句子語義表征
3.1 概述
3.2 基于潛在結(jié)構(gòu)描述的句子語義表征方法
3.2.1 SNELSD模型特點
3.2.2 SNELSD模型結(jié)構(gòu)
3.2.3 SNELSD模型性能測試
3.3 實驗設(shè)置
3.3.1 自然語言推理任務(wù)設(shè)置
3.3.2 情感分類任務(wù)設(shè)置
3.4 實驗結(jié)果
3.4.1 自然語言推理任務(wù)
3.4.2 情感分類任務(wù)
3.5 本章小結(jié)
第4章 基于條件轉(zhuǎn)換變分自編碼器的句子語義表征與對話生成
4.1 概述
4.2 基于變分自編碼器的對話生成方法
4.2.1 從VAE模型到CTVAE模型
4.2.2 CTVAE模型具體實現(xiàn)
4.2.3 多回復(fù)排序
4.3 實驗設(shè)置
4.3.1 短文本對話數(shù)據(jù)集
4.3.2 實驗對比模型
4.3.3 模型及訓(xùn)練參數(shù)設(shè)置
4.3.4 KL散度崩潰問題的處理
4.4 實驗結(jié)果
4.4.1 對模型隱變量z的分析
4.4.2 客觀評價
4.4.3 主觀評價
4.5 本章小結(jié)
第5章 基于情感約束變分自編碼器的句子語義表征與情感可控對話生成
5.1 概述
5.2 基于條件變分自編碼器的可控情感對話生成方法
5.2.1 從CVAE模型到Emo-CVAE模型
5.2.2 Emo-CVAE模型具體實現(xiàn)
5.2.3 多回復(fù)排序
5.3 實驗設(shè)置
5.3.1 短文本對話數(shù)據(jù)集
5.3.2 實驗對比模型
5.3.3 模型及訓(xùn)練參數(shù)設(shè)置
5.4 實驗結(jié)果
5.4.1 客觀評價
5.4.2 主觀評價
5.4.3 消融實驗分析
5.5 本章小結(jié)
第6章 總結(jié)
6.1 本文的主要貢獻(xiàn)與創(chuàng)新點
6.2 后續(xù)的研究工作
參考文獻(xiàn)
在讀期間發(fā)表的學(xué)術(shù)論文與取得的研究成果
致謝
本文編號:3012659
【文章來源】:中國科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校
【文章頁數(shù)】:102 頁
【學(xué)位級別】:博士
【文章目錄】:
摘要
ABSTRACT
第1章 緒論
1.1 國內(nèi)外研究現(xiàn)狀
1.1.1 單詞語義表征技術(shù)現(xiàn)狀
1.1.2 面向自然語言理解的句子語義表征技術(shù)現(xiàn)狀
1.1.3 面向自然語言生成的句子語義表征技術(shù)現(xiàn)狀
1.2 本文主要內(nèi)容及組織結(jié)構(gòu)
1.2.1 主要內(nèi)容
1.2.2 組織結(jié)構(gòu)
第2章 結(jié)合腦觀測數(shù)據(jù)的單詞語義表征
2.1 概述
2.2 大腦皮層語義表征規(guī)律研究
2.2.1 實驗方法
2.2.2 實驗設(shè)置
2.2.3 實驗結(jié)果
2.3 結(jié)合腦觀測數(shù)據(jù)的語義詞向量構(gòu)建方法
2.3.1 實驗方法
2.3.2 實驗設(shè)置
2.3.3 實驗結(jié)果
2.4 本章小結(jié)
第3章 基于潛在結(jié)構(gòu)描述的句子語義表征
3.1 概述
3.2 基于潛在結(jié)構(gòu)描述的句子語義表征方法
3.2.1 SNELSD模型特點
3.2.2 SNELSD模型結(jié)構(gòu)
3.2.3 SNELSD模型性能測試
3.3 實驗設(shè)置
3.3.1 自然語言推理任務(wù)設(shè)置
3.3.2 情感分類任務(wù)設(shè)置
3.4 實驗結(jié)果
3.4.1 自然語言推理任務(wù)
3.4.2 情感分類任務(wù)
3.5 本章小結(jié)
第4章 基于條件轉(zhuǎn)換變分自編碼器的句子語義表征與對話生成
4.1 概述
4.2 基于變分自編碼器的對話生成方法
4.2.1 從VAE模型到CTVAE模型
4.2.2 CTVAE模型具體實現(xiàn)
4.2.3 多回復(fù)排序
4.3 實驗設(shè)置
4.3.1 短文本對話數(shù)據(jù)集
4.3.2 實驗對比模型
4.3.3 模型及訓(xùn)練參數(shù)設(shè)置
4.3.4 KL散度崩潰問題的處理
4.4 實驗結(jié)果
4.4.1 對模型隱變量z的分析
4.4.2 客觀評價
4.4.3 主觀評價
4.5 本章小結(jié)
第5章 基于情感約束變分自編碼器的句子語義表征與情感可控對話生成
5.1 概述
5.2 基于條件變分自編碼器的可控情感對話生成方法
5.2.1 從CVAE模型到Emo-CVAE模型
5.2.2 Emo-CVAE模型具體實現(xiàn)
5.2.3 多回復(fù)排序
5.3 實驗設(shè)置
5.3.1 短文本對話數(shù)據(jù)集
5.3.2 實驗對比模型
5.3.3 模型及訓(xùn)練參數(shù)設(shè)置
5.4 實驗結(jié)果
5.4.1 客觀評價
5.4.2 主觀評價
5.4.3 消融實驗分析
5.5 本章小結(jié)
第6章 總結(jié)
6.1 本文的主要貢獻(xiàn)與創(chuàng)新點
6.2 后續(xù)的研究工作
參考文獻(xiàn)
在讀期間發(fā)表的學(xué)術(shù)論文與取得的研究成果
致謝
本文編號:3012659
本文鏈接:http://sikaile.net/shoufeilunwen/xxkjbs/3012659.html
最近更新
教材專著