隨著人工智能的發(fā)展,人們愈發(fā)希望計(jì)算機(jī)能夠通過自然語言技術(shù)理解人類的語言,像人類一樣學(xué)習(xí)思考,最終代替人類去完成具有認(rèn)知能力的高難度任務(wù)。句子表征推理技術(shù)作為自然語言理解的關(guān)鍵技術(shù),目前的研究優(yōu)化內(nèi)容主要集中在句子表征方法和推理模型兩個(gè)方面,雖然性能也有提升,但是仍存在句子語義表達(dá)不全面、推理模型缺乏深度、推理過程缺乏可解釋性等問題。本文針對(duì)以上問題,對(duì)句子表征推理技術(shù)進(jìn)行了研究,具體研究工作如下:(1)針對(duì)句子表征方法表達(dá)信息不全面的問題,設(shè)計(jì)了一種多層語義表征網(wǎng)絡(luò)應(yīng)用于句子表征,通過多頭注意力機(jī)制獲取句子不同層面的語義信息,同時(shí)還通過添加詞語間的相對(duì)位置掩碼,融入句子的語序信息,減少語序帶來的不確定性。最后在文本蘊(yùn)含識(shí)別任務(wù)和情感分類任務(wù)上對(duì)該方法進(jìn)行了驗(yàn)證,實(shí)驗(yàn)結(jié)果表明,多層語義表征網(wǎng)絡(luò)對(duì)于提升句子表征的準(zhǔn)確性和全面性有促進(jìn)作用。(2)針對(duì)推理模型缺乏推理深度和可解釋性的問題,設(shè)計(jì)了一種深度融合匹配網(wǎng)絡(luò),主要包括編碼層、匹配層、依存卷積層、信息聚合層和推理預(yù)測層。在深度匹配網(wǎng)絡(luò)的基礎(chǔ)上對(duì)匹配層進(jìn)行了改進(jìn),利用啟發(fā)式匹配算法替換雙向長短記憶神經(jīng)網(wǎng)絡(luò)簡化交互融合,在提升推理深度的同時(shí)...

【文章頁數(shù)】：84 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景與意義
    1.2 句子表征推理研究現(xiàn)狀
        1.2.1 句子表征研究現(xiàn)狀
        1.2.2 語義推理研究現(xiàn)狀
    1.3 研究內(nèi)容與方法
    1.4 章節(jié)安排
第二章 基于多層語義網(wǎng)絡(luò)的句子表征方法
    2.1 句子表征方法概述
        2.1.1 自然語言語義的特點(diǎn)
        2.1.2 基于雙向長短記憶網(wǎng)絡(luò)的語義提取技術(shù)
        2.1.3 多頭注意力機(jī)制的優(yōu)勢
    2.2 基于多頭注意力的語義表征網(wǎng)絡(luò)設(shè)計(jì)
        2.2.1 自然語言句子向量化
        2.2.2 多層語義信息提取與強(qiáng)化
        2.2.3 句子嵌入表征生成
    2.3 實(shí)驗(yàn)與分析
        2.3.1 實(shí)驗(yàn)數(shù)據(jù)與實(shí)驗(yàn)步驟
        2.3.2 評(píng)價(jià)指標(biāo)與參數(shù)設(shè)置
        2.3.3 結(jié)果概述與分析
        2.3.4 消融分析
    2.4 本章小結(jié)
第三章 基于深度融合匹配網(wǎng)絡(luò)的語義推理模型
    3.1 語義推理模型框架
    3.2 推理信息提取方法
        3.2.1 基于AF-DMN的匹配模型
        3.2.2 基于樹形卷積網(wǎng)絡(luò)的句法結(jié)構(gòu)提取
    3.3 基于深度融合匹配網(wǎng)絡(luò)的推理模型設(shè)計(jì)
        3.3.1 句子編碼化
        3.3.2 基于改進(jìn)AF-DMN的局部推理建模
        3.3.3 基于d-TBCNN的句法結(jié)構(gòu)建模
        3.3.4 全局推理信息融合
        3.3.5 結(jié)果推理預(yù)測
    3.4 實(shí)驗(yàn)與分析
        3.4.1 實(shí)驗(yàn)數(shù)據(jù)與參數(shù)設(shè)置
        3.4.2 預(yù)測準(zhǔn)確率分析
        3.4.3 性能分析
        3.4.4 消融分析
    3.5 本章小結(jié)
第四章 多層語義與深度融合匹配網(wǎng)絡(luò)的聯(lián)合優(yōu)化
    4.1 基于多層語義和SCF-DMN的聯(lián)合優(yōu)化方法設(shè)計(jì)
        4.1.1 自然語言文本預(yù)處理模塊
        4.1.2 基于多層語義網(wǎng)絡(luò)的句子表征模塊
        4.1.3 基于SCF-DMN的關(guān)系推理模塊
        4.1.4 結(jié)果預(yù)測模塊
    4.2 實(shí)驗(yàn)方案設(shè)計(jì)
        4.2.1 無模塊優(yōu)化
        4.2.2 單獨(dú)優(yōu)化
        4.2.3 組合優(yōu)化
        4.2.4 聯(lián)合優(yōu)化
    4.3 實(shí)驗(yàn)與分析
        4.3.1 實(shí)驗(yàn)數(shù)據(jù)與參數(shù)配置
        4.3.2 結(jié)果概述與分析
        4.3.3 優(yōu)化方式分析
        4.3.4 各模塊性能變化分析
    4.4 本章小結(jié)
第五章 總結(jié)與展望
    5.1 總結(jié)
    5.2 展望
致謝
參考文獻(xiàn)
攻讀碩士期間取得的成果



本文編號(hào)：3742763