自然語言處理的發(fā)展決定了機(jī)器在語義上的理解能力,如何將自然語言向量化則是近年來自然語言處理界的研究熱點(diǎn)。語言向量化分為詞向量化和句向量化。針對(duì)詞向量化問題,陸續(xù)推出了word2vec、glove等詞嵌入模型,并將它們作為自然語言處理的基礎(chǔ)廣泛運(yùn)用于各個(gè)領(lǐng)域。而句嵌入的發(fā)展還不成熟,所以獲得通用的可遷移的句嵌入模型是當(dāng)前自然語言處理界的一大研究熱點(diǎn)。在這個(gè)背景下,本文提出用監(jiān)督學(xué)習(xí)的方法對(duì)句嵌入進(jìn)行學(xué)習(xí),通過在特定任務(wù)上對(duì)句子語義進(jìn)行充分的學(xué)習(xí)后,得到一個(gè)可遷移的面向多任務(wù)的通用的句嵌入模型。本文的主要工作內(nèi)容分為以下兩點(diǎn):（1）在監(jiān)督模型下本文提出兩種整合上下文信息的句嵌入模型:一是上下文信息池化模型,利用循環(huán)神經(jīng)網(wǎng)絡(luò)的前向和后向的信息進(jìn)行映射,得到去噪后豐富的句向量特征,并采用最大值池化的方法得到句嵌入;二是一種基于注意力機(jī)制且有效利用上下文信息的上下文信息聯(lián)合注意力模型,利用注意力機(jī)制將各時(shí)間步上的特征信息整合到固定維度的句嵌入中,在SNLI數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果論證了這兩個(gè)模型的有效性。同時(shí)根據(jù)詞具有多語義的特點(diǎn)提出了詞語義掩碼的模型,實(shí)驗(yàn)證明了該掩碼模型的可行性與局限性。（2）在遷... 

【文章頁數(shù)】：70 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 課題研究背景
    1.2 主要研究工作
    1.3 相關(guān)研究進(jìn)展
    1.4 本文研究重點(diǎn)及章節(jié)安排
第二章 句嵌入相關(guān)研究技術(shù)
    2.1 詞向量的獲取
        2.1.1 Word2vec
        2.1.2 Glove
        2.1.3 Word2vec和Glove的對(duì)比
    2.2 序列處理模型
        2.2.1 循環(huán)神經(jīng)網(wǎng)絡(luò)
        2.2.2 卷積神經(jīng)網(wǎng)絡(luò)
    2.3 降維生成固定長句嵌入策略
        2.3.1 注意力模型
        2.3.2 池化模型
第三章 整合上下文信息的句嵌入模型及特定任務(wù)表現(xiàn)
    3.1 整合上下文信息的句嵌入模型
        3.1.1 BiLSTM最大池化模型
        3.1.2 詞語義掩碼模型
        3.1.3 上下文信息池化模型
        3.1.4 上下文信息聯(lián)合注意力模型
    3.2 斯坦福大學(xué)自然語言推斷任務(wù)
        3.2.1 SNLI數(shù)據(jù)集介紹
        3.2.2 SNLI數(shù)據(jù)集任務(wù)模型
    3.3 SNLI數(shù)據(jù)集實(shí)驗(yàn)及分析部分
        3.3.1 訓(xùn)練參數(shù)設(shè)置
        3.3.2 評(píng)價(jià)標(biāo)準(zhǔn)
    3.4 實(shí)驗(yàn)結(jié)果及分析
    3.5 實(shí)驗(yàn)結(jié)論
第四章 遷移任務(wù)上的上下文信息句嵌入模型
    4.1 上下文信息模型與其他監(jiān)督訓(xùn)練模型在不同遷移任務(wù)上的對(duì)比
        4.1.1 二分類/多分類任務(wù)
        4.1.2 蘊(yùn)含和語義相關(guān)任務(wù)
        4.1.3 語義文本相似度任務(wù)
        4.1.4 實(shí)驗(yàn)結(jié)果及分析
    4.2 上下文信息句嵌入模型與各類句嵌入模型通用性能比較
        4.2.1 采用無序信息的無監(jiān)督訓(xùn)練模型
        4.2.2 采用有序信息的無監(jiān)督訓(xùn)練模型
        4.2.3 監(jiān)督訓(xùn)練的句子向量化模型
        4.2.4 實(shí)驗(yàn)結(jié)果及分析
    4.3 實(shí)驗(yàn)結(jié)論
第五章 總結(jié)與展望
    5.1 總結(jié)
    5.2 展望
參考文獻(xiàn)
致謝
攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄



本文編號(hào)：3680688