深度學(xué)習(xí)在自然語言處理領(lǐng)域顯示出越來越重要的地位,詞的向量化表示作為深度學(xué)習(xí)模型中最為常用的詞語表示方法,直接影響著是否能充分表示文本特征。在多數(shù)詞向量模型中,單詞在不同的上下文語境中都是使用同一個(gè)詞向量即單原型詞向量,而實(shí)際的語言表達(dá)往往會(huì)存在單詞語義的歧義性,有些單詞在不同的上下文中表達(dá)不同的意思。目前的詞向量計(jì)算多采用單原型詞向量的表示方式,將多個(gè)語義合成為一個(gè)向量進(jìn)行表示,這種方法并不能很好地表現(xiàn)出多義詞在不同語境中有不同用法的特點(diǎn)。為了克服這個(gè)問題,本文提出了一種基于上下文語義嵌入的多原型詞向量計(jì)算模型來對(duì)當(dāng)前詞向量模型進(jìn)行改進(jìn)。本文的工作主要包括下面幾個(gè)部分:1)對(duì)于多原型詞向量計(jì)算過程中的詞義歸納問題,由于不同的詞語在語義數(shù)量上的差異性,在對(duì)不同單詞的語義進(jìn)行聚類時(shí)類簇的數(shù)目K應(yīng)該根據(jù)單詞詞義的復(fù)雜度確定。本文針對(duì)不同詞語的語義數(shù)目不同問題和不同語義分布不均衡問題提出使用雙參數(shù)狄利克雷構(gòu)造貝葉斯非參數(shù)模型來解決;2)為了證明提出的貝葉斯非參數(shù)模型進(jìn)行詞義歸納可行性,根據(jù)提出的兩種雙參數(shù)狄利克雷過程構(gòu)造方法的特點(diǎn)提出兩種完整的詞義歸納算法,對(duì)于其中的非參成分使用吉布斯采樣進(jìn)...

【文章頁數(shù)】：84 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 傳統(tǒng)解決方法
        1.2.2 當(dāng)前解決方法
    1.3 本文的主要工作
    1.4 本文的組織結(jié)構(gòu)
第二章 詞向量相關(guān)技術(shù)
    2.1 引言
    2.2 詞的表示方法
        2.2.1 離散表示
        2.2.2 分布式表示
        2.2.3 神經(jīng)網(wǎng)絡(luò)語言模型
    2.3 多原型詞向量相關(guān)介紹
    2.4 本章小結(jié)
第三章 基于貝葉斯非參數(shù)的詞義歸納
    3.1 引言
    3.2 貝葉斯非參數(shù)模型
        3.2.1 非參數(shù)模型
        3.2.2 狄利克雷過程
        3.2.3 狄利克雷過程混合模型
        3.2.4 Pitman-Yor過程
    3.3 PYP詞義歸納算法
        3.3.1 PYP-CRP詞義歸納算法
        3.3.2 PYP-stick詞義歸納算法
    3.4 實(shí)驗(yàn)
        3.4.1 PYP有效性驗(yàn)證實(shí)驗(yàn)
        3.4.2 詞義歸納實(shí)驗(yàn)
    3.5 本章小結(jié)
第四章 基于神經(jīng)網(wǎng)絡(luò)的多原型詞向量表示
    4.1 引言
    4.2 經(jīng)典多原型詞向量模型
    4.3 biLSTM-PYP模型
        4.3.1 上下文向量計(jì)算模型
        4.3.2 詞義歸納和表示模型
    4.4 實(shí)驗(yàn)
        4.4.1 多原型詞向量訓(xùn)練
        4.4.2 單詞相似度實(shí)驗(yàn)
        4.4.3 多原型詞向量應(yīng)用實(shí)驗(yàn)
    4.5 本章小結(jié)
第五章 總結(jié)與展望
    5.1 本文工作總結(jié)
    5.2 本文工作展望
致謝
參考文獻(xiàn)
簡(jiǎn)歷與科研成果



本文編號(hào)：3819107