詞向量是詞語(yǔ)的一種分布式表示方法,它將詞語(yǔ)映射為一個(gè)定長(zhǎng)的連續(xù)的稠密向量,這種表示方法能夠有效和靈活的保有先驗(yàn)知識(shí)信息,通過將其集成到具體任務(wù)中可以在自然語(yǔ)言處理的多個(gè)研究領(lǐng)域取得較好效果。語(yǔ)義相似度可以定量的衡量?jī)蓚�(gè)詞語(yǔ)或概念之間的相似性,是自然語(yǔ)言理解的基礎(chǔ),并被廣泛的應(yīng)用于自然語(yǔ)言處理相關(guān)的任務(wù)中。本文從詞向量的角度分析語(yǔ)義相似度相關(guān)問題,并提出一種多語(yǔ)義詞向量訓(xùn)練模型,以改進(jìn)詞語(yǔ)與詞語(yǔ),句子與句子之間的語(yǔ)義相似度效果。傳統(tǒng)的詞向量訓(xùn)練模型由于沒有區(qū)分詞語(yǔ)的不同語(yǔ)義,使得一個(gè)詞語(yǔ)只能使用一個(gè)向量來(lái)表示,并不能解決一詞多義的問題。多語(yǔ)義詞向量通過將詞語(yǔ)的不同語(yǔ)義分別映射為不同的詞向量來(lái)解決多義詞詞向量表示的語(yǔ)義混淆問題。本文通過使用詞義消岐相關(guān)技術(shù)對(duì)維基百科數(shù)據(jù)集進(jìn)行預(yù)處理獲得可以區(qū)分多義詞不同語(yǔ)義的標(biāo)注語(yǔ)料庫(kù),然后利用改進(jìn)的詞向量模型訓(xùn)練多語(yǔ)義詞向量表示,并將其應(yīng)用于句子相似度的計(jì)算中,具體研究?jī)?nèi)容包括:(1)基于循環(huán)神經(jīng)網(wǎng)絡(luò)詞義消岐模型。為了能夠區(qū)分詞語(yǔ)在句子中的不同詞義,本文提出了一種基于循環(huán)環(huán)神經(jīng)網(wǎng)絡(luò)的詞義消岐模型,通過利用雙向LSTM捕捉多義詞上下文語(yǔ)序特征改進(jìn)傳統(tǒng)詞義消岐...

【文章頁(yè)數(shù)】：85 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景和意義
        1.1.1 研究背景
        1.1.2 研究意義
    1.2 研究現(xiàn)狀
        1.2.1 詞向量現(xiàn)狀
        1.2.2 語(yǔ)義相似度現(xiàn)狀
    1.3 研究?jī)?nèi)容和創(chuàng)新點(diǎn)
        1.3.1 研究?jī)?nèi)容
        1.3.2 研究創(chuàng)新點(diǎn)
    1.4 論文結(jié)構(gòu)
第2章 相關(guān)技術(shù)
    2.1 詞向量訓(xùn)練模型
        2.1.1 Word2vec
        2.1.2 GloVe
        2.1.3 ELMo
    2.2 深度學(xué)習(xí)模型
        2.2.1 前饋神經(jīng)網(wǎng)絡(luò)
        2.2.2 循環(huán)神經(jīng)網(wǎng)絡(luò)
    2.3 注意力機(jī)制
    2.4 相似度計(jì)算
        2.4.1 歐幾里得距離
        2.4.2 余弦相似度
        2.4.3 Jaccard系數(shù)
        2.4.4 皮爾遜系數(shù)
    2.5 本章小結(jié)
第3章 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的詞義消岐
    3.1 問題描述
    3.2 相關(guān)工作
        3.2.1 基于詞典方法
        3.2.2 無(wú)監(jiān)督方法
        3.2.3 有監(jiān)督方法
    3.3 基于雙向LSTM的詞義消岐模型
        3.3.1 標(biāo)注模型
        3.3.2 分類模型
    3.4 實(shí)驗(yàn)及分析
        3.4.1 實(shí)驗(yàn)設(shè)置
        3.4.2 實(shí)驗(yàn)結(jié)果
        3.4.3 注意力疊加中的N值
    3.5 本章小結(jié)
第4章 基于GLOVE的多語(yǔ)義詞向量表示及相似度計(jì)算
    4.1 問題描述
    4.2 相關(guān)工作
        4.2.1 利用無(wú)監(jiān)督聚類算法
        4.2.2 利用額外語(yǔ)義知識(shí)庫(kù)
    4.3 基于GLOVE的多語(yǔ)義詞向量模型
        4.3.1 語(yǔ)料庫(kù)標(biāo)注方法
        4.3.2 共現(xiàn)矩陣生成方法
        4.3.3 多語(yǔ)義詞向量訓(xùn)練模型
    4.4 多語(yǔ)義詞向量相似度度量
    4.5 實(shí)驗(yàn)及分析
        4.5.1 實(shí)驗(yàn)設(shè)置
        4.5.2 鄰近詞實(shí)驗(yàn)
        4.5.3 詞語(yǔ)相關(guān)性實(shí)驗(yàn)
    4.6 本章小結(jié)
第5章 基于多語(yǔ)義詞向量的句子相似度
    5.1 問題描述
    5.2 相關(guān)工作
        5.2.1 傳統(tǒng)方法
        5.2.2 深度學(xué)習(xí)方法
    5.3 多語(yǔ)義LSTM模型
        5.3.1 簡(jiǎn)單語(yǔ)義平均模型
        5.3.2 基于注意力機(jī)制模型
    5.4 實(shí)驗(yàn)及分析
        5.4.1 實(shí)驗(yàn)設(shè)置
        5.4.2 實(shí)驗(yàn)結(jié)果
    5.5 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀碩士學(xué)位期間發(fā)表的學(xué)術(shù)成果
致謝



本文編號(hào)：4038881