詞向量是詞語的一種分布式表示方法,它將詞語映射為一個定長的連續(xù)的稠密向量,這種表示方法能夠有效和靈活的保有先驗(yàn)知識信息,通過將其集成到具體任務(wù)中可以在自然語言處理的多個研究領(lǐng)域取得較好效果。語義相似度可以定量的衡量兩個詞語或概念之間的相似性,是自然語言理解的基礎(chǔ),并被廣泛的應(yīng)用于自然語言處理相關(guān)的任務(wù)中。本文從詞向量的角度分析語義相似度相關(guān)問題,并提出一種多語義詞向量訓(xùn)練模型,以改進(jìn)詞語與詞語,句子與句子之間的語義相似度效果。傳統(tǒng)的詞向量訓(xùn)練模型由于沒有區(qū)分詞語的不同語義,使得一個詞語只能使用一個向量來表示,并不能解決一詞多義的問題。多語義詞向量通過將詞語的不同語義分別映射為不同的詞向量來解決多義詞詞向量表示的語義混淆問題。本文通過使用詞義消岐相關(guān)技術(shù)對維基百科數(shù)據(jù)集進(jìn)行預(yù)處理獲得可以區(qū)分多義詞不同語義的標(biāo)注語料庫,然后利用改進(jìn)的詞向量模型訓(xùn)練多語義詞向量表示,并將其應(yīng)用于句子相似度的計算中,具體研究內(nèi)容包括:(1)基于循環(huán)神經(jīng)網(wǎng)絡(luò)詞義消岐模型。為了能夠區(qū)分詞語在句子中的不同詞義,本文提出了一種基于循環(huán)環(huán)神經(jīng)網(wǎng)絡(luò)的詞義消岐模型,通過利用雙向LSTM捕捉多義詞上下文語序特征改進(jìn)傳統(tǒng)詞義消岐...

【文章頁數(shù)】：85 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景和意義
        1.1.1 研究背景
        1.1.2 研究意義
    1.2 研究現(xiàn)狀
        1.2.1 詞向量現(xiàn)狀
        1.2.2 語義相似度現(xiàn)狀
    1.3 研究內(nèi)容和創(chuàng)新點(diǎn)
        1.3.1 研究內(nèi)容
        1.3.2 研究創(chuàng)新點(diǎn)
    1.4 論文結(jié)構(gòu)
第2章 相關(guān)技術(shù)
    2.1 詞向量訓(xùn)練模型
        2.1.1 Word2vec
        2.1.2 GloVe
        2.1.3 ELMo
    2.2 深度學(xué)習(xí)模型
        2.2.1 前饋神經(jīng)網(wǎng)絡(luò)
        2.2.2 循環(huán)神經(jīng)網(wǎng)絡(luò)
    2.3 注意力機(jī)制
    2.4 相似度計算
        2.4.1 歐幾里得距離
        2.4.2 余弦相似度
        2.4.3 Jaccard系數(shù)
        2.4.4 皮爾遜系數(shù)
    2.5 本章小結(jié)
第3章 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的詞義消岐
    3.1 問題描述
    3.2 相關(guān)工作
        3.2.1 基于詞典方法
        3.2.2 無監(jiān)督方法
        3.2.3 有監(jiān)督方法
    3.3 基于雙向LSTM的詞義消岐模型
        3.3.1 標(biāo)注模型
        3.3.2 分類模型
    3.4 實(shí)驗(yàn)及分析
        3.4.1 實(shí)驗(yàn)設(shè)置
        3.4.2 實(shí)驗(yàn)結(jié)果
        3.4.3 注意力疊加中的N值
    3.5 本章小結(jié)
第4章 基于GLOVE的多語義詞向量表示及相似度計算
    4.1 問題描述
    4.2 相關(guān)工作
        4.2.1 利用無監(jiān)督聚類算法
        4.2.2 利用額外語義知識庫
    4.3 基于GLOVE的多語義詞向量模型
        4.3.1 語料庫標(biāo)注方法
        4.3.2 共現(xiàn)矩陣生成方法
        4.3.3 多語義詞向量訓(xùn)練模型
    4.4 多語義詞向量相似度度量
    4.5 實(shí)驗(yàn)及分析
        4.5.1 實(shí)驗(yàn)設(shè)置
        4.5.2 鄰近詞實(shí)驗(yàn)
        4.5.3 詞語相關(guān)性實(shí)驗(yàn)
    4.6 本章小結(jié)
第5章 基于多語義詞向量的句子相似度
    5.1 問題描述
    5.2 相關(guān)工作
        5.2.1 傳統(tǒng)方法
        5.2.2 深度學(xué)習(xí)方法
    5.3 多語義LSTM模型
        5.3.1 簡單語義平均模型
        5.3.2 基于注意力機(jī)制模型
    5.4 實(shí)驗(yàn)及分析
        5.4.1 實(shí)驗(yàn)設(shè)置
        5.4.2 實(shí)驗(yàn)結(jié)果
    5.5 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀碩士學(xué)位期間發(fā)表的學(xué)術(shù)成果
致謝



本文編號：4038881