文本表示是自然語(yǔ)言處理中的基礎(chǔ)工作。傳統(tǒng)的獨(dú)熱表示存在稀疏問(wèn)題且不能抓住詞之間的語(yǔ)義關(guān)系。分布式語(yǔ)義表示利用連續(xù)空間內(nèi)的低維稠密向量來(lái)表示詞,解決了傳統(tǒng)獨(dú)熱表示的問(wèn)題,已經(jīng)成為了自然語(yǔ)言處理中最常用的詞表示方法。中文作為一種表意文字,它有著獨(dú)特的語(yǔ)言特點(diǎn)。本文對(duì)中文詞向量表示學(xué)習(xí)的方法進(jìn)行了系統(tǒng)的總結(jié)分析,并提出了改進(jìn)的詞向量表示技術(shù),具體工作如下:一、中文詞向量表示技術(shù)對(duì)比分析。本文對(duì)現(xiàn)有的流行的中文詞向量表示方法進(jìn)行了系統(tǒng)的理論分析與實(shí)驗(yàn)對(duì)比:已有的中文詞表示模型忽略了不同詞對(duì)上下文語(yǔ)義有不同程度的語(yǔ)義貢獻(xiàn)且次詞語(yǔ)素去歧的方法存在較大的局限性;綜合了多種評(píng)估方法對(duì)詞向量進(jìn)行了全面的定量實(shí)驗(yàn)評(píng)估,并對(duì)提出的改進(jìn)模型作了詳細(xì)的定性分析。二、基于多種Attention的聯(lián)合訓(xùn)練詞向量表示模型。本文聯(lián)合了詞、字、字的組件等多種粒度的語(yǔ)素信息,提出了基于多種Attention的多粒度語(yǔ)素聯(lián)合訓(xùn)練的詞表示模型:利用Self-Attention機(jī)制來(lái)學(xué)習(xí)詞對(duì)上下文語(yǔ)義的貢獻(xiàn);提出了 Bias-Attention方法來(lái)端到端自動(dòng)化地學(xué)習(xí)次詞語(yǔ)素的語(yǔ)義偏移并達(dá)到語(yǔ)素去歧的目的。三、基于共享語(yǔ)義漂移的...

【文章頁(yè)數(shù)】：66 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
    1.3 研究?jī)?nèi)容及主要工作
    1.4 論文組織結(jié)構(gòu)
第二章 中文詞向量表示方法
    2.1 分布式語(yǔ)義表示
    2.2 基于矩陣分解的方法
        2.2.1 Global Vectors模型(GloVe)
    2.3 基于神經(jīng)網(wǎng)絡(luò)的方法
        2.3.1 CBOW
        2.3.2 Skip-Gram
    2.4 引入次詞語(yǔ)素的詞向量表示方法
        2.4.1 CWE
        2.4.2 SCWE
        2.4.3 JWE
        2.4.4 cw2vec
    2.5 語(yǔ)素歧義問(wèn)題
        2.5.1 基于位置的方法
        2.5.2 基于聚類(lèi)的方法
        2.5.3 非參數(shù)化聚類(lèi)的方法
        2.5.4 外來(lái)先驗(yàn)知識(shí)的方法
    2.6 詞向量評(píng)估方法
        2.6.1 內(nèi)部評(píng)價(jià)
        2.6.2 外部評(píng)價(jià)
        2.6.3 其他因素
    2.7 本章小結(jié)
第三章 基于多種Attention的聯(lián)合中文詞表示模型
    3.1 模型總架構(gòu)
    3.2 Self-Attention加權(quán)的詞粒度上下文表示
    3.3 Bias-Attention修正的次詞粒度的上下文表示
    3.4 實(shí)驗(yàn)分析
        3.4.1 實(shí)驗(yàn)設(shè)定
        3.4.2 內(nèi)部評(píng)價(jià)
        3.4.3 外部評(píng)價(jià)
        3.4.4 Case學(xué)習(xí)
        3.4.5 其他訓(xùn)練參數(shù)
        3.4.6 外部上下文Attention分析
    3.5 本章小結(jié)
第四章 基于共享漂移的中文詞表示模型
    4.1 模型總架構(gòu)
    4.2 語(yǔ)義漂移
    4.3 共享漂移
    4.4 實(shí)驗(yàn)分析
        4.4.1 實(shí)驗(yàn)設(shè)定
        4.4.2 內(nèi)部評(píng)價(jià)
        4.4.3 外部評(píng)價(jià)
        4.4.4 共享漂移向量方法分析
    4.5 本章小結(jié)
第五章 AJWE在數(shù)字閱讀推薦系統(tǒng)中的應(yīng)用
    5.1 數(shù)字閱讀推薦系統(tǒng)
    5.2 基于AJWE的數(shù)字閱讀推薦模型
        5.2.1 模型總架構(gòu)
        5.2.2 用戶表示網(wǎng)絡(luò)
        5.2.3 圖書(shū)表示網(wǎng)絡(luò)
    5.3 實(shí)驗(yàn)分析
        5.3.1 實(shí)驗(yàn)設(shè)定
        5.3.2 實(shí)驗(yàn)結(jié)果
    5.4 本章小結(jié)
第六章 結(jié)論與展望
參考文獻(xiàn)
致謝
攻讀學(xué)位期間取得的研究成果



本文編號(hào)：3864867