隨著信息科學(xué)技術(shù)的發(fā)展,自然語言處理技術(shù)經(jīng)歷了從統(tǒng)計機(jī)器學(xué)習(xí)到神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的階段。隨后注意力機(jī)制的應(yīng)用使其在信息提取、機(jī)器翻譯等問題上取得了巨大的進(jìn)步,同時也使它在企業(yè)輿情監(jiān)控中得到了廣泛的應(yīng)用。在企業(yè)的決策與發(fā)展中,公關(guān)人員需要根據(jù)網(wǎng)絡(luò)上與公司相關(guān)的輿情數(shù)據(jù)分析過去一段時間內(nèi)公司的口碑信息,并預(yù)測未來一段時間內(nèi)公司輿情的發(fā)展與走向。在將注意力與自然語言處理技術(shù)相結(jié)合應(yīng)用到企業(yè)輿情分析中時,面臨著諸多亟待解決的問題。如針對互聯(lián)網(wǎng)公司出現(xiàn)的輿情文本數(shù)據(jù)與針對金融企業(yè)的輿情數(shù)據(jù)所表達(dá)的文本信息主題不同,文本處理成結(jié)構(gòu)化數(shù)據(jù)的方法不同,都可能會導(dǎo)致信息在完整度上的缺失與歧義。注意力最早被應(yīng)用在計算機(jī)視覺領(lǐng)域里,隨后,人們開始研究注意力機(jī)制在自然語言處理中的應(yīng)用,如機(jī)器翻譯任務(wù)。其后注意力機(jī)制被廣泛應(yīng)用在基于循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的各種自然語言處理任務(wù)中。自注意力機(jī)制則是注意力中的一種特殊情況,它在提取文本特征的時候起著重要的作用。目前注意力模型多與編碼器-解碼器聯(lián)合使用。編碼器-解碼器是深度學(xué)習(xí)領(lǐng)域中的一種研究模式,應(yīng)用場景廣泛。本文提出了一種自注意力編碼器與解碼器的語義理解方法,通過深... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：88 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景和意義
    1.2 國內(nèi)外研究歷史與現(xiàn)狀
    1.3 論文主要研究內(nèi)容和創(chuàng)新點(diǎn)
    1.4 論文結(jié)構(gòu)組織與安排
第二章 相關(guān)理論和技術(shù)
    2.1 文本預(yù)處理
    2.2 特征選擇
    2.3 機(jī)器學(xué)習(xí)特征提取和分類方法
    2.4 評估指標(biāo)
    2.5 本章小結(jié)
第三章 深度語言理解模型
    3.1 離散表示
        3.1.1 One-Hot編碼
        3.1.2 N元模型
    3.2 連續(xù)表示
        3.2.1 CBOW語言表示
        3.2.2 Skip-Gram語言表示
    3.3 基于實(shí)體知識的混合語言模型
        3.3.1 模型結(jié)構(gòu)描述
        3.3.2 實(shí)驗(yàn)數(shù)據(jù)集
        3.3.3 實(shí)驗(yàn)設(shè)計
        3.3.4 實(shí)驗(yàn)評估
        3.3.5 結(jié)果分析
    3.4 本章小結(jié)
第四章 基于自注意力的編碼器-解碼器
    4.1 注意力機(jī)制
        4.1.1 注意力值的計算
        4.1.2 鍵值對注意力
    4.2 編碼器與解碼器
    4.3 注意力機(jī)制與編碼器-解碼器
    4.4 自注意力機(jī)制
    4.5 基于自注意力的編碼器-解碼器
        4.5.1 模型介紹
        4.5.2 位置編碼
        4.5.3 實(shí)驗(yàn)數(shù)據(jù)集
        4.5.4 實(shí)驗(yàn)設(shè)計與分析
    4.6 本章小結(jié)
第五章 總結(jié)與展望
    5.1 論文總結(jié)
    5.2 研究展望
致謝
參考文獻(xiàn)
攻讀碩士學(xué)位期間取得的成果


【參考文獻(xiàn)】：
期刊論文
[1]基于L-STM模型的中文情感分類[J]. 王景中,龐丹丹.  計算機(jī)工程與設(shè)計. 2018(11)
[2]基于CNN和BiLSTM網(wǎng)絡(luò)特征融合的文本情感分析[J]. 李洋,董紅斌.  計算機(jī)應(yīng)用. 2018(11)
[3]基于BiGRU-attention神經(jīng)網(wǎng)絡(luò)的文本情感分類模型[J]. 王偉,孫玉霞,齊慶杰,孟祥福.  計算機(jī)應(yīng)用研究. 2019(12)
[4]基于多注意力長短時記憶的實(shí)體屬性情感分析[J]. 支淑婷,李曉戈,王京博,王鵬華.  計算機(jī)應(yīng)用. 2019(01)
[5]基于詞典與規(guī)則的文本情感分析[J]. 姚珂.  電腦知識與技術(shù). 2018(26)
[6]結(jié)合情感詞典的主動貝葉斯文本情感分類方法[J]. 張敏,陳鍛生.  華僑大學(xué)學(xué)報(自然科學(xué)版). 2018(04)
[7]邏輯學(xué)視域中的自然語言分析[J]. 楊玉蘭.  外語學(xué)刊. 2014(04)
[8]自然語言理解的機(jī)器認(rèn)知形式系統(tǒng)[J]. 黃培紅.  計算機(jī)工程與科學(xué). 2007(06)
[9]隱含語義索引模型的分析與研究[J]. 王春紅,張敏.  計算機(jī)應(yīng)用. 2007(05)



本文編號：3192145