文本分類技術(shù)作為信息處理的關(guān)鍵技術(shù),一直是學(xué)術(shù)研究的熱點(diǎn)問題。隨著近年來人們對(duì)深度學(xué)習(xí)研究的深入,在自然語言處理中也逐漸使用了深度學(xué)習(xí)方法,其也被證明具有高級(jí)文本表示的能力。經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)文本分類模型忽略了文本的順序信息,本文提出了一種結(jié)合注意力機(jī)制的文本分類模型,該模型能夠彌補(bǔ)傳統(tǒng)分類模型的缺點(diǎn),使模型具備提取順序特征的能力。并且引入了注意力機(jī)制優(yōu)化文本特征,取得了更優(yōu)秀的文本分類性能。本文的主要研究工作如下:(1)傳統(tǒng)基于卷積神經(jīng)網(wǎng)絡(luò)的文本分類模型由于卷積結(jié)構(gòu)本身的特性,只提取了文本的局部信息,卻忽略了文本的序列特征。本文設(shè)計(jì)并實(shí)現(xiàn)了結(jié)合注意力機(jī)制的文本分類模型ACRNN。在原有的卷積神經(jīng)網(wǎng)絡(luò)文本分類模型的基礎(chǔ)上,對(duì)文本的特征提取模塊進(jìn)行了調(diào)整,將卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)有機(jī)地結(jié)合在了一起,提取了更加全面的文本特征。在模型輸入階段使用了雙通道輸入設(shè)計(jì),能夠充分利用外部知識(shí)和本地知識(shí),獲得更加豐富的文本表示。為了突顯不同詞語的區(qū)分化作用,本文還將注意力機(jī)制引入模型中,賦予了更加優(yōu)化的文本特征表示。(2)在訓(xùn)練ACRNN模型的時(shí)候發(fā)現(xiàn)該模型訓(xùn)練速度較慢,本文分析了模型訓(xùn)練速度過慢...

【文章頁數(shù)】：58 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景和意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 主要研究內(nèi)容
    1.4 論文的組織結(jié)構(gòu)
2 相關(guān)技術(shù)綜述
    2.1 文本分類概述
        2.1.1 文本預(yù)處理
        2.1.2 文本表示模型
        2.1.3 特征選擇指標(biāo)
        2.1.4 文本分類算法
    2.2 深度學(xué)習(xí)
        2.2.1 深度學(xué)習(xí)概述
        2.2.2 深度學(xué)習(xí)在文本分類的應(yīng)用
    2.3 本章小結(jié)
3 結(jié)合注意力機(jī)制的文本分類模型
    3.1 引言
    3.2 注意力機(jī)制
    3.3 結(jié)合注意力機(jī)制的文本分類模型ACRNN
        3.3.1 雙通道輸入層
        3.3.2 改進(jìn)的特征提取模塊
        3.3.3 注意力機(jī)制特征優(yōu)化
        3.3.4 正則化
        3.3.5 輸出層
    3.4 結(jié)合加權(quán)特征的注意力改進(jìn)算法
    3.5 本章小結(jié)
4 ACRNN模型及改進(jìn)算法對(duì)比實(shí)驗(yàn)
    4.1 實(shí)驗(yàn)設(shè)計(jì)
        4.1.1 實(shí)驗(yàn)環(huán)境
        4.1.2 評(píng)價(jià)指標(biāo)
        4.1.3 實(shí)驗(yàn)數(shù)據(jù)集
        4.1.4 實(shí)驗(yàn)參數(shù)設(shè)置
    4.2 不同文本分類模型性能對(duì)比
    4.3 不同參數(shù)對(duì)于模型性能的影響
    4.4 詞向量維度對(duì)于模型性能的影響
    4.5 改進(jìn)注意力機(jī)制算法對(duì)于模型性能的影響
    4.6 注意力機(jī)制可視化
    4.7 本章小結(jié)
5 總結(jié)和展望
    5.1 本文總結(jié)
    5.2 未來展望
參考文獻(xiàn)
致謝
附錄1 攻讀碩士學(xué)位期間參與的項(xiàng)目和發(fā)表的論文



本文編號(hào)：3841313