文本分類一直是自然語言處理的重要部分。文本分類方法主要是從文本中提取文本特征并根據(jù)文本特征進行分類。然而,特征提取一直是文本分類的難點。很多基于統(tǒng)計學(xué)的文本分類方法實際上是此匹配法。這種方法不僅耗時耗力,還需要預(yù)設(shè)文本特征,而這非常高的專業(yè)能力。因此,傳統(tǒng)文本分類一直是高消耗低精度的方式。近幾年隨著深度學(xué)習(xí)的快速發(fā)展,深度學(xué)習(xí)方法已經(jīng)被大量應(yīng)用于文本特征的提取,并被證明能夠有效的提取文本特征。在深度學(xué)習(xí)文本分類方法中,文本特征由分類網(wǎng)絡(luò)學(xué)習(xí),因此,分類網(wǎng)絡(luò)的選擇直接影響分類結(jié)果。分類網(wǎng)絡(luò)想要更好的學(xué)習(xí)文本特征時也需要消耗大量時間進行訓(xùn)練。為了解決這些問題,本文提出了一種帶注意力機制的殘差雙向GRU的分類方法對文本的特征進行學(xué)習(xí)從而提高對文本情感分類的準(zhǔn)確性和效率。本文主要研究內(nèi)容如下:1.提出了結(jié)合注意力機制與雙向GRU的文本分類方法,并通過實驗證明了雙向GRU在處理長文本時,相對于傳統(tǒng)方法,在自動特征選擇,時間序列依賴關(guān)系方面的高效性和穩(wěn)定性;2.針對本文提出的方法進行了大量實驗,通過對實驗結(jié)果的分析,證明了空洞卷積提在提取本文特征向量時,能夠有效地擴大感受視野,保留更多的上下文信息... 

【文章來源】：湖北工業(yè)大學(xué)湖北省

【文章頁數(shù)】：53 頁

【學(xué)位級別】：碩士

【部分圖文】：

三層神經(jīng)網(wǎng)絡(luò)

湖北工業(yè)大學(xué)碩士學(xué)位論文4圖1.1三層神經(jīng)網(wǎng)絡(luò)1.3.2循環(huán)神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)[25]（RecurrentNeuralNetwork，RNN），它是一類具有短期記憶能力的神經(jīng)網(wǎng)絡(luò)。在循環(huán)神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元可以接收其他神經(jīng)元的信息，也可以接收自身的信息，形成具有環(huán)路的網(wǎng)絡(luò)結(jié)構(gòu)。循環(huán)神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)可以通過隨時間反向傳播算法來學(xué)習(xí)，即按照時間的逆序把誤差一步步往前傳遞。圖1.2循環(huán)神經(jīng)網(wǎng)絡(luò)

湖北工業(yè)大學(xué)碩士學(xué)位論文51.4循環(huán)神經(jīng)網(wǎng)絡(luò)的記憶能力循環(huán)神經(jīng)網(wǎng)絡(luò)通過使用帶自反饋的神經(jīng)元，使得網(wǎng)絡(luò)的輸出不僅和當(dāng)前的輸入有關(guān)，還和上一時刻的輸出相關(guān)，于是在處理任意長度的時序數(shù)據(jù)時，就具有短期記憶能力。給定一個輸入序列，循環(huán)神經(jīng)網(wǎng)絡(luò)通過以下的公式來更新帶反饋邊的隱含層的活性值th：1(,)ttthfhx（1-1）其中0h=0，f()是一個非線性函數(shù)，隱藏層的活性值th又稱為狀態(tài)或隱狀態(tài)。示例如下：圖1.3循環(huán)神經(jīng)網(wǎng)絡(luò)隱藏狀態(tài)將上圖按照時間序列展開如下：

【參考文獻】：
期刊論文
[1]基于強化學(xué)習(xí)的超參數(shù)優(yōu)化方法[J]. 陳森朋,吳佳,陳修云.  小型微型計算機系統(tǒng). 2020(04)
[2]結(jié)合DBSCAN聚類與互信息的圖像拼接算法[J]. 張美玉,王洋洋,吳良武,秦緒佳.  小型微型計算機系統(tǒng). 2020(04)
[3]基于多目標(biāo)支持向量機的ADHD分類[J]. 杜海鵬,邵立珍,張冬輝.  工程科學(xué)學(xué)報. 2020(04)
[4]運用最大熵模型和隨機森林模型對東北紅松分布的模擬[J]. 張勞模,羅鵬,龐麗峰,唐小明.  東北林業(yè)大學(xué)學(xué)報. 2020(03)
[5]深度神經(jīng)網(wǎng)絡(luò)加速器體系結(jié)構(gòu)概述[J]. 陳怡然,謝源,宋凌皓,陳凡,唐天琪.  Engineering. 2020(03)
[6]基于改進三體訓(xùn)練法的半監(jiān)督專利文本分類方法[J]. 胡云青,邱清盈,余秀,武建偉.  浙江大學(xué)學(xué)報(工學(xué)版). 2020(02)
[7]Sigmoid函數(shù)的低復(fù)雜度概率分段線性擬合法[J]. NGUYEN Van-Truong,蔡覺平,魏琳育,褚潔.  西安電子科技大學(xué)學(xué)報. 2020(03)
[8]基于統(tǒng)計方法從文本中抽取分詞詞典[J]. 黃超.  電腦知識與技術(shù). 2020(04)
[9]基于詞嵌入技術(shù)的文本表示研究現(xiàn)狀綜述[J]. 劉勝杰,許亮.  現(xiàn)代計算機. 2020(01)
[10]基于神經(jīng)網(wǎng)絡(luò)語言模型的動態(tài)層序Softmax訓(xùn)練算法[J]. 楊鶴標(biāo),胡驚濤,劉芳.  江蘇大學(xué)學(xué)報(自然科學(xué)版). 2020(01)

碩士論文
[1]基于樸素貝葉斯的文本分類算法研究[D]. 何偉.南京郵電大學(xué) 2018
[2]融合多元信息的字符串近似匹配算法研究及應(yīng)用[D]. 牛增賢.北京交通大學(xué) 2019
[3]結(jié)合語義保護和關(guān)聯(lián)挖掘的跨模態(tài)哈希檢索算法研究[D]. 胡志鍇.華僑大學(xué) 2019
[4]基于詞嵌入的文本摘要系統(tǒng)的設(shè)計與實現(xiàn)[D]. 完顏丹丹.海南大學(xué) 2017
[5]基于長短型記憶遞歸神經(jīng)網(wǎng)絡(luò)的英文手寫識別[D]. 衛(wèi)曉欣.華南理工大學(xué) 2014



本文編號：2950844