隨著社交網絡與網購平臺的迅猛發(fā)展,電子文本廣泛存在,其所占比例較高是短文本數據,例如新聞標題、Twitter文本以及網購評論等。面向短文本進行準確分類所蘊含的商業(yè)價值和實際應用已廣泛引起了學術界的關注。目前,短文本分類已成功應用于個性化推薦、情感分析、輿情跟蹤以及問答選擇等多個領域。最近,深度學習技術的快速崛起推動了文本分類的研究與發(fā)展。在分類器性能方面,深度神經網絡比機器學習算法更優(yōu)越,其隨著網絡深度的增加,可以提取文本更高階特征,從而促進分類性能的提升,但在訓練更深層網絡時容易出現梯度消失和梯度爆炸等問題。另一方面,由于短文的稀疏性和歧義性也會影響其分類性能,因而針對以上情況,本文分別從分類模型與文本特征表示兩個方面,進行了以下研究:(1)針對循環(huán)神經網絡與卷積神經網絡的關于文本序列建模的優(yōu)劣性,以及更深層次的網絡容易產生梯度消失或梯度爆炸缺陷性,本文提出了基于密集連接門控循環(huán)卷積網絡的混合模型(DC-BiGRU_CNN)。該模型首先用一個標準的卷積神經網絡訓練出字符級詞向量,然后將其與詞級詞向量進行拼接并作為網絡輸入層。受密集連接卷積網絡的啟發(fā),在對文本進行高...

【文章頁數】：67 頁

【學位級別】：碩士

【部分圖文】：

圖2.7卷積神經網絡工作原理圖

第二章相關技術與理論20輸入層卷積層(convolutionlayer)池化層(poolinglayer)全連接層輸出層[8]。圖2.7卷積神經網絡工作原理圖卷積層通過線性的卷積濾波器和非線性函數提取輸入的圖像或者文本的局部特征。卷積計算如公式(2.26)所示：11((*))nn....

圖2.10RNN網絡結構圖

第二章相關技術與理論22圖2.10RNN網絡結構圖RNN最大的特點是一種迭代的網絡結構，其時序展開結構如圖2.10所示，其中來自先前時間點的信息可以用作下一時間點的輸入，因而預測分類標簽y時，網絡不僅使用來自當前輸入x的信息，還使用來自先前層的信息。RNN計算方法如下式：1()t....

圖3.5MR數據集的句子長度分布

安徽大學碩士學位論文33一般地，我們在對模型進行訓練時，需要對其指定一個最大句子長度值。為了研究最大句子長度的選取對分類任務準確率的影響，我們選取MR數據集進行實驗。本文統(tǒng)計的MR數據集句子長度分布如圖3.5所示。實驗結果如圖3.6所示，對于MR數據集，句子最大長度取值為35時的....

圖3.6句子的最大長度值對準確率的影響

安徽大學碩士學位論文33一般地，我們在對模型進行訓練時，需要對其指定一個最大句子長度值。為了研究最大句子長度的選取對分類任務準確率的影響，我們選取MR數據集進行實驗。本文統(tǒng)計的MR數據集句子長度分布如圖3.5所示。實驗結果如圖3.6所示，對于MR數據集，句子最大長度取值為35時的....

本文編號：3978959