隨著社交網(wǎng)絡(luò)與網(wǎng)購平臺的迅猛發(fā)展,電子文本廣泛存在,其所占比例較高是短文本數(shù)據(jù),例如新聞標(biāo)題、Twitter文本以及網(wǎng)購評論等。面向短文本進(jìn)行準(zhǔn)確分類所蘊含的商業(yè)價值和實際應(yīng)用已廣泛引起了學(xué)術(shù)界的關(guān)注。目前,短文本分類已成功應(yīng)用于個性化推薦、情感分析、輿情跟蹤以及問答選擇等多個領(lǐng)域。最近,深度學(xué)習(xí)技術(shù)的快速崛起推動了文本分類的研究與發(fā)展。在分類器性能方面,深度神經(jīng)網(wǎng)絡(luò)比機(jī)器學(xué)習(xí)算法更優(yōu)越,其隨著網(wǎng)絡(luò)深度的增加,可以提取文本更高階特征,從而促進(jìn)分類性能的提升,但在訓(xùn)練更深層網(wǎng)絡(luò)時容易出現(xiàn)梯度消失和梯度爆炸等問題。另一方面,由于短文的稀疏性和歧義性也會影響其分類性能,因而針對以上情況,本文分別從分類模型與文本特征表示兩個方面,進(jìn)行了以下研究:(1)針對循環(huán)神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的關(guān)于文本序列建模的優(yōu)劣性,以及更深層次的網(wǎng)絡(luò)容易產(chǎn)生梯度消失或梯度爆炸缺陷性,本文提出了基于密集連接門控循環(huán)卷積網(wǎng)絡(luò)的混合模型(DC-BiGRU_CNN)。該模型首先用一個標(biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練出字符級詞向量,然后將其與詞級詞向量進(jìn)行拼接并作為網(wǎng)絡(luò)輸入層。受密集連接卷積網(wǎng)絡(luò)的啟發(fā),在對文本進(jìn)行高...

【文章頁數(shù)】：67 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖2.7卷積神經(jīng)網(wǎng)絡(luò)工作原理圖

第二章相關(guān)技術(shù)與理論20輸入層卷積層(convolutionlayer)池化層(poolinglayer)全連接層輸出層[8]。圖2.7卷積神經(jīng)網(wǎng)絡(luò)工作原理圖卷積層通過線性的卷積濾波器和非線性函數(shù)提取輸入的圖像或者文本的局部特征。卷積計算如公式(2.26)所示：11((*))nn....

圖2.10RNN網(wǎng)絡(luò)結(jié)構(gòu)圖

第二章相關(guān)技術(shù)與理論22圖2.10RNN網(wǎng)絡(luò)結(jié)構(gòu)圖RNN最大的特點是一種迭代的網(wǎng)絡(luò)結(jié)構(gòu)，其時序展開結(jié)構(gòu)如圖2.10所示，其中來自先前時間點的信息可以用作下一時間點的輸入，因而預(yù)測分類標(biāo)簽y時，網(wǎng)絡(luò)不僅使用來自當(dāng)前輸入x的信息，還使用來自先前層的信息。RNN計算方法如下式：1()t....

圖3.5MR數(shù)據(jù)集的句子長度分布

安徽大學(xué)碩士學(xué)位論文33一般地，我們在對模型進(jìn)行訓(xùn)練時，需要對其指定一個最大句子長度值。為了研究最大句子長度的選取對分類任務(wù)準(zhǔn)確率的影響，我們選取MR數(shù)據(jù)集進(jìn)行實驗。本文統(tǒng)計的MR數(shù)據(jù)集句子長度分布如圖3.5所示。實驗結(jié)果如圖3.6所示，對于MR數(shù)據(jù)集，句子最大長度取值為35時的....

圖3.6句子的最大長度值對準(zhǔn)確率的影響

安徽大學(xué)碩士學(xué)位論文33一般地，我們在對模型進(jìn)行訓(xùn)練時，需要對其指定一個最大句子長度值。為了研究最大句子長度的選取對分類任務(wù)準(zhǔn)確率的影響，我們選取MR數(shù)據(jù)集進(jìn)行實驗。本文統(tǒng)計的MR數(shù)據(jù)集句子長度分布如圖3.5所示。實驗結(jié)果如圖3.6所示，對于MR數(shù)據(jù)集，句子最大長度取值為35時的....

本文編號：3978959