文本分類是自然語言處理領(lǐng)域的一個(gè)重要研究課題,其主要任務(wù)是將輸入文本自動(dòng)歸類。隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,如今全世界每時(shí)每刻都有數(shù)以億計(jì)的文本信息在互聯(lián)網(wǎng)中產(chǎn)生,其中主要以一般不超過160個(gè)字符的社交媒體博文、論壇回帖、網(wǎng)絡(luò)問答和商品評論等短文本為主。如何高效準(zhǔn)確的對海量短文本信息自動(dòng)化分類已成為當(dāng)前一個(gè)非常具有挑戰(zhàn)性的任務(wù),受到了研究人員的廣泛關(guān)注。近些年來,基于深度學(xué)習(xí)（尤其是卷積神經(jīng)網(wǎng)絡(luò)）的短文本分類關(guān)鍵技術(shù)研究取得了長足的進(jìn)展和爆發(fā)式的突破,但以下問題仍然存在:（1）傳統(tǒng)文本特征表示方法受數(shù)據(jù)集大小及文本長度影響較大,容易造成維度爆炸、特征冗余或特征稀疏等問題,現(xiàn)有的單語義詞向量方法沒有考慮詞的多義性,多語義詞向量方法在計(jì)算時(shí)沒能有效利用語境中詞序、句法結(jié)構(gòu)、詞間距等信息對詞的語義表達(dá)的影響;（2）短文本的長度普遍較短、提供的語義信息有限,因而現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)模型對短文本抽象特征的抽取不充分,如何對卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行改進(jìn),使其更適合處理短文本數(shù)據(jù)仍是一個(gè)亟待解決的問題;（3）整流線性單元（Rectified Linear Unit,ReLU）具有容易發(fā)生偏移（bias sh... 

【文章來源】：戰(zhàn)略支援部隊(duì)信息工程大學(xué)河南省

【文章頁數(shù)】：93 頁

【學(xué)位級別】：碩士

【部分圖文】：

詞向量的使用方法示意圖

戰(zhàn)略支援部隊(duì)信息工程大學(xué)碩士學(xué)位論文第10頁1.4.3面向短文本分類的CNN模型面向短文本分類任務(wù)的卷積神經(jīng)網(wǎng)絡(luò)的核心在于卷積和時(shí)序最大池化（Max-over-timePooling）操作。標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)主要由卷積層、池化層、全連接層和Softmax輸出層組成。圖3所示為一個(gè)面向短文本分類的具有單通道卷積核的標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)有兩個(gè)窗口尺寸分別為2和3的單通道卷積核。輸入是具有兩個(gè)通道的詞向量矩陣。這里卷積核的維度和詞向量的維度相等，窗口尺寸代表每個(gè)卷積核每次可以卷積多少個(gè)單詞的詞向量（也可看作是對N-gram特征的抽�。r(shí)序最大池化是對每個(gè)卷積核生成的特征圖進(jìn)行最大池化操作。圖3中的卷積神經(jīng)網(wǎng)絡(luò)的卷積核是單通道的，也就是說卷積核需要分別到兩個(gè)通道上的詞向量矩陣進(jìn)行卷積。圖3面向短文本分類的標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)1.4.4性能評價(jià)指標(biāo)文本分類常使用準(zhǔn)確率或錯(cuò)誤率作為分類器的性能評價(jià)指標(biāo)。準(zhǔn)確率和錯(cuò)誤率的定義如下：1Acc11niinniiiiTPTF(1-4)

戰(zhàn)略支援部隊(duì)信息工程大學(xué)碩士學(xué)位論文第12頁對數(shù)轉(zhuǎn)換對ReLU輸入大于0的部分進(jìn)行改進(jìn)。NLReLU可以在不同的網(wǎng)絡(luò)上進(jìn)行微調(diào)、將每個(gè)隱藏層的激活均值推至接近0并減少方差、縮小了大多數(shù)梯度并使梯度難以進(jìn)入飽和區(qū)域。NLReLU具有降低層間數(shù)據(jù)分布的偏移效應(yīng)和異方差異性、一定程度上緩解神經(jīng)元容易死亡問題和梯度消失問題等優(yōu)點(diǎn)。實(shí)驗(yàn)表明，該方法可提高模型的收斂性能、加速學(xué)習(xí)進(jìn)程并且能夠?qū)跇?biāo)準(zhǔn)CNN和AGCNN的短文本分類準(zhǔn)確率有所改善，例如在CNN-static上換用NLReLU帶來平均0.15%，最高0.29%的改善；在AGCNN-static上換用NLReLU帶來平均0.17%，最高0.68%的改善。（4）最后，提出一種基于特征圖共享和全連接層權(quán)重共享來改善卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法。針對當(dāng)前優(yōu)化方法容易增加模型參數(shù)，增加模型計(jì)算復(fù)雜度并使模型難以訓(xùn)練，抗噪聲能力差及生物激活解釋比較勉強(qiáng)等問題，本文提出一種通過特征圖共享及全連接層權(quán)重共享，來降低特征圖噪聲和改善卷積神經(jīng)網(wǎng)絡(luò)收斂性能的優(yōu)化方法——N折疊加法。該方法沒有顯著增加網(wǎng)絡(luò)參數(shù)。本文通過費(fèi)馬引理及多元函數(shù)的極值判定等定理證明了N折疊加法可以通過構(gòu)建更多損失函數(shù)的全局極小值點(diǎn)，使模型更容易收斂并提高網(wǎng)絡(luò)性能。實(shí)驗(yàn)表明，該方法可顯著降低FM噪聲、加快模型收斂速度，對基于標(biāo)準(zhǔn)CNN的短文本分類準(zhǔn)確率有平均0.27%~0.40%、最高0.63%~0.76%的改善。論文的研究思路以及對應(yīng)的組織結(jié)構(gòu)如圖4所示。圖4論文的研究思路和組織結(jié)構(gòu)圖1.5.2論文組織結(jié)構(gòu)第一章首先介紹了研究的背景及意義。從文本表示方法、模型構(gòu)建和模型優(yōu)化方法三

【參考文獻(xiàn)】：
期刊論文
[1]移動(dòng)環(huán)境下網(wǎng)絡(luò)輿情研究進(jìn)展及述評[J]. 魏靜,劉莉,林萍,宋瑞曉.  情報(bào)雜志. 2018(09)
[2]情報(bào)分析模型綜述[J]. 徐敏,李廣建.  情報(bào)理論與實(shí)踐. 2018(02)
[3]文本情緒分析綜述[J]. 李然,林政,林海倫,王偉平,孟丹.  計(jì)算機(jī)研究與發(fā)展. 2018(01)
[4]虛假評論檢測研究綜述[J]. 李璐旸,秦兵,劉挺.  計(jì)算機(jī)學(xué)報(bào). 2018(04)
[5]語義分析在反恐研究領(lǐng)域的應(yīng)用研究[J]. 孟璽,周西平,吳紹忠.  情報(bào)雜志. 2017(03)
[6]文本主題識別關(guān)鍵技術(shù)研究綜述[J]. 許海云,董坤,劉春江,王超,王振蒙.  情報(bào)科學(xué). 2017(01)
[7]圖像理解中的卷積神經(jīng)網(wǎng)絡(luò)[J]. 常亮,鄧小明,周明全,武仲科,袁野,楊碩,王宏安.  自動(dòng)化學(xué)報(bào). 2016(09)
[8]基于文檔頻率的特征選擇方法[J]. 楊凱峰,張毅坤,李燕.  計(jì)算機(jī)工程. 2010(17)
[9]基于機(jī)器學(xué)習(xí)的文本分類方法綜述[J]. 陳祎荻,秦玉平.  渤海大學(xué)學(xué)報(bào)(自然科學(xué)版). 2010(02)
[10]基于互信息的文本特征選擇方法研究與改進(jìn)[J]. 劉健,張維明.  計(jì)算機(jī)工程與應(yīng)用. 2008(10)

碩士論文
[1]我國網(wǎng)絡(luò)反恐的現(xiàn)狀與改進(jìn)策略研究[D]. 夏菁.南昌大學(xué) 2017



本文編號：3433227