文本分類是自然語言處理領(lǐng)域最基礎(chǔ)、最常見的任務(wù)之一,也是很多其他任務(wù)的前置模塊。通過文本分類可以將有價值的部分粗略的篩選出來,摒棄掉其他的部分,得到較為可用的數(shù)據(jù)。研究文本分類任務(wù)已經(jīng)有很悠久的歷史,隨著時代的發(fā)展,人們對于文本分類的精度和速度要求越來越高,深度學(xué)習(xí)的方法開始成為研究的熱點。針對中文長文本分類問題,本文改進了一種循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)的文本分類模型。首先遷移了柵格長短期記憶系統(tǒng)（Lattice-LSTM）代替了傳統(tǒng)的長短期記憶系統(tǒng)做文本的淺層編碼。由于長短期記憶系統(tǒng)的性能對于長時序序列建模較為孱弱,本文在模型中加入了詞匯級的自注意力機制,改變了不同時刻的輸出在文本分類中的貢獻。然后使用一種多尺寸多膨脹率卷積核的卷積神經(jīng)網(wǎng)絡(luò)模型（Multi-size And Multi-expansion-rate Kernel Convolutional Neural Network,MMK-CNN）進行特征提取,將得到的特征圖通過全連接網(wǎng)絡(luò)和SoftMax網(wǎng)絡(luò),進行最終的文本分類結(jié)果。作者完成的主要工作有:（1）調(diào)研并介紹了文本分類和深度學(xué)習(xí)的相關(guān)知識（2）遷移Lattice-... 

【文章來源】：中國科學(xué)院大學(xué)(中國科學(xué)院大學(xué)人工智能學(xué)院)北京市

【文章頁數(shù)】：74 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２．３?Ｌｅｎｅｔ５神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖??Ｆｉｕｒｅ?２．３?Ｌｅｎｅｔ５?ｎｅｕｒａｌ?ｎｅｔｗｏｒｋ?ｓｔｒｕｃｔｕｒｅ?ｄｉａｒａｍ??

圖２．４循環(huán)神經(jīng)網(wǎng)絡(luò)時序展開圖??

圖２．７多層注意力機制模型結(jié)構(gòu)示意圖??Ｆｉｇｕｒｅ?２．７?Ｓｃｈｅｍａｔｉｃ?ｄｉａｇｒａｍ?ｏｆ?Ｍｕｌｔｉｌｉｎｇｕａｌ?Ｈｉｅｒａｒｃｈｉｃａｌ?Ａ?

【參考文獻】：
期刊論文
[1]文本分類研究綜述[J]. 汪巋,劉柏嵩.  數(shù)據(jù)通信. 2019(03)
[2]基于注意力CNLSTM模型的新聞文本分類[J]. 劉月,翟東海,任慶寧.  計算機工程. 2019(07)
[3]詞向量發(fā)展綜述[J]. 嚴紅.  現(xiàn)代計算機(專業(yè)版). 2019(08)
[4]改進樸素貝葉斯算法在文本分類中的應(yīng)用[J]. 黃勇,羅文輝,張瑞舒.  科技創(chuàng)新與應(yīng)用. 2019(05)
[5]基于Lattice-LSTM的多粒度中文分詞[J]. 張文靜,張惠蒙,楊麟兒,荀恩東.  中文信息學(xué)報. 2019(01)
[6]基于樸素貝葉斯的檔案分類研究[J]. 劉佩鑫,于洪志,徐濤.  河北大學(xué)學(xué)報(自然科學(xué)版). 2018(05)
[7]AM-BRNN:一種基于深度學(xué)習(xí)的文本摘要自動抽取模型[J]. 沈華東,彭敦陸.  小型微型計算機系統(tǒng). 2018(06)
[8]基于注意力長短時記憶網(wǎng)絡(luò)的中文詞性標注模型[J]. 司念文,王衡軍,李偉,單義棟,謝鵬程.  計算機科學(xué). 2018(04)
[9]結(jié)合注意力機制的新聞標題生成模型[J]. 李慧,陳紅倩,馬麗儀,祁梅.  山西大學(xué)學(xué)報(自然科學(xué)版). 2017(04)
[10]深度學(xué)習(xí)中漢語字向量和詞向量結(jié)合方式探究[J]. 李偉康,李煒,吳云芳.  中文信息學(xué)報. 2017(06)

碩士論文
[1]基于機器學(xué)習(xí)的中文文本分類算法的研究與實現(xiàn)[D]. 朱夢.北京郵電大學(xué) 2019
[2]基于深度神經(jīng)網(wǎng)絡(luò)的文本表示與分類研究[D]. 劉騰飛.北京交通大學(xué) 2018
[3]基于語義的文本向量表示方法研究[D]. 芮偉康.中國科學(xué)技術(shù)大學(xué) 2017
[4]距離度量學(xué)習(xí)中的類別不平衡問題研究[D]. 劉江濤.東南大學(xué) 2016
[5]基于循環(huán)神經(jīng)網(wǎng)絡(luò)模型的文本分類[D]. 龔千健.華中科技大學(xué) 2016
[6]基于密度聚類改進的支持向量機文本分類的算法研究[D]. 劉志康.武漢理工大學(xué) 2016



本文編號：3395134