深度學(xué)習(xí)技術(shù)在自然語(yǔ)言處理方向的研究越來(lái)越深入,文本分類(lèi)作為自然語(yǔ)言處理的基礎(chǔ)任務(wù)之一,已廣泛地應(yīng)用于情感分析、新聞分類(lèi)等領(lǐng)域。文本表示和特征提取是影響文本分類(lèi)性能的兩個(gè)重要因素,決定著文本分類(lèi)效果的上限�，F(xiàn)在的文本表示一般是基于外部大型語(yǔ)料庫(kù)訓(xùn)練獲得的,難以解決未登錄詞（Out of Vocabulary,OOV）問(wèn)題,并且特征提取部分一般選擇基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）或循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的模型,進(jìn)行文本特征的自動(dòng)提取,其模型結(jié)構(gòu)在訓(xùn)練過(guò)程中可能會(huì)損失部分文本信息。因此,得到包含更多語(yǔ)義信息的文本表示,構(gòu)造能充分提取文本特征的模型成為了目前了文本分類(lèi)研究的難點(diǎn)和熱點(diǎn)。本文針對(duì)上述兩個(gè)問(wèn)題,進(jìn)行的研究工作如下:首先,針對(duì)word2vec模型,提出了一種改進(jìn)的詞向量初始化方法CP_word2vec,該方法可以有效地解決訓(xùn)練集中未登錄詞的問(wèn)題。防止因隨機(jī)初始化向量過(guò)多而導(dǎo)致詞向量空間被破壞,弱化了因分詞錯(cuò)誤、拼寫(xiě)錯(cuò)誤等外部干擾等問(wèn)題對(duì)詞向量質(zhì)量的影響,為后續(xù)特征提取階段提供更豐富的語(yǔ)義信息。其次,本文基于Transformer模型結(jié)構(gòu)提出一種層次化的神經(jīng)網(wǎng)絡(luò)模型HT... 

【文章來(lái)源】：廣東工業(yè)大學(xué)廣東省

【文章頁(yè)數(shù)】：74 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 國(guó)外發(fā)展現(xiàn)狀
        1.2.2 國(guó)內(nèi)發(fā)展現(xiàn)狀
    1.3 本文的研究?jī)?nèi)容
    1.4 本文組織結(jié)構(gòu)
第二章 相關(guān)技術(shù)介紹
    2.1 文本分類(lèi)概述
    2.2 文本預(yù)處理
        2.2.1 文本數(shù)據(jù)清洗
        2.2.2 中文分詞
        2.2.3 去停用詞
    2.3 文本表示
        2.3.1 詞袋模型
        2.3.2 向量空間模型
        2.3.3 神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型
    2.4 傳統(tǒng)文本分類(lèi)算法
    2.5 評(píng)估函數(shù)
    2.6 本章小結(jié)
第三章 文本分類(lèi)領(lǐng)域的深度學(xué)習(xí)模型
    3.1 卷積神經(jīng)網(wǎng)絡(luò)
    3.2 循環(huán)神經(jīng)網(wǎng)絡(luò)
    3.3 注意力模型
    3.4 本章小結(jié)
第四章 基于word2vec的文本表示方法
    4.1 問(wèn)題描述
    4.2 word2vec文本表示
    4.3 改進(jìn)的word2vec文本表示方法(CP_word2vec)
    4.4 實(shí)驗(yàn)及其結(jié)果分析
        4.4.1 數(shù)據(jù)集介紹
        4.4.2 word2vec參數(shù)設(shè)置
        4.4.3 min_count對(duì)分類(lèi)效果的影響
        4.4.4 不同模型對(duì)比試驗(yàn)設(shè)計(jì)
    4.5 本章小結(jié)
第五章 基于CP_word2vec和自注意力神經(jīng)網(wǎng)絡(luò)文本分類(lèi)模型設(shè)計(jì)
    5.1 問(wèn)題描述
    5.2 Transformer概述
        5.2.1 Self-Attention結(jié)構(gòu)
        5.2.2 其它層
        5.2.3 Position Embedding
    5.3 層次Transformer網(wǎng)絡(luò)模型(HTN)
    5.4 基于CP_word2vec和 HTN的模型介紹(CPW_HTN)
    5.5 對(duì)比實(shí)驗(yàn)與結(jié)果分析
        5.5.1 數(shù)據(jù)集介紹
        5.5.2 超參數(shù)對(duì)Transformer模型的影響
        5.5.3 模型及其參數(shù)設(shè)計(jì)
        5.5.4 對(duì)比實(shí)驗(yàn)結(jié)果分析
    5.6 本章小結(jié)
第六章 總結(jié)與展望
    6.1 總結(jié)
    6.2 展望
參考文獻(xiàn)
攻讀學(xué)位期間科研成果
致謝


【參考文獻(xiàn)】：
期刊論文
[1]基于卷積神經(jīng)網(wǎng)絡(luò)的中文財(cái)經(jīng)新聞分類(lèi)方法[J]. 謝志峰,吳佳萍,馬利莊.  山東大學(xué)學(xué)報(bào)(工學(xué)版). 2018(03)
[2]基于TF-IDF和余弦相似度的文本分類(lèi)方法[J]. 武永亮,趙書(shū)良,李長(zhǎng)鏡,魏娜娣,王子晏.  中文信息學(xué)報(bào). 2017(05)
[3]空間信息的自然語(yǔ)言表達(dá)模型[J]. 杜清運(yùn),任福.  武漢大學(xué)學(xué)報(bào)(信息科學(xué)版). 2014(06)
[4]文本情感分析[J]. 趙妍妍,秦兵,劉挺.  軟件學(xué)報(bào). 2010(08)
[5]基于TF*IDF的垃圾郵件過(guò)濾特征選擇改進(jìn)算法[J]. 陳琦,伍朝輝,姚芳,宋秀榮,張付志.  計(jì)算機(jī)應(yīng)用研究. 2009(06)
[6]文本分類(lèi)的性能評(píng)估指標(biāo)[J]. 張啟蕊,董守斌,張凌.  廣西師范大學(xué)學(xué)報(bào)(自然科學(xué)版). 2007(02)
[7]使用增量SVM進(jìn)行文本分類(lèi)[J]. 張永,周振龍,侯莉莉,張世宏.  蘭州理工大學(xué)學(xué)報(bào). 2007(01)
[8]文本分類(lèi)綜述[J]. 靳小波.  自動(dòng)化博覽. 2006(S1)
[9]基于模式聚合和決策樹(shù)的文本分類(lèi)規(guī)則抽取[J]. 王煜,王正歐.  情報(bào)科學(xué). 2006(01)
[10]使用最大熵模型進(jìn)行中文文本分類(lèi)[J]. 李榮陸,王建會(huì),陳曉云,陶曉鵬,胡運(yùn)發(fā).  計(jì)算機(jī)研究與發(fā)展. 2005(01)

博士論文
[1]面向小樣本的文本分類(lèi)模型及算法研究[D]. 劉川.電子科技大學(xué) 2017

碩士論文
[1]基于特征學(xué)習(xí)的分布式文本挖掘算法研究與應(yīng)用[D]. 尹航.北京郵電大學(xué) 2015
[2]基于條件隨機(jī)場(chǎng)的自動(dòng)分詞技術(shù)的研究[D]. 陳晴.東北大學(xué) 2005



本文編號(hào)：3191236