發(fā)布時間：2024-05-14 23:22

　　在互聯(lián)網(wǎng)時代,信息的爆炸性增長,促使人們越來越重視海量文本數(shù)據(jù)的潛在價值。利用或改良現(xiàn)有的人工智能技術(shù),進而從海量文本數(shù)據(jù)中挖掘潛藏的信息,是當(dāng)前自然語言處理領(lǐng)域的研究重點和難點。文本分類研究涉及自然文本內(nèi)容理解和模式分類等若干問題,訓(xùn)練性能卓越的文本表示方法是實現(xiàn)文本分類任務(wù)的前提。從獨熱編碼到分布式表示,再到神經(jīng)網(wǎng)絡(luò)預(yù)訓(xùn)練語言模型,文本表示方法獲得了長足的發(fā)展,為大量實際自然語言處理任務(wù)奠定了堅實的基礎(chǔ)。但是,以循環(huán)神經(jīng)網(wǎng)絡(luò)RNN(Recurrent Neural Network)為核心的文本表示模型通常是一種有偏模型,其捕獲的語義信息不平衡,并且不能并行計算;以卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolution Neural Network)為核心的文本表示模型雖可并行計算,但卻不能捕獲單詞間的長距離依賴關(guān)系;近期熱門的神經(jīng)網(wǎng)絡(luò)預(yù)訓(xùn)練語言模型不僅考慮文章整體上下文環(huán)境,而且可以解決當(dāng)前文本表示模型特征抽取能力不強、無法學(xué)習(xí)大量無監(jiān)督數(shù)據(jù)中包含的語言學(xué)知識等問題,如Google提出的BERT模型。但預(yù)訓(xùn)練語言模型同樣存在參數(shù)量太大,預(yù)訓(xùn)練耗時較長等問題。因此,為了更好的完成文本分類任務(wù),本...

【文章頁數(shù)】：82 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 引言
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 本文主要研究內(nèi)容
    1.4 組織結(jié)構(gòu)
    1.5 本章小結(jié)
第2章 相關(guān)理論與技術(shù)
    2.1 文本表示與分類概述
        2.1.1 文本預(yù)處理
        2.1.2 評估方法
        2.1.3 評估指標(biāo)
    2.2 文本表示方法
        2.2.1 向量空間模型(VSM)
        2.2.2 潛在語義索引(LSI)
        2.2.3 Word2vec模型
        2.2.4 GloVe模型
    2.3 文本分類算法
    2.4 神經(jīng)網(wǎng)絡(luò)
        2.4.1 卷積神經(jīng)網(wǎng)絡(luò)(CNN)
        2.4.2 自注意力網(wǎng)絡(luò)(SAN)
        2.4.3 Transformer模型
    2.5 本章小結(jié)
第3章 基于融合特征和多通道CNN的文本表示與分類模型
    3.1 CT_Word2vec文本表示模型
    3.2 LTCW_CNN文本表示與分類模型
        3.2.1 LTCW文本表示模型
        3.2.2 LTCW_CNN模型
    3.3 實驗數(shù)據(jù)集和相關(guān)參數(shù)設(shè)置
        3.3.1 實驗數(shù)據(jù)集
        3.3.2 相關(guān)參數(shù)設(shè)置
    3.4 實驗結(jié)果與分析
        3.4.1 表示模型選擇
        3.4.2 LTCW融合特征表示模型
        3.4.3 LTCW_CNN文本表示與分類模型
    3.5 本章小結(jié)
第4章 基于BERT的改進文本表示與分類模型
    4.1 BERT模型
        4.1.1 BERT的輸入表征
        4.1.2 BERT的預(yù)訓(xùn)練任務(wù)
        4.1.3 BERT的微調(diào)方法
    4.2 Pre BERT模型介紹
        4.2.1 基于Co MASK方法的連續(xù)遮蔽語言模型(CMLM)
        4.2.2 上下句預(yù)測預(yù)訓(xùn)練任務(wù)(ANSP)
    4.3 Pre BERT模型實現(xiàn)
    4.4 實驗結(jié)果與分析
        4.4.1 CoMASK方法遮蔽詞比例分析
        4.4.2 ANSP任務(wù)的預(yù)訓(xùn)練情況分析
        4.4.3 PreBERT文本表示與分類模型
    4.5 本章小結(jié)
第5章 基于自注意力機制的文本表示與分類模型
    5.1 基于改進SAN的文本表示與分類模型
        5.1.1 基于相對位置嵌入的多頭自注意力機制
        5.1.2 PMSAN文本表示與分類模型
    5.2 實驗數(shù)據(jù)集和相關(guān)參數(shù)設(shè)置
        5.2.1 實驗數(shù)據(jù)集
        5.2.2 模型參數(shù)設(shè)置
    5.3 實驗結(jié)果與分析
        5.3.1 不同參數(shù)對模型的影響
        5.3.2 PMSAN模型和其他模型的對比結(jié)果
        5.3.3 PMSAN模型的效率驗證
        5.3.4 不同位置嵌入對模型的影響
    5.4 本章小結(jié)
第6章 總結(jié)及展望
    6.1 總結(jié)
    6.2 展望
參考文獻
致謝
攻讀碩士期間發(fā)表論文及科研工作



本文編號：3973563