基于深度學(xué)習(xí)的文本分類是一項(xiàng)非常依賴標(biāo)記數(shù)據(jù)的有監(jiān)督學(xué)習(xí)任務(wù),高質(zhì)量大規(guī)模的標(biāo)記數(shù)據(jù)集通常很難獲得,人工標(biāo)記數(shù)據(jù)的成本過(guò)于高昂。針對(duì)這一現(xiàn)象,本論文研究了使用深度遷移學(xué)習(xí)技術(shù)解決這一問(wèn)題的可行性和適用性,通過(guò)利用未標(biāo)記數(shù)據(jù)和相關(guān)領(lǐng)域的標(biāo)記數(shù)據(jù),降低對(duì)目標(biāo)領(lǐng)域標(biāo)記數(shù)據(jù)的依賴程度。在基于任務(wù)的遷移和基于領(lǐng)域的遷移兩個(gè)方面對(duì)LSTM文本分類模型（Long Short Term Memory Based Classification Model）提出了改進(jìn)與創(chuàng)新,本文主要研究工作如下:（1）對(duì)LSTM文本分類模型和深度遷移學(xué)習(xí)技術(shù)進(jìn)行了介紹。在基于任務(wù)的深度遷移方面,分析了SA自編碼器（Seq2seq Autoencoder）的結(jié)構(gòu)及其作為源任務(wù)的深度遷移方法。在基于領(lǐng)域的深度遷移方面,對(duì)傳統(tǒng)跨領(lǐng)域遷移學(xué)習(xí)方法進(jìn)行了研究。（2）針對(duì)SA自編碼器捕捉文本表示特征能力較弱的問(wèn)題,本文將對(duì)抗訓(xùn)練引入SA自編碼器,使其能夠在無(wú)監(jiān)督狀態(tài)下,從被對(duì)抗擾動(dòng)破壞的輸入中重構(gòu)原文,不再是對(duì)輸入文本的簡(jiǎn)單復(fù)制。此外,本文使用Bi-LSTM網(wǎng)絡(luò)構(gòu)造編碼器,使其能夠根據(jù)前后文的雙向信息進(jìn)行語(yǔ)義編碼,并使編碼結(jié)果參與每... 

【文章頁(yè)數(shù)】：71 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 課題研究背景及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 文本分類技術(shù)研究現(xiàn)狀
        1.2.2 遷移學(xué)習(xí)技術(shù)研究現(xiàn)狀
    1.3 論文研究?jī)?nèi)容及組織結(jié)構(gòu)
        1.3.1 論文主要研究?jī)?nèi)容
        1.3.2 論文組織結(jié)構(gòu)
    1.4 本章小結(jié)
第2章 LSTM文本分類與深度遷移
    2.1 基于LSTM網(wǎng)絡(luò)的文本分類技術(shù)
        2.1.1 LSTM網(wǎng)絡(luò)
        2.1.2 Softmax分類器
        2.1.3 LSTM文本分類模型
    2.2 深度遷移學(xué)習(xí)技術(shù)
        2.2.1 遷移學(xué)習(xí)定義及分類
        2.2.2 深度遷移學(xué)習(xí)方法簡(jiǎn)介
        2.2.3 神經(jīng)網(wǎng)絡(luò)的遷移與訓(xùn)練
    2.3 基于深度遷移的文本分類模型
        2.3.1 RNNLM語(yǔ)言模型
        2.3.2 以RNNLM為源任務(wù)的深度遷移
    2.4 本章小節(jié)
第3章 改進(jìn)的SA自編碼器及其深度遷移
    3.1 SA自編碼器模型及其深度遷移方法研究
        3.1.1 Seq2seq架構(gòu)研究
        3.1.2 SA自編碼器模型
        3.1.3 以SA自編碼器為源任務(wù)的深度遷移方法
    3.2 改進(jìn)的SA自編碼器模型構(gòu)建及其深度遷移
        3.2.1 AdvSA自編碼器特點(diǎn)概述
        3.2.2 引入對(duì)抗訓(xùn)練的嵌入層
        3.2.3 改進(jìn)的編碼器與解碼器
        3.2.4 解碼器詞匯表構(gòu)建
        3.2.5 以改進(jìn)的SA自編碼器為源任務(wù)的深度遷移
    3.3 本章小節(jié)
第4章 基于跨領(lǐng)域遷移的文本分類模型
    4.1 領(lǐng)域差異度量
    4.2 傳統(tǒng)跨領(lǐng)域遷移學(xué)習(xí)方法研究
        4.2.1 數(shù)據(jù)分布自適應(yīng)方法
        4.2.2 特征選擇方法
    4.3 AM-AdpLSTM文本分類模型構(gòu)建
        4.3.1 網(wǎng)絡(luò)自適應(yīng)與注意力機(jī)制原理
        4.3.2 AM-AdpLSTM模型特點(diǎn)概述
        4.3.3 AM-AdpLSTM模型網(wǎng)絡(luò)結(jié)構(gòu)
        4.3.4 特征選擇層內(nèi)部機(jī)制
        4.3.5 自適應(yīng)層及模型損失
    4.4 任務(wù)與領(lǐng)域共同遷移的文本分類模型構(gòu)建
    4.5 本章小結(jié)
第5章 實(shí)驗(yàn)結(jié)果及分析
    5.1 文本分類評(píng)價(jià)指標(biāo)
    5.2 實(shí)驗(yàn)環(huán)境
    5.3 基于自編碼器任務(wù)遷移的文本分類實(shí)驗(yàn)
        5.3.1 實(shí)驗(yàn)設(shè)計(jì)
        5.3.2 實(shí)驗(yàn)數(shù)據(jù)集及預(yù)處理
        5.3.3 模型結(jié)構(gòu)及參數(shù)設(shè)置
        5.3.4 模型參數(shù)評(píng)估
        5.3.5 實(shí)驗(yàn)結(jié)果分析
    5.4 基于跨領(lǐng)域遷移的文本分類實(shí)驗(yàn)
        5.4.1 實(shí)驗(yàn)設(shè)計(jì)
        5.4.2 實(shí)驗(yàn)數(shù)據(jù)集及預(yù)處理
        5.4.3 模型結(jié)構(gòu)及參數(shù)設(shè)置
        5.4.4 模型參數(shù)評(píng)估
        5.4.5 實(shí)驗(yàn)結(jié)果分析
    5.5 本章小結(jié)
總結(jié)與展望
致謝
參考文獻(xiàn)
攻讀碩士學(xué)位期間發(fā)表的論文及科研成果



本文編號(hào)：3646491