飛速發(fā)展的互聯(lián)網(wǎng)與大數(shù)據(jù)技術(shù)使我們置身于信息爆炸的時(shí)代,同時(shí)也導(dǎo)致文本信息過載的問題變得更加嚴(yán)重。通過互聯(lián)網(wǎng)我們能夠快速獲取海量信息,但網(wǎng)絡(luò)中文本含有大量的冗余數(shù)據(jù),自動(dòng)文本摘要的目的是提煉出文本的關(guān)鍵內(nèi)容并生成簡(jiǎn)短摘要,能夠有效提升用戶的使用體驗(yàn),故頗具研究意義。目前,基于深度學(xué)習(xí)的自動(dòng)文本摘要技術(shù)已經(jīng)取得了不錯(cuò)的發(fā)展,但是受限于軟硬件條件和模型復(fù)雜度的要求,在文本較長(zhǎng)的情況下相關(guān)算法還是存在許多不足,并且生成的摘要難以充分覆蓋源文本的關(guān)鍵信息。本文主要基于深度學(xué)習(xí)技術(shù),設(shè)計(jì)合適的模型架構(gòu)和訓(xùn)練策略,有效改善單文檔中長(zhǎng)文本輸入的生成式文本摘要效果。本文的主要工作和研究成果如下:本文基于序列到序列基礎(chǔ)架構(gòu)設(shè)計(jì)生成式自動(dòng)文本摘要模型,借助遷移學(xué)習(xí)的思想,提出了基于預(yù)訓(xùn)練模型的生成式自動(dòng)文本摘要算法,有效增強(qiáng)了摘要模型的文本表示和特征抽取能力。并且,本文引入多任務(wù)學(xué)習(xí),針對(duì)性地設(shè)計(jì)了三階段訓(xùn)練策略:第一階段使用抽取式文本摘要任務(wù)對(duì)模型的編碼器部分進(jìn)行微調(diào);第二階段使用生成式文本摘要任務(wù)對(duì)整個(gè)模型進(jìn)行訓(xùn)練;第三階段使用多任務(wù)學(xué)習(xí)對(duì)抽取式和生成式文本摘要任務(wù)進(jìn)行聯(lián)合建模并訓(xùn)練,最終在真實(shí)數(shù)據(jù)集...

【文章頁數(shù)】：79 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景與意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 抽取式文本摘要的研究現(xiàn)狀
        1.2.2 生成式文本摘要的研究現(xiàn)狀
        1.2.3 自然語言處理預(yù)訓(xùn)練技術(shù)的研究現(xiàn)狀
    1.3 論文的主要工作
    1.4 論文的結(jié)構(gòu)安排
第二章 相關(guān)理論與技術(shù)
    2.1 語言模型與詞向量建模
        2.1.1 語言模型
        2.1.2 詞向量建模
    2.2 自然語言處理特征抽取器
        2.2.1 循環(huán)神經(jīng)網(wǎng)絡(luò)
        2.2.2 注意力機(jī)制
        2.2.3 Transformer
    2.3 遷移學(xué)習(xí)與多任務(wù)學(xué)習(xí)
        2.3.1 遷移學(xué)習(xí)
        2.3.2 多任務(wù)學(xué)習(xí)
    2.4 本章小結(jié)
第三章 基于預(yù)訓(xùn)練機(jī)制的生成式文本摘要方法研究
    3.1 研究目標(biāo)
    3.2 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的生成式文本摘要模型
    3.3 改進(jìn)的基于預(yù)訓(xùn)練機(jī)制的生成式文本摘要模型
        3.3.1 BERT預(yù)訓(xùn)練模型
        3.3.2 基于Transformer的生成式文本摘要模型
    3.4 改進(jìn)的基于多任務(wù)學(xué)習(xí)的三階段訓(xùn)練策略
    3.5 本章小結(jié)
第四章 關(guān)鍵信息增強(qiáng)的生成式文本摘要方法研究
    4.1 研究目標(biāo)
    4.2 基于圖模型的關(guān)鍵句提取算法
    4.3 基于分類模型的關(guān)鍵詞提取算法
    4.4 改進(jìn)的關(guān)鍵信息增強(qiáng)的生成式文本摘要模型
    4.5 本章小結(jié)
第五章 實(shí)驗(yàn)設(shè)計(jì)及分析
    5.1 實(shí)驗(yàn)運(yùn)行環(huán)境與實(shí)驗(yàn)數(shù)據(jù)集
    5.2 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)
    5.3 關(guān)鍵信息抽取效果分析
        5.3.1 關(guān)鍵句抽取效果分析
        5.3.2 關(guān)鍵詞抽取效果分析
    5.4 文本摘要各項(xiàng)實(shí)驗(yàn)結(jié)果分析
        5.4.1 文本摘要算法整體分析
        5.4.2 不同改進(jìn)策略對(duì)文本摘要結(jié)果的影響
    5.5 本章小結(jié)
第六章 總結(jié)與展望
    6.1 全文總結(jié)
    6.2 不足與展望
致謝
參考文獻(xiàn)
攻讀碩士期間取得的成果



本文編號(hào)：3758227