融合注意力機制的抽取式摘要生成技術研究
發(fā)布時間：2021-01-12 04:20
移動互聯(lián)網(wǎng)的不斷發(fā)展使得互聯(lián)網(wǎng)用戶的群體不斷壯大,網(wǎng)絡上產(chǎn)生了海量的數(shù)據(jù)信息并且呈爆發(fā)式增長。你可能曾經(jīng)遇到過這樣的場景:當你因為對文章的標題感興趣而點開文章連接時,你發(fā)現(xiàn)文章的內(nèi)容與標題毫無關系。如何快速在這些海量信息中準確的獲取我們需要的文本信息具有非常重要的研究價值,文本摘要生成技術作為解決這一難題的重要技術應運而生。隨著對信息技術和人工智能研究的不斷深入,文本自動摘要生成技術成為主流方法,但現(xiàn)有的文本自動摘要生成方法仍然存在很多問題。在預訓練的詞嵌入表示方面,如何更準確的表示句子的核心內(nèi)容一直是自然語言處理領域需要突破的難題。從生成摘要的質(zhì)量來看,一般存在句子冗余或者句間、詞間語義結構混亂的問題。在模型泛化方面,有監(jiān)督的模型訓練方法依賴于人工書寫的摘要,所以利用有限的人工摘要訓練出針對多領域的摘要自動生成模型,是讓自動摘要生成技術廣泛應用的關鍵點。針對上述問題,本文主要做了以下三個方面的工作:文章分析了端到端模型中常用的解碼器模型,通過分析我們發(fā)現(xiàn),常見解碼器存在信息遺失問題,可以通過添加注意力模型來解決這一問題。所以本文首先采用了有更好表征能力的BERT（Bidirectio...
【文章來源】：山東師范大學山東省
【文章頁數(shù)】：62 頁
【學位級別】：碩士
【部分圖文】：
Transformer的整體結構（a）和模型中每一個編碼器、解碼器的內(nèi)部結構（b）
山東師范大學碩士學位論文15編碼器的主要作用使將輸入的數(shù)據(jù)轉(zhuǎn)化為詞向量，然后結合詞的位置信息整合成為前饋網(wǎng)絡的輸入，位置信息的轉(zhuǎn)化公式由公式2-1、2-2表示。2()=(100002)(2-1)2+！()=cos(100002)(2-2)其中，是向量的位置id為的位置映射出來的詞向量。除了通過利用位置輸入與位置向量加權表示的位置信息以外，自注意力機制還利用了、、三個向量來表示該詞與其他詞之間的相關程度：ttention(,,)=(√)(2-3)BERT詞嵌入模型之所以能橫掃各大NLP任務，其中一個很大的原因就在于微調(diào)機制的提出，它使BERT詞嵌入模型可以具有更好的泛化性。所謂的微調(diào)機制是指模型在通過訓練集對第一個任務進行訓練以后得到模型所需的參數(shù)，在對第二個任務進行訓練的時候模型的初始化參數(shù)采用第一任務的參數(shù)，然后在后續(xù)訓練過程中不斷的進行變化以達到第圖2-2編碼器的內(nèi)部結構
山東師范大學碩士學位論文16二個任務的訓練需求。預訓練的方法針對于下游任務訓練集數(shù)據(jù)量較少的情況，通過利用先前任務的參數(shù)直接進行訓練和調(diào)參，經(jīng)此步驟BERT模型就有較好的泛化性。據(jù)此我們可以利用已有的新聞數(shù)據(jù)集通過BERT模型將其泛化到數(shù)據(jù)量較少的其他類型文章，來用更小的數(shù)據(jù)量訓練其他類型文章的自動摘要模型。2.2雙向長短期記憶網(wǎng)絡（Bi-LSTM）在NLP任務中我們都是將文本信息轉(zhuǎn)化為序列進行輸入的，所以在解碼器模型中我們也一般使用在序列建模問題上表現(xiàn)較好的RNN或是LSTM來解決問題。在本章中我們先介紹RNN然后在此基礎上來介紹LSTM。循環(huán)神經(jīng)網(wǎng)絡(RNN)中最重要的就是隱藏狀態(tài)（hiddenstate）h層，隱藏狀態(tài)層的功能就是通過對序列數(shù)據(jù)進行特征提取轉(zhuǎn)化為輸出。圖2-3為循環(huán)神經(jīng)網(wǎng)絡的基本結構。根據(jù)圖2-3所示，我們可以看出之所以叫它循環(huán)網(wǎng)絡是因為網(wǎng)絡的每一次輸出都包含了前一次圖2-3循環(huán)神經(jīng)網(wǎng)絡結構圖2-4RNN網(wǎng)絡的端到端模型
【參考文獻】：
期刊論文
[1]基于層次聚類和TextRank的視頻摘要[J]. 張璐,呂進來. 計算機工程與設計. 2019(07)
[2]一種基于加權網(wǎng)絡和句子窗口方案的信息檢索模型[J]. 陸偉,程齊凱. 情報學報. 2013 (08)
[3]基于局部主題關鍵句抽取的自動文摘方法[J]. 徐超,王萌,何婷婷,張勇. 計算機工程. 2008(22)
碩士論文
[1]基于TextRank的文本自動摘要研究[D]. 李娜娜.山東師范大學 2019
[2]基于圖的生成式文本摘要技術研究[D]. 孫建東.北京郵電大學 2019
[3]基于語義層次聚類的多文檔自動摘要研究[D]. 胡立.華南理工大學 2014
本文編號：2972138
【文章來源】：山東師范大學山東省
【文章頁數(shù)】：62 頁
【學位級別】：碩士
【部分圖文】：
Transformer的整體結構（a）和模型中每一個編碼器、解碼器的內(nèi)部結構（b）
山東師范大學碩士學位論文15編碼器的主要作用使將輸入的數(shù)據(jù)轉(zhuǎn)化為詞向量，然后結合詞的位置信息整合成為前饋網(wǎng)絡的輸入，位置信息的轉(zhuǎn)化公式由公式2-1、2-2表示。2()=(100002)(2-1)2+！()=cos(100002)(2-2)其中，是向量的位置id為的位置映射出來的詞向量。除了通過利用位置輸入與位置向量加權表示的位置信息以外，自注意力機制還利用了、、三個向量來表示該詞與其他詞之間的相關程度：ttention(,,)=(√)(2-3)BERT詞嵌入模型之所以能橫掃各大NLP任務，其中一個很大的原因就在于微調(diào)機制的提出，它使BERT詞嵌入模型可以具有更好的泛化性。所謂的微調(diào)機制是指模型在通過訓練集對第一個任務進行訓練以后得到模型所需的參數(shù)，在對第二個任務進行訓練的時候模型的初始化參數(shù)采用第一任務的參數(shù)，然后在后續(xù)訓練過程中不斷的進行變化以達到第圖2-2編碼器的內(nèi)部結構
山東師范大學碩士學位論文16二個任務的訓練需求。預訓練的方法針對于下游任務訓練集數(shù)據(jù)量較少的情況，通過利用先前任務的參數(shù)直接進行訓練和調(diào)參，經(jīng)此步驟BERT模型就有較好的泛化性。據(jù)此我們可以利用已有的新聞數(shù)據(jù)集通過BERT模型將其泛化到數(shù)據(jù)量較少的其他類型文章，來用更小的數(shù)據(jù)量訓練其他類型文章的自動摘要模型。2.2雙向長短期記憶網(wǎng)絡（Bi-LSTM）在NLP任務中我們都是將文本信息轉(zhuǎn)化為序列進行輸入的，所以在解碼器模型中我們也一般使用在序列建模問題上表現(xiàn)較好的RNN或是LSTM來解決問題。在本章中我們先介紹RNN然后在此基礎上來介紹LSTM。循環(huán)神經(jīng)網(wǎng)絡(RNN)中最重要的就是隱藏狀態(tài)（hiddenstate）h層，隱藏狀態(tài)層的功能就是通過對序列數(shù)據(jù)進行特征提取轉(zhuǎn)化為輸出。圖2-3為循環(huán)神經(jīng)網(wǎng)絡的基本結構。根據(jù)圖2-3所示，我們可以看出之所以叫它循環(huán)網(wǎng)絡是因為網(wǎng)絡的每一次輸出都包含了前一次圖2-3循環(huán)神經(jīng)網(wǎng)絡結構圖2-4RNN網(wǎng)絡的端到端模型
【參考文獻】：
期刊論文
[1]基于層次聚類和TextRank的視頻摘要[J]. 張璐,呂進來. 計算機工程與設計. 2019(07)
[2]一種基于加權網(wǎng)絡和句子窗口方案的信息檢索模型[J]. 陸偉,程齊凱. 情報學報. 2013 (08)
[3]基于局部主題關鍵句抽取的自動文摘方法[J]. 徐超,王萌,何婷婷,張勇. 計算機工程. 2008(22)
碩士論文
[1]基于TextRank的文本自動摘要研究[D]. 李娜娜.山東師范大學 2019
[2]基于圖的生成式文本摘要技術研究[D]. 孫建東.北京郵電大學 2019
[3]基于語義層次聚類的多文檔自動摘要研究[D]. 胡立.華南理工大學 2014
本文編號：2972138
本文鏈接：http://sikaile.net/kejilunwen/shengwushengchang/2972138.html
最近更新
教材專著
