自動摘要作為一種文本解析的重要工具,它可以從海量數(shù)據(jù)中提取出文本的主題信息,實現(xiàn)從冗余文本到簡潔文本的快速轉(zhuǎn)換。得益于深度學(xué)習(xí)技術(shù)在自然語言處理（Natural Language Processing,NLP）領(lǐng)域的快速發(fā)展,使得基于深度學(xué)習(xí)技術(shù)的生成式摘要已經(jīng)成為現(xiàn)階段摘要技術(shù)的研究熱點。對于生成式自動摘要而言,其是一種序列到序列（sequence-to-sequence,seq2seq）的模式,而將注意力機制（Attention Mechanism）融合到seq2seq以實現(xiàn)對輸入序列中某些詞的重點關(guān)注,稱之為seq2seq+attention框架。因此,本文以seq2seq+attention框架為基礎(chǔ),融入復(fù)制機制和Input-feeding方法來改善原始模型的OOV（Out-of-Vocabulary）以及注意力決定準(zhǔn)確率的問題。同時引入Bert預(yù)訓(xùn)練語言模型和Transformer模型以改善句子的長距離依賴問題。本文的主要研究內(nèi)容如下:（1）考慮到seq2seq+attention框架在生成摘要時需要先構(gòu)建一張詞表,神經(jīng)網(wǎng)絡(luò)通過自主學(xué)習(xí)后,從該詞表中選取概率最大的詞作為輸出... 

【文章來源】：南華大學(xué)湖南省

【文章頁數(shù)】：82 頁

【學(xué)位級別】：碩士

【部分圖文】：

LSTM的內(nèi)部結(jié)構(gòu)

詞的one-hot表示法

23圖2.11beam-search過程（1）從step1到step2的計算過程為：圖2.12beam-search過程（2）從step2到step3的計算過程為：圖2.13beam-search過程（3）從step3到step4的計算過程為：圖2.14beam-search過程（4）

【參考文獻(xiàn)】：
期刊論文
[1]基于改進(jìn)TextRank算法的中文文本摘要提取[J]. 徐馨韜,柴小麗,謝彬,沈晨,王敬平.  計算機工程. 2019(03)
[2]近70年文本自動摘要研究綜述[J]. 劉家益,鄒益民.  情報科學(xué). 2017(07)
[3]基于改進(jìn)的TextRank的自動摘要提取方法[J]. 余珊珊,蘇錦鈿,李鵬飛.  計算機科學(xué). 2016(06)
[4]深度學(xué)習(xí)研究與進(jìn)展[J]. 孫志遠(yuǎn),魯成祥,史忠植,馬剛.  計算機科學(xué). 2016(02)
[5]自動文本摘要技術(shù)綜述[J]. 胡俠,林曄,王燦,林立.  情報雜志. 2010(08)
[6]一種基于TFIDF方法的中文關(guān)鍵詞抽取算法[J]. 徐文海,溫有奎.  情報理論與實踐. 2008(02)

碩士論文
[1]基于潛在語義分析的文本摘要技術(shù)研究[D]. 王英杰.山東大學(xué) 2014



本文編號：2988889