隨著互聯(lián)網(wǎng)時(shí)代眾多新興自媒體的誕生與發(fā)展,人工處理提煉信息的速度已經(jīng)遠(yuǎn)遠(yuǎn)落后于文字信息的指數(shù)式增長,造成大量最新的信息不能及時(shí)處理,使人們面對越來越多的信息無法一一閱讀。自動(dòng)文本摘要技術(shù)是自然語言處理的一個(gè)重要領(lǐng)域,能夠幫助人們從文本中精簡、提煉和總結(jié)重要信息,過濾無用信息,提高閱讀效率,提升信息處理效率,減少人力物力成本,提高社會(huì)生產(chǎn)力。得益于深度學(xué)習(xí)的蓬勃發(fā)展,理解式文本摘要在近些年有了新的發(fā)展與突破。本文基于深度學(xué)習(xí)構(gòu)建理解式文本摘要模型,解決以往深度學(xué)習(xí)文本摘要模型存在的一些問題,提升生成的文本摘要的質(zhì)量。主要完成了以下工作:(1)提出了一種基于改進(jìn)注意力的文本摘要模型,通過編碼器、解碼器保持自動(dòng)抽象生成文本摘要的能力,嵌入層使用廣義自回歸預(yù)訓(xùn)練模型提取語義特征,充分學(xué)習(xí)文本上下文信息,深度挖掘文本內(nèi)在特征。(2)針對未登錄詞(OOV)問題,通過使用指針生成器直接從源文本中選擇復(fù)制單詞,提高文本摘要的準(zhǔn)確度。(3)針對文本摘要單詞重復(fù)的問題,提出并使用兩種改進(jìn)的注意力,使用歷史緩存注意力降低過往產(chǎn)生的注意力高的部分,讓模型更加關(guān)注之前較少注意的部分,鼓勵(lì)模型能夠關(guān)注到更多的單詞...

【文章頁數(shù)】：77 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖2-1循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

第二章相關(guān)技術(shù)介紹9第二章相關(guān)技術(shù)介紹2.1深度學(xué)習(xí)2.1.1循環(huán)神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)[41](Recurrentneuralnetwork，簡稱RNN)是深度學(xué)習(xí)中神經(jīng)網(wǎng)絡(luò)的一種，所有內(nèi)部循環(huán)單元在時(shí)間維度上依次鏈?zhǔn)竭B接，使得它能夠表現(xiàn)出時(shí)間上的動(dòng)態(tài)性動(dòng)作。循環(huán)神經(jīng)網(wǎng)絡(luò)由前饋神....

圖2-2長短期記憶網(wǎng)絡(luò)結(jié)構(gòu)

電子科技大學(xué)碩士學(xué)位論文10需要學(xué)習(xí)的參數(shù)總數(shù)。1tttsWsUfx(2-1)tsoftmaxoVst(2-2)循環(huán)神經(jīng)網(wǎng)絡(luò)會(huì)記住過去，其決策受到過去學(xué)習(xí)的影響。盡管循環(huán)神經(jīng)網(wǎng)絡(luò)在訓(xùn)練中的學(xué)習(xí)方式類似，但它會(huì)記住在生成輸出時(shí)從先前輸入中學(xué)到的東西。循環(huán)神經(jīng)網(wǎng)絡(luò)可以采用一個(gè)或多個(gè)輸....

圖2-3序列到序列模型結(jié)構(gòu)

電子科技大學(xué)碩士學(xué)位論文122.1.3序列到序列模型序列到序列模型是一個(gè)編碼器-解碼器結(jié)構(gòu)的網(wǎng)絡(luò)，將一個(gè)序列轉(zhuǎn)換為另一個(gè)序列，編碼器將每個(gè)項(xiàng)轉(zhuǎn)換為包含該項(xiàng)及其上下文的相應(yīng)隱藏向量，解碼器使用先前的輸出作為輸入上下文來逆轉(zhuǎn)該過程，將向量轉(zhuǎn)換為輸出項(xiàng)。序列到序列模型在語言翻譯、問答系....

圖2-4注意力模型結(jié)構(gòu)

第二章相關(guān)技術(shù)介紹13在圖2-3(b)所示的結(jié)構(gòu)中，編碼器和解碼器都用長短期記憶網(wǎng)絡(luò)結(jié)構(gòu)，每句話的末尾使用“<EOS>”標(biāo)志標(biāo)示。在解碼器中，每個(gè)時(shí)刻的輸出會(huì)作為下一個(gè)時(shí)刻的輸入，直到解碼器在某個(gè)時(shí)刻預(yù)測出特殊符號<EOS>結(jié)束。解碼器預(yù)測第t個(gè)時(shí)間步的輸出時(shí)計(jì)算過程如公式(2-....

本文編號：3937050