發(fā)布時(shí)間：2021-01-28 12:07

　　隨著互聯(lián)網(wǎng)的發(fā)展,人們接觸的信息開始爆炸式增長(zhǎng),如何高效的獲取知識(shí)變得尤為重要。為了更好的處理在不同領(lǐng)域的信息膨脹問(wèn)題,研究者們提出了文本摘要的自動(dòng)生成。文本自動(dòng)摘要技術(shù)通過(guò)對(duì)文章的壓縮和提煉,為更快更準(zhǔn)確的獲取知識(shí)提供了很大的幫助,從而節(jié)省了大量的閱讀時(shí)間。經(jīng)過(guò)十幾年的研究,文本摘要從方法層面上可分為抽取式摘要和生成式摘要兩種。近些年,由于深度學(xué)習(xí)的發(fā)展以及基于注意力的端到端模型的提出,使得文本摘要的自動(dòng)生成達(dá)到很好的效果。然而,現(xiàn)有的這些端到端模型其實(shí)是一個(gè)黑盒,我們只需要輸入文本,在生成過(guò)程中很難被控制。除此之外,這些模型識(shí)別關(guān)鍵信息能力不足,使得生成的摘要缺少關(guān)鍵信息,而關(guān)鍵信息是摘要最不可或缺的部分。針對(duì)這一問(wèn)題,我們提出了一種結(jié)合了文本摘要生成式模型和抽取式模型的關(guān)鍵信息指導(dǎo)神經(jīng)網(wǎng)絡(luò),并提出了聯(lián)合學(xué)習(xí)進(jìn)一步改進(jìn)模型。主要工作和貢獻(xiàn)如下:1.提出了一種新的關(guān)鍵信息指導(dǎo)網(wǎng)絡(luò)（KIGN）,該網(wǎng)絡(luò)將抽取式摘要和生成式摘要成功融合在一起。首先,我們通過(guò)一個(gè)抽取式模型從輸入文本中獲取關(guān)鍵詞。然后,我們介紹關(guān)鍵信息指導(dǎo)網(wǎng)絡(luò)（KIGN）,這個(gè)網(wǎng)絡(luò)對(duì)關(guān)鍵詞進(jìn)行編碼并指導(dǎo)生成過(guò)程。由于上述的模... 

【文章來(lái)源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：63 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２－１循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖??圖２－１是循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖，圖的左右兩邊分別是簡(jiǎn)單的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)??

到當(dāng)前的隱層狀態(tài)輸出。??２．１．３雙向ＬＳＴＭ模型??在上文中，描述了循環(huán)神經(jīng)網(wǎng)絡(luò)從ＲＮＮ發(fā)展到ＬＳＴＭ，圖２－１中描述的是??單向的循環(huán)神經(jīng)網(wǎng)絡(luò)。從圖中可以看出每個(gè)編碼后輸出的隱層狀態(tài)〇ｔ由上文傳來(lái)??的狀態(tài)向量和當(dāng)前時(shí)刻輸入計(jì)算得出，也就是說(shuō)輸出的隱層狀態(tài)只包含了上文的??信息，沒有包含下文的信息會(huì)導(dǎo)致當(dāng)前時(shí)刻編碼輸出不準(zhǔn)確。在本文中所用??ＬＳＴＭ模型對(duì)輸入文本進(jìn)行編碼，由于同時(shí)需要上下文的信息，所以采用前向和??１０??

（ｘ〇）?（Ｘｉ）?（Ｘｚ）?．．．?（ｘ？）??圖２－３雙向ＬＳＴＭ網(wǎng)絡(luò)結(jié)構(gòu)??如圖２－３所示，下面是網(wǎng)絡(luò)的輸入，然后輸入分別到正向和反向兩個(gè)ＬＳＴＭ??網(wǎng)絡(luò)中。首先看正向網(wǎng)絡(luò)，其中ｓ是初始的狀態(tài)向量，然后狀態(tài)向量隨著輸入順??序的往右移動(dòng)，在每個(gè)輸入時(shí)刻更新，同時(shí)和輸入一起獲取正向的隱層狀態(tài)輸出??至ＩＪ；同理反向網(wǎng)絡(luò)也有個(gè)初始的狀態(tài)向量，然后輸入是倒序輸入的，先從文本的??最后一個(gè)詞開始，然后往左移動(dòng)狀態(tài)向量，并輸出每個(gè)時(shí)刻的隱層狀態(tài)。雙向??ＬＳＴＭ的輸出來(lái)自于正向網(wǎng)絡(luò)和反向網(wǎng)絡(luò)的拼接，即雙向ＬＳＴＭ在中間隱藏層??保留了兩個(gè)值，而且可以看出正向ＬＳＴＭ網(wǎng)絡(luò)和反向的是相互獨(dú)立的，包括輸入??和信息傳導(dǎo)過(guò)程，只在隱藏層的時(shí)候保留兩個(gè)。除此之外，可以看出模型中間的??每一個(gè)是一個(gè)ＬＳＴＭ的單元


本文編號(hào)：3004968