在當(dāng)今世界,每時每刻都有大量的信息從各種渠道推送給人們,如何從這些信息中篩選出重要信息顯得尤為關(guān)鍵,文本摘要就可以幫助做到這一點(diǎn)。本文主要針對句子級概括式文本摘要任務(wù)和文檔級摘取式文本摘要任務(wù)展開研究。對于句子級概括式文本摘要任務(wù),提出了基于循環(huán)神經(jīng)網(wǎng)絡(luò)和基于卷積網(wǎng)神經(jīng)網(wǎng)絡(luò)的Sequence-to-sequence（Seq2Seq）模型:基于循環(huán)神經(jīng)網(wǎng)絡(luò)的模型結(jié)合了聯(lián)合式選擇機(jī)制,將輸入輸出結(jié)合起來進(jìn)行關(guān)鍵信息的選擇;基于卷積神經(jīng)網(wǎng)絡(luò)的模型引入了全局選擇機(jī)制,使得原句每個單詞的表示結(jié)合了全局上下文向量的信息。對于文檔級摘取式文本摘要任務(wù),提出了無監(jiān)督式模型和有監(jiān)督式模型:無監(jiān)督式模型基于TextRank模型,并依賴句子語義相似度進(jìn)行計(jì)算;有監(jiān)督式模型基于Seq2Seq模型,采用類似Pointer Network的處理模式,并使用了選擇性編碼以更準(zhǔn)確地選擇出更關(guān)鍵的句子。在實(shí)驗(yàn)部分,對于句子級概括式文本摘要任務(wù),所提出的模型在English Gigaword數(shù)據(jù)集上相對于基本的Seq2Seq模型在ROUGE-2上提升了1.92。文檔級摘取式文本摘要任務(wù)以CNN/Daily Mail數(shù)據(jù)集... 

【文章來源】：上海交通大學(xué)上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：78 頁

【學(xué)位級別】：碩士

【部分圖文】：

近年與文本摘要相關(guān)的論文發(fā)表數(shù)量Fig.1-1Numberofpublicationsontextsummarization

上海交通大學(xué)碩士學(xué)位論文-9-大型網(wǎng)絡(luò)都是基于該模型。神經(jīng)網(wǎng)絡(luò)模型從其命名來看就可以知道它是一種模擬人腦的運(yùn)行方式的方法，早在二十世紀(jì)八九十年代，神經(jīng)網(wǎng)絡(luò)便已經(jīng)有了一定的應(yīng)用。近年來，隨著計(jì)算機(jī)計(jì)算性能的顯著提升，大規(guī)模神經(jīng)網(wǎng)絡(luò)的運(yùn)行成為可能，神經(jīng)網(wǎng)絡(luò)也得以用于解決更為復(fù)雜的任務(wù)。目前針對文本摘要表現(xiàn)最好的模型也主要基于神經(jīng)網(wǎng)絡(luò)模型，因此了解神經(jīng)網(wǎng)絡(luò)模型的運(yùn)作方式也是必不可少的。2.2.1神經(jīng)元如果是神經(jīng)網(wǎng)絡(luò)模型是一個龐大的機(jī)器，那神經(jīng)元就相當(dāng)于構(gòu)成這個龐大機(jī)器的一個個組件，神經(jīng)網(wǎng)絡(luò)模型中的神經(jīng)元的結(jié)構(gòu)模仿生物的神經(jīng)元，根據(jù)給定的輸入得到對應(yīng)的輸出。假設(shè)有一個d維的向量12=(,,...,)dxxxx輸入到神經(jīng)元中，用一個量z表示輸入向量輸入到神經(jīng)元之后的加權(quán)和：=1=+diiizwxb（2-1）T=wx+b（2-2）其中12(,,...,)ddw=www是d維權(quán)重向量，b為偏置量。加權(quán)和z在經(jīng)過一個非線性函數(shù)后，得到神經(jīng)元的激勵值a：a=f(z)（2-3）這里的函數(shù)f為非線性激活函數(shù)，圖2-1為一個典型的神經(jīng)元的示意圖：圖2-1典型的神經(jīng)元結(jié)構(gòu)Fig.2-1Atypicalarchitectureofaneuron

上海交通大學(xué)碩士學(xué)位論文-10-2.2.2激活函數(shù)在上一小節(jié)中我們可以發(fā)現(xiàn)神經(jīng)元需要對輸入向量進(jìn)行一個加權(quán)求和的計(jì)算，而這樣的加權(quán)求和的計(jì)算過程實(shí)際上是對輸入各維度的一個線性組合，而這樣的線性組合得到的結(jié)果的表達(dá)能力是比較有限的，所以需要加入一些非線性的因素來增加神經(jīng)網(wǎng)絡(luò)模型的表達(dá)能力。除了非線性，激活函數(shù)一般還需要具有可微性、單調(diào)性和有限的輸出值范圍的特性。常用的激活函數(shù)包括Sigmoid函數(shù)、Tanh函數(shù)以及ReLU函數(shù)[12]。Sigmoid函數(shù)定義為：1()1exp()=+xx（2-4）Sigmoid函數(shù)接受實(shí)數(shù)域的輸入，得到0到1之間的輸出。當(dāng)輸入值在0附近時，Sigmoid函數(shù)近似為線性函數(shù)，當(dāng)輸入值趨近于時，輸出值趨近于0，當(dāng)輸入值趨近于+時，輸出值趨近于1。Sigmoid函數(shù)是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型中最常用的激活函數(shù)，然而，從Sigmoid函數(shù)的特性上我們也可以發(fā)現(xiàn)，該函數(shù)有一個非常大的缺點(diǎn)：在使用Sigmoid函數(shù)時，如果輸入非常大或者非常小，計(jì)算出來的梯度會接近于0，這將使網(wǎng)絡(luò)的學(xué)習(xí)變得比較困難，此外，Sigmoid函數(shù)的輸出也不是零中心化的，圖2-2展示了Sigmoid函數(shù)的圖像。圖2-2Sigmoid函數(shù)Fig.2-2SigmoidfunctionTanh函數(shù)在函數(shù)圖像上跟Sigmoid函數(shù)比較類似，它的數(shù)學(xué)表達(dá)式如下：exp()exp()Tanh()exp()exp()=+xxxxx（2-5）與上文提到的Sigmoid函數(shù)不同，Tanh函數(shù)是零中心化的，非零中心化的輸出會使得下一層神經(jīng)元的輸入發(fā)生偏移，從而減慢梯度下降的收斂速度，不利于


本文編號：3598378