作為緩解信息過載問題的一種有效手段,自動文摘一直是自然語言處理領(lǐng)域中的研究熱點。由于已有的神經(jīng)網(wǎng)絡(luò)方法尚不能有效地對長文本進(jìn)行語義編碼,目前主流的生成式自動文摘方法主要針對短文本,利用基于循環(huán)神經(jīng)網(wǎng)絡(luò)的編碼器對輸入文本進(jìn)行編碼,學(xué)習(xí)的信息主要是輸入文本所反映的序列化信息,缺乏對文本包含的物理結(jié)構(gòu)、語義結(jié)構(gòu)等結(jié)構(gòu)信息的有效利用。本文主要研究如何利用文本包含的結(jié)構(gòu)信息來提高生成摘要的準(zhǔn)確性,具體包含以下三個方面:首先,提出了一種融合文本物理結(jié)構(gòu)信息的方法。文本的物理層次結(jié)構(gòu)有助于更加準(zhǔn)確地判斷文本內(nèi)不同結(jié)構(gòu)單元的語義信息和重要程度。因此,本文提出了一個層次文本閱讀器來根據(jù)文本的物理層次結(jié)構(gòu)對文本進(jìn)行編碼,并提出了一種語義融合單元來對輸入文本不同層次的語義信息進(jìn)行融合,形成最終的文本表示提供給解碼器生成摘要。實驗結(jié)果表明,系統(tǒng)性能在ROUGE評價指標(biāo)上有顯著的提高。其次,提出了一種融合文本語義結(jié)構(gòu)信息的方法。本文以BIO標(biāo)簽表示的命名實體為詞級結(jié)構(gòu)信息,以依存句法結(jié)構(gòu)為句級結(jié)構(gòu)信息,形成淺層語義結(jié)構(gòu)信息來豐富編碼器的語義特征,擴展傳統(tǒng)基于編碼器-解碼器的文摘模型,以生成以核心實體為中心的摘要... 

【文章來源】：蘇州大學(xué)江蘇省

【文章頁數(shù)】：63 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－１編碼器－解碼器模型??－

味著輸入序列中的任意單詞對生成??輸出序列中的某個目標(biāo)單詞卩來說，影響力都是相同的。當(dāng)文本長度過長時，固定的??中間語義表示Ｃ已經(jīng)丟失了很多細(xì)節(jié)信息，這時可能導(dǎo)致編碼器生成輸出序列時沒有??針對性，從而出現(xiàn)大量重復(fù)。Ｃｈｏ等人的工作也顯示：實際測試中，隨著輸入語句??長度的＋斷增加，傳統(tǒng)編碼器－解碼器模型的性能會迅速下降。??為／解決上述問題，Ｂａｈｄａｎａｕ等人｜２６］首先在機器翻譯任務(wù)中引入了注意力機制??（Ａｔｔｅｎｔｉｏｎ?Ｍｅｃｈａｎｉｓｍ）來拓展傳統(tǒng)的編碼器－解碼器模型。圖２－２給出了基于注意力??機制的編碼器－解碼器模型的抽象表示。??Ｄｅｃｏｄｅｒ??＼＂ｙ＇＼?＿下２＿?ｙＶ??ｙ＇ｒ＇＇｝??Ｃｏｎｔｅｘｔ??：、」」?＿Ｘ＿２?Ｘｊ＿＿）??圖２－２基于注意力機制的編碼器－解碼器模型??不Ｎ于傳統(tǒng)的編碼器－解碼器模型使用固定的中間語義表示ｃ，基于注意力機制的??編碼器－解碼器模型在生成輸出序列中的每一個單詞乂時，注意力機制都會在輸入序??列中搜索與生成當(dāng)前詞最相關(guān)的信息，并將這些信息集中起來作為對應(yīng)的中間語義衣??示ｃ，。最后，模型基于語義表示ｃ，和所有先前生成的目標(biāo)單詞來預(yù)測當(dāng)前的ｍ小卞詞??＿ｖ，。具體地，輸出序列中的每一個符號Ｘ對應(yīng)條件概率的計算方法如Ｋ所示：??ｐ（ｙ，＼｛ｙｖ－－－，ｙ，?１｝＾）＝＾，－＾＾＾；）?（２－８）??其中，ｇ？是一些非線性閑數(shù)，輸出生成ｔ對丨、的概書�！�，是／吋刻的隱藏層狀態(tài)，??９??

基于文本結(jié)構(gòu)信總的短義本摘要生成研宄?第三章基于文本物理結(jié)構(gòu)的生成式自動義摘研究??器的層次性質(zhì)反映了文本的物理層次結(jié)構(gòu)，即文本是由詞、句子甚至更大的結(jié)構(gòu)單元??組合而成的。因此，層次文本閱讀器能更好地編碼出文本中不同層次結(jié)構(gòu)的信息及其??結(jié)構(gòu)關(guān)系。??——－＝＝ｒ＾］＼?…〇?Ｉ??＼?＇?０?Ｑ?０１??ｎ＾ｒｉ?ｒ＾ｎ＼?卜?ｎ—ｎ??鲴國??Ａ?＆?＆?知?５５?ＳＴｓ?ｉ？?ｙ???—??￣ｌＴｒ??�。欤瘢穑颍ⅲ。校浚粒颍椋龋�??Ｉ〇＝〇二…口〇丑〇口〇＝…口〇ｔ?？．．２〇＝〇二…口〇Ｉ??ｌｏｏ?ｎｄｌｌｏｌｄ?Ｏｌ?１ＱＭ０?〇！??Ｌ＿ｗｉ?＿?２＊１?＿?二二?＿?Ｌｉ＾ｔｉ?二：＿?＿?Ｌｉ＾ｔｉ?＿＾：ｔ２」？二?＿??圖３－２層次文本閱讀器??字級編碼器：考慮到文本內(nèi)的長距離依賴和循環(huán)祌經(jīng)Ｍ絡(luò)ＨＷ的記憶功能對序列??違模的優(yōu)勢，我們使用循環(huán)神經(jīng)網(wǎng)絡(luò)對文本進(jìn)行字級編碼。首先使用字嵌入矩陣％．將??輸入文本Ｄ，，．轉(zhuǎn)換為連續(xù)衣示Ｘ。之后，利用雙向循環(huán)Ｍ絡(luò)對輸入序列進(jìn)行編碼。對??于每個字ＶＶ，，將它對應(yīng)的前向隱藏層狀態(tài)向量／；／＇和后向隱藏層狀態(tài)向量拼接起??來，作為字ＶＶ，對應(yīng)的語義表示／？，１１。具體計算方法如下所示：??ｘ?＝?（ｘ，，ｘ２，．．．，ｘ７．ｌｖ）?（３－１）??ｈ；＇＝ｆ（ｘ？ｈ＾）?（３－２）??ｈ；＇?＝ｈ）?（３－３）??ｈ；＇?＝［ｈ；＇－，ｈ；＇］?（３－４）??其中Ｔｖｖ．，為輸入文本長度，／？，?ｅＲ〃是ＨＩ、丨刻的隱藏層狀態(tài)，《為隱藏層向Ｍ：維度。／（？）??是一些非線性函數(shù)，本章選擇／ＬＳＴＭ。??１７??


本文編號：2984265