【摘要】：復(fù)述是指同一語言內(nèi)語義相同的不同表達形式,同一意思不同的人會有不同的表達,這反映了自然語言的靈活多樣性,但卻成為自然語言處理的瓶頸。為解決這一瓶頸問題,復(fù)述生成關(guān)注同一語義下不同表達形式之間的轉(zhuǎn)換,旨在將給定的句子轉(zhuǎn)換成多個語義相同的不同句子,可提高自然語言生成模型的魯棒性,被廣泛應(yīng)用于機器翻譯、自動問答、文本文摘等自然語言處理任務(wù)。目前復(fù)述生成研究面臨以下三個問題:(1)基于編碼-解碼神經(jīng)網(wǎng)絡(luò)框架的復(fù)述生成方法存在未登錄詞無法生成、低頻詞生成不準確以及詞匯重復(fù)生成等問題;(2)復(fù)述平行語料的有限規(guī)模限制了編碼器的語義表示學習能力,成為性能提升的阻礙;(3)漢語復(fù)述語料十分匱乏,導致難以開展?jié)h語復(fù)述生成的研究。本文針對現(xiàn)有基于神經(jīng)網(wǎng)絡(luò)復(fù)述生成方法存在的問題,借鑒多種典型神經(jīng)網(wǎng)絡(luò)模型的優(yōu)勢,引入注意力機制、復(fù)制機制、覆蓋機制和多任務(wù)學習框架;利用自然語言處理技術(shù)構(gòu)建漢語復(fù)述平行語料,并在構(gòu)建的語料上開展?jié)h語復(fù)述生成研究。本文的主要研究內(nèi)容和貢獻包括以下三個方面。(1)設(shè)計實現(xiàn)多機制融合的神經(jīng)網(wǎng)絡(luò)復(fù)述生成模型。已有復(fù)述生成模型中低頻詞和未登錄詞生成不準確,導致信息嚴重缺失;在解碼時未能考慮歷史決策信息,導致相同詞匯反復(fù)出現(xiàn)。對此,我們在已有模型中引入復(fù)制機制和覆蓋機制,實現(xiàn)多機制融合的神經(jīng)網(wǎng)絡(luò)復(fù)述生成模型。本文分別在公開數(shù)據(jù)集Quora和MSCOCO上訓練模型,進行各機制貢獻度的評測。實驗結(jié)果顯示,與基線模型相比,本文的模型在Quora上ROUGE-1、ROUGE-2、BLEU和METEOR指標分別提高4.18%、4.25%、4.08%和3.19%,在解決未登錄詞、低頻詞以及詞匯重復(fù)問題上效果顯著,驗證了多機制融合的復(fù)述生成模型的有效性。(2)提出聯(lián)合自編碼任務(wù)的神經(jīng)網(wǎng)絡(luò)復(fù)述生成模型。復(fù)述平行語料的有限規(guī)模限制了已有模型的語義表示學習能力,導致復(fù)述句的生成質(zhì)量不高。對此,我們在多任務(wù)學習框架中聯(lián)合復(fù)述生成任務(wù)和自編碼任務(wù),兩個任務(wù)共享一個編碼器學習語義表示,從而增強編碼器的語義表示學習能力。本文分別利用Quora和MSCOCO訓練模型,將上述多機制融合模型作為基線模型,進行對比評測。實驗結(jié)果顯示,與基線模型相比,聯(lián)合自編碼任務(wù)的模型在Quora數(shù)據(jù)集上ROUGE-1、ROUGE-2、BLEU和METEOR指標分別提高1.32%、2.04%、1.12%和0.82%,驗證了該模型的有效性。(3)提出基于多翻譯引擎的漢語復(fù)述平行語料構(gòu)建方法。漢語復(fù)述語料十分匱乏,阻礙了漢語復(fù)述研究的開展。考慮到英語具有豐富的復(fù)述資源,我們利用成熟的機器翻譯技術(shù)提出基于多翻譯引擎的漢語復(fù)述語料構(gòu)建方法,首次構(gòu)建得到260k的漢語復(fù)述平行語料。在此基礎(chǔ)上,我們開展?jié)h語復(fù)述現(xiàn)象的研究,總結(jié)出13種漢語復(fù)述現(xiàn)象,其中有3種屬于漢語獨有,說明漢語復(fù)述研究的特殊意義。隨后我們利用構(gòu)建的漢語復(fù)述語料以及上述神經(jīng)網(wǎng)絡(luò)模型,得到漢語復(fù)述生成模型;評測結(jié)果顯示在多參考復(fù)述評測集上ROUGE-1、ROUGE-2、BLEU和METEOR指標分別達到53.59%、27.03%、62.23%和37.18%,表明本文提出的復(fù)述語料構(gòu)建方法對漢語復(fù)述生成研究的推進具有一定意義,同時再一次證明了本文提出的復(fù)述生成神經(jīng)網(wǎng)絡(luò)模型的有效性。針對已有復(fù)述生成模型的缺陷,本文設(shè)計實現(xiàn)多機制融合的神經(jīng)網(wǎng)絡(luò)復(fù)述生成模型解決了未登錄詞、低頻詞和詞匯重復(fù)的問題;提出聯(lián)合自編碼任務(wù)的復(fù)述生成模型提高了模型語義表示學習能力;構(gòu)建大規(guī)模漢語復(fù)述平行語料,開展?jié)h語復(fù)述現(xiàn)象和漢語復(fù)述生成研究;并在國際公開數(shù)據(jù)集上開展對比評測,驗證了本文所提模型和方法的有效性。
【圖文】：

邐ｘ３邐Ｘ，逡逑圖２－１邋ＲＮＮ結(jié)構(gòu)圖逡逑Ｆｉｇｕｒｅ邋２－１邋Ｓｔｒｕｃｔｕｒｅ邋ｏｆ邋ＲＮＮ逡逑在理論上，ＲＮＮ可以捕獲到自然語言的長期依賴信息（Ｌｏｎｇ－Ｔｅｒｍ逡逑Ｄｅｐｅｎｄｅｎｃｉｅｓ），允許信息的持久化。但在實際運用中，標準的ＲＮＮ結(jié)構(gòu)卻難以傳逡逑遞時刻相差較遠的信息，出現(xiàn)無法有效捕獲長期依賴問題。１９９７年Ｈｏｃｈｒｅｉｔｅｒ和逡逑Ｓｃｈｍｉｄｈｕｂｅｒ等人［４８］為了解決長期依賴問題，提出了一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)一一逡逑長短時記憶神經(jīng)網(wǎng)絡(luò)（ＬＳＴＭ）。ＬＳＴＭ與標準ＲＮＮ具有相同的重復(fù)神經(jīng)元計算結(jié)逡逑構(gòu)，并在此基礎(chǔ)上對神經(jīng)元的內(nèi)部計算增加了多個控制門機制（ｇａｔｅｓ），，用于控制逡逑信息的計算與傳輸。圖２－２為ＬＳＴＭ神經(jīng)元的結(jié)構(gòu)圖。逡逑￣＃盡

本文編號：2671663