基于知識庫的問題生成任務旨在于生成可以由一個三元組回答的簡單問題,與基于知識庫的問答系統(tǒng)的任務目標相反�；谥R庫的問答系統(tǒng)的輸入為自然語言形式的疑問句,根據知識庫中大量三元組推斷出問題的答案。使用知識庫來回答問題需要大量標簽問答對,然而制作一個大規(guī)模、精確的標準數據集非常昂貴,還會受領域等因素的限制。為了減少標注工作量,問題生成被提出,并受到了工業(yè)界和學術界越來越多的關注。然而,基于知識庫的問題生成也存在許多挑戰(zhàn),比如三元組中存在大量低頻詞導致OOV(Out of Vocabulary)問題,而且模型的輸入僅為一個缺乏背景信息的三元組,生成的問題缺乏多樣性。因此,本文將探討基于大規(guī)模知識庫的開放域問題生成算法,從包含答案的三元組入手,反向生成適當的、信息量豐富的問題句。本文的主要工作如下:為了解決因大量低頻詞造成的OOV問題,本文在生成框架上融入Copy機制。由于Copy機制內部計算存在一些缺陷,導致一般常用詞匯的預測受到弱化,故本文對Copy機制進行了改善,構建出一個基于Attention-Copy機制的問題生成模型(AC-KBQG),在解決OOV問題時加強整體詞匯生成效果。在多次...

【文章頁數】：62 頁

【學位級別】：碩士

【部分圖文】：

圖２．４所示，其中Ｖ表示第／（ｅ??Ｎ）個堆疊塊的輸出結果

ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??構成，本質也是一個Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ的結構，在十多個自然語言處理任務中獲??得突破，這也證明了?Ａｔｔｅｎｔｉｏｎ機制的有效性，本文也將其融入到ＱＧ任務中。最??初，Ｔｒａｎｓｆｏｒｍｅｒ用于機器翻譯任務，隨著其有效性，如今逐步代替主....

圖３．３基于Ａｔｔｅｎｔｉｏｎ－Ｃｏｐｙ機制的解碼層結構??與編碼端一致，解碼端也基于ＬＳＴＭ進行解碼

？?ｙ．ｉ?－？?？＇（?ｉ??＇?一丨???一一一一？??、?ｌ?ｌ?：???１?ａ?—ｒ???Ｄｅｃｏｄｅｒ?Ｓｅｌｅｃｔｉｖｅｒ＾＾???（Ｘ）＾?““????Ｒｅａｄｆｃｒ?Ｌｊ?—?ＬＳＴＭ???（?Ａｔｔｅｎｔｉｏｎ＇??ｙ＿Ｊ?＾??ＭＰＭａｍｂ?ｏｄｄＳｏｄｏ??....

圖４．１本章模型框架??３３??

Ｃｊ＾ｋ｝項士學位論文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??并且還使用ＢＥＲＴ預訓練模型獲得詞語的語義表示。與Ｓｅｑ２Ｓｅｑ模型結合，從而??較好的解決三元組所缺乏的上下文信息，以獲得更準確的潛在語義，使得模型生??成的問題更加豐富流暢。??４．２模型結構??本節(jié)將介紹基于Ｇｒａ....

圖４．２所示的網絡塊中堆疊Ｌ次，在輸入殘??差網絡之前進行拼接

基于Ｔｒａｎｓｆｏｒｍｅｒ結構，在全局圖的背景語義下進一步捕捉主語實體、關系、賓??語實體之間的關聯(lián)，使作為輸入的三元組具有更加符合本任務的語義粒度表示。??Ｖａｓｗａｎｉ等人提出的Ｔｒａｎｓｆｏｒｍｅｒ結構，通過全局上下文建模的多頭自注意力機制??來實現(xiàn)高效且并行的計算，具有并....

本文編號：3897394