機(jī)器閱讀是自然語(yǔ)言處理領(lǐng)域核心任務(wù)之一,其旨在教會(huì)機(jī)器理解給定的文章回答相關(guān)問(wèn)題。帶有不可回答問(wèn)題的機(jī)器閱讀任務(wù),除了需要從文章中提取答案外還需判斷問(wèn)題是否可回答,這需要模型對(duì)文本有更深層次的語(yǔ)義理解。目前流行的處理帶有不可回答問(wèn)題機(jī)器閱讀任務(wù)的模型多為“流水線(xiàn)”式模型,將答案預(yù)測(cè)分為兩步來(lái)作,首先提取答案然后驗(yàn)證答案是否正確,無(wú)法實(shí)現(xiàn)端到端的答案預(yù)測(cè)。本文提出一種基于多任務(wù)學(xué)習(xí)的密集連接多層注意力模型,一步到位的實(shí)現(xiàn)答案抽取與判定。密集連接編碼層使得模型可以變得更深從而提取不同層次的語(yǔ)義信息,多層注意力機(jī)制讓模型可以在不同粒度融合問(wèn)題和文章信息,使得模型答案定位與判定更佳準(zhǔn)確。模型設(shè)計(jì)時(shí)將答案預(yù)測(cè)與答案判定模型緊密結(jié)合,通過(guò)多任務(wù)學(xué)習(xí)的方式訓(xùn)練,使得模型具有更強(qiáng)的泛化能力。另外,本文針對(duì)不可回答問(wèn)題的機(jī)器閱讀,提出一種新的數(shù)據(jù)增強(qiáng)方法,實(shí)驗(yàn)證明新的數(shù)據(jù)增強(qiáng)方法簡(jiǎn)單有效。本文提出的模型在SQuAD 2.0驗(yàn)證數(shù)據(jù)集上取得F1 76.8%的結(jié)果。

【文章頁(yè)數(shù)】：62 頁(yè)

【學(xué)位級(jí)別】：碩士

本文編號(hào)：3878089