問答技術(shù)是目前自然語言處理領(lǐng)域中一個倍受關(guān)注并具有廣泛發(fā)展前景的研究方向,它旨在構(gòu)建一個能夠自動回答人類用自然語言提出的問句的系統(tǒng)——問答系統(tǒng)。在調(diào)查研究中,本課題發(fā)現(xiàn)當(dāng)前許多問答系統(tǒng)僅具備回答簡單問句（如“中國的國慶節(jié)是什么時候?”）的能力,而對于比較復(fù)雜的問句（如“姚明的身高和體重是什么?”“姚明女兒的身高是多少”）無法有效理解和回答。本文認(rèn)為許多復(fù)雜的問句中存在多個問題的復(fù)合,可以被分解為問答系統(tǒng)能夠回答的簡單問句,因而提出了復(fù)合問句分解任務(wù)。本文將復(fù)合問句分解任務(wù)分為兩個子任務(wù):復(fù)合問句的分類任務(wù)和復(fù)合問句的子問句生成任務(wù),并對兩個任務(wù)分別構(gòu)建了相應(yīng)數(shù)據(jù)集以進(jìn)行研究。針對復(fù)合問句分解任務(wù)缺乏可用的中文語料的情況,本文自行從百度知道、《一站到底》節(jié)目、HotpotQA等來源搜集了相關(guān)語料,根據(jù)問句的句法結(jié)構(gòu)和解答方式定義了四種類型的復(fù)合問句,并制定了詳細(xì)的標(biāo)注規(guī)則,構(gòu)建了包含5100多句復(fù)合問句的復(fù)合問句分類和子問句生成的數(shù)據(jù)集。復(fù)合問句的分類任務(wù)旨在識別出簡單問句和不同類型的復(fù)合問句,本文認(rèn)為復(fù)合問句具有比較顯著的語法和語義特征,并基于此對相關(guān)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法進(jìn)行了研究,... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：66 頁

【學(xué)位級別】：碩士

【部分圖文】：

問答系統(tǒng)的體系結(jié)構(gòu)圖

圖 2-4 HotpotQA 中數(shù)據(jù)的例子及其翻譯問句語料標(biāo)注詳盡的標(biāo)注規(guī)則的制定可以使復(fù)合問句分解任務(wù)語料標(biāo)注研究針對復(fù)合問句分類任務(wù)和復(fù)合問句的子問句生成任務(wù)注的詳細(xì)規(guī)則。在構(gòu)建數(shù)據(jù)集時，本研究致力于剔除不規(guī)句分類，并表示其分解后的問句，語料標(biāo)注流程如圖 2-5 所：被評為 2015 Diamond Head Classic 比賽 MVP 的球員效力于哪支?落 1：2015 Diamond Head Classic 是一場大學(xué)籃球錦標(biāo)賽……巴迪·德被評為本屆比賽 MVP。落 2：哈瓦諾·雷尼爾·“巴迪”·希爾德是 NBA 薩克拉門托國王隊(duì)的巴職業(yè)籃球運(yùn)動員……

21圖 2-11 JSON 格式的子問句生成數(shù)據(jù)2.4 訓(xùn)練語料的數(shù)據(jù)增強(qiáng)本研究雖然構(gòu)建了復(fù)合問句子問句生成的相應(yīng)數(shù)據(jù)集，提出了子問句生成的相關(guān)模型，但是深度學(xué)習(xí)的生成任務(wù)往往需要使用大規(guī)模的訓(xùn)練語料來達(dá)到充分訓(xùn)練模型的需求。而在本研究的實(shí)驗(yàn)過程中，隨著訓(xùn)練數(shù)據(jù)的增加第 3 章中的復(fù)合問句分類模型有顯著的進(jìn)步，最終分類準(zhǔn)確率趨于穩(wěn)定，達(dá)到了較好的復(fù)合問句分類效果；第 4 章中的子問句生成模型的效果也有所提升，但遠(yuǎn)沒有達(dá)到模型在原任務(wù)上的效果。通過對比發(fā)現(xiàn)，深度學(xué)習(xí)中文本生成任務(wù)所用的數(shù)據(jù)集規(guī)模一般都是比較大的，而本研究自行搜集的數(shù)據(jù)相


本文編號：3483331