發(fā)布時(shí)間：2021-10-25 00:10

　　近年來(lái),大規(guī)模開(kāi)放領(lǐng)域的知識(shí)庫(kù)如Freebase、DBpedia和Wikidata等發(fā)展迅速,基于知識(shí)庫(kù)的自動(dòng)問(wèn)答技術(shù)已成為深度學(xué)習(xí)和自然語(yǔ)言處理領(lǐng)域的研究熱點(diǎn)之一。知識(shí)庫(kù)自動(dòng)問(wèn)答系統(tǒng)能回答用戶的自然語(yǔ)言格式的問(wèn)題,返回知識(shí)庫(kù)中的答案,滿足用戶高效智能的搜索需求,提供自然直接的人機(jī)交互方式,具有重要的應(yīng)用價(jià)值和研究意義。針對(duì)知識(shí)庫(kù)簡(jiǎn)單問(wèn)題問(wèn)答,本文利用深度學(xué)習(xí)的方法將問(wèn)句和知識(shí)庫(kù)三元組表示成連續(xù)向量,計(jì)算問(wèn)句和三元組的匹配度,包括候選答案生成和評(píng)分兩個(gè)步驟。本文主要工作如下:問(wèn)答系統(tǒng)根據(jù)問(wèn)句主題實(shí)體從知識(shí)庫(kù)中檢索生成候選三元組。標(biāo)注問(wèn)句主題詞是問(wèn)答系統(tǒng)的第一步,影響著后續(xù)步驟的效果。以前的研究通常使用基于詞、字符向量和神經(jīng)網(wǎng)絡(luò)的方法提取問(wèn)句主題詞,但僅使用詞和字符向量無(wú)法完整表示問(wèn)句的語(yǔ)義信息,不能區(qū)分歧義詞,影響標(biāo)注結(jié)果。本文提出了多級(jí)別語(yǔ)義表示的主題實(shí)體標(biāo)注模型,通過(guò)問(wèn)句詞、字符嵌入和上下文表示學(xué)習(xí)問(wèn)句的多級(jí)別語(yǔ)義信息。通過(guò)CNN網(wǎng)絡(luò)學(xué)習(xí)的上下文的嵌入表示可以捕獲到單詞的上下文信息,為單詞產(chǎn)生不同的向量表示,獲得問(wèn)句更完整的語(yǔ)義表示,也能更好地處理OOV問(wèn)題。之后通過(guò)BiLSTM-... 

【文章來(lái)源】：華中師范大學(xué)湖北省 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：68 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖１．２智能問(wèn)答示例??近年來(lái)，隨著大規(guī)模開(kāi)放領(lǐng)域知識(shí)圖譜的出現(xiàn)，如ＷｉｋｉＤａｔａ１６１，Ｆｒｅｅｂａｓｅ１７１和??

ＣＮＮ）最早被應(yīng)用在圖像領(lǐng)域，其架構(gòu)可以利用輸入圖像的２Ｄ??結(jié)構(gòu)，通過(guò)本地連接，綁定權(quán)重，和某些形式的池化實(shí)現(xiàn)，具有平移不變的特性。??同時(shí)因?yàn)槠涔蚕韰?shù)等特點(diǎn)，需要的訓(xùn)練參數(shù)相對(duì)于其他學(xué)習(xí)算法更少。２０１４年，??Ｋｉｍ等［８Ｑ］最早將ＣＮＮ應(yīng)用于文本分類任務(wù)，此后ＣＮＮ在ＮＬＰ領(lǐng)域取得了突破，??用于處理ＮＬＰ的各項(xiàng)任務(wù)。其主要有局部感知、參數(shù)共享和池化三個(gè)概念。??輸入層?局部感知域?隱藏層??Ｏ?？ｌＯＴＪ?｜ｑ?ｑ?ｑ??〇？〇〇?§§／５§§??〇〇〇〇??圖２．１局部感知域??在經(jīng)典神經(jīng)網(wǎng)絡(luò)中，一個(gè)神經(jīng)元會(huì)連接上一層和下一層的所有祌經(jīng)元，這樣??會(huì)導(dǎo)致在復(fù)雜網(wǎng)絡(luò)中的訓(xùn)練參數(shù)非常多。在卷積神經(jīng)網(wǎng)絡(luò)中，輸入神經(jīng)元與隱藏??層進(jìn)行小的、局部區(qū)域的連接，如圖２．１所示，這個(gè)輸入圖像區(qū)域被稱為隱藏神??經(jīng)元的局部感知域。在卷積神經(jīng)網(wǎng)絡(luò)中每個(gè)隱藏神經(jīng)元都有一個(gè)偏置和連接到它??的局部感知域的權(quán)值，在圖２．１的局部感知域的權(quán)值為２＊２，所謂參數(shù)共享，就是??指隱藏層的４＊４個(gè)神經(jīng)元都共享同一個(gè)２＊２的相同權(quán)值和一個(gè)倘差。共享權(quán)值和??偏差的一大優(yōu)點(diǎn)是極大地減小了卷積網(wǎng)絡(luò)涉及的參數(shù)數(shù)量。??Ｑ〇＼ｏ＾ｒ＾￣—ｍｎ??ｏｏ〇〇最大值池化??〇〇〇〇??圖２．２最大值池化??池化層通常緊接著卷積層之后使用，簡(jiǎn)化從卷積層輸出的信息，如圖２．２所??示。池化層從卷積層獲得每個(gè)特征映射的輸出，并準(zhǔn)備一個(gè)壓縮的特征映射。一??個(gè)卷積層常常包含多個(gè)特征映射，分別對(duì)每個(gè)特征映射應(yīng)用池化。池化常用的方??式是最大值池化，一個(gè)池化單元簡(jiǎn)單地輸出輸入?yún)^(qū)域內(nèi)最大值的激活。??１３??

ＣＮＮ）最早被應(yīng)用在圖像領(lǐng)域，其架構(gòu)可以利用輸入圖像的２Ｄ??結(jié)構(gòu)，通過(guò)本地連接，綁定權(quán)重，和某些形式的池化實(shí)現(xiàn)，具有平移不變的特性。??同時(shí)因?yàn)槠涔蚕韰?shù)等特點(diǎn)，需要的訓(xùn)練參數(shù)相對(duì)于其他學(xué)習(xí)算法更少。２０１４年，??Ｋｉｍ等［８Ｑ］最早將ＣＮＮ應(yīng)用于文本分類任務(wù)，此后ＣＮＮ在ＮＬＰ領(lǐng)域取得了突破，??用于處理ＮＬＰ的各項(xiàng)任務(wù)。其主要有局部感知、參數(shù)共享和池化三個(gè)概念。??輸入層?局部感知域?隱藏層??Ｏ?？ｌＯＴＪ?｜ｑ?ｑ?ｑ??〇？〇〇?§§／５§§??〇〇〇〇??圖２．１局部感知域??在經(jīng)典神經(jīng)網(wǎng)絡(luò)中，一個(gè)神經(jīng)元會(huì)連接上一層和下一層的所有祌經(jīng)元，這樣??會(huì)導(dǎo)致在復(fù)雜網(wǎng)絡(luò)中的訓(xùn)練參數(shù)非常多。在卷積神經(jīng)網(wǎng)絡(luò)中，輸入神經(jīng)元與隱藏??層進(jìn)行小的、局部區(qū)域的連接，如圖２．１所示，這個(gè)輸入圖像區(qū)域被稱為隱藏神??經(jīng)元的局部感知域。在卷積神經(jīng)網(wǎng)絡(luò)中每個(gè)隱藏神經(jīng)元都有一個(gè)偏置和連接到它??的局部感知域的權(quán)值，在圖２．１的局部感知域的權(quán)值為２＊２，所謂參數(shù)共享，就是??指隱藏層的４＊４個(gè)神經(jīng)元都共享同一個(gè)２＊２的相同權(quán)值和一個(gè)倘差。共享權(quán)值和??偏差的一大優(yōu)點(diǎn)是極大地減小了卷積網(wǎng)絡(luò)涉及的參數(shù)數(shù)量。??Ｑ〇＼ｏ＾ｒ＾￣—ｍｎ??ｏｏ〇〇最大值池化??〇〇〇〇??圖２．２最大值池化??池化層通常緊接著卷積層之后使用，簡(jiǎn)化從卷積層輸出的信息，如圖２．２所??示。池化層從卷積層獲得每個(gè)特征映射的輸出，并準(zhǔn)備一個(gè)壓縮的特征映射。一??個(gè)卷積層常常包含多個(gè)特征映射，分別對(duì)每個(gè)特征映射應(yīng)用池化。池化常用的方??式是最大值池化，一個(gè)池化單元簡(jiǎn)單地輸出輸入?yún)^(qū)域內(nèi)最大值的激活。??１３??

【參考文獻(xiàn)】：
期刊論文
[1]基于LSTM的大規(guī)模知識(shí)庫(kù)自動(dòng)問(wèn)答[J]. 周博通,孫承杰,林磊,劉秉權(quán).  北京大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(02)
[2]知識(shí)圖譜技術(shù)綜述[J]. 徐增林,盛泳潘,賀麗榮,王雅芳.  電子科技大學(xué)學(xué)報(bào). 2016(04)
[3]基于表示學(xué)習(xí)的知識(shí)庫(kù)問(wèn)答研究進(jìn)展與展望[J]. 劉康,張?jiān)?紀(jì)國(guó)良,來(lái)斯惟,趙軍.  自動(dòng)化學(xué)報(bào). 2016(06)
[4]中醫(yī)藥知識(shí)圖譜構(gòu)建與應(yīng)用[J]. 阮彤,孫程琳,王昊奮,方之家,殷亦超.  醫(yī)學(xué)信息學(xué)雜志. 2016(04)
[5]知識(shí)表示學(xué)習(xí)研究進(jìn)展[J]. 劉知遠(yuǎn),孫茂松,林衍凱,謝若冰.  計(jì)算機(jī)研究與發(fā)展. 2016(02)

碩士論文
[1]基于深度學(xué)習(xí)的知識(shí)庫(kù)問(wèn)答技術(shù)研究[D]. 謝志文.華中師范大學(xué) 2018



本文編號(hào)：3456271