為了適應(yīng)日益增長的網(wǎng)絡(luò)信息檢索的工程應(yīng)用,用于分析基于知識(shí)圖譜的智能問答算法研究日趨活躍。知識(shí)圖譜在智能化服務(wù)中發(fā)揮著重要作用,但是,復(fù)雜的語義關(guān)系給知識(shí)抽取帶來了巨大的挑戰(zhàn),問答研究的準(zhǔn)確性也還有待提高。為此,本文以知識(shí)圖譜中的知識(shí)抽取作為研究課題,重點(diǎn)研究了不同場景下的關(guān)系抽取模型的實(shí)現(xiàn)技術(shù)和關(guān)系抽取對(duì)問答準(zhǔn)確性的影響。本文主要工作和貢獻(xiàn)如下:1.提出了基于Bi-LSTM的層次關(guān)系抽取模型。傳統(tǒng)模型通常解決一般性分類問題,導(dǎo)致抽取結(jié)果的精度較低。本文利用關(guān)系標(biāo)簽之間的層次化語義信息進(jìn)行建模,提出了使用層次化損失函數(shù)的抽取模型,彌補(bǔ)了模型在反向傳播中語義特征不足的缺點(diǎn)。實(shí)驗(yàn)表明本文方法相比CNN、RNN等傳統(tǒng)抽取模型能有效提升知識(shí)抽取的性能。2.提出了基于上下文注意力機(jī)制的少樣本關(guān)系抽取模型。當(dāng)前模型多是基于有監(jiān)督的學(xué)習(xí)方法和遠(yuǎn)程監(jiān)督,無法應(yīng)用于數(shù)據(jù)不足時(shí)的使用場景。本文利用少樣本學(xué)習(xí)方法,使用上下文注意力機(jī)制構(gòu)建模型。實(shí)驗(yàn)結(jié)果表明本文方法在數(shù)據(jù)稀疏時(shí)仍然可以進(jìn)行關(guān)系抽取。3.提出了基于知識(shí)嵌入注意力的問答模型。在使用知識(shí)圖譜來完成問答任務(wù)時(shí),關(guān)系預(yù)測是其中一項(xiàng)子任務(wù)�，F(xiàn)有模型沒有有... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：82 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

論文結(jié)構(gòu)

第二章相關(guān)理論和工作7命名實(shí)體識(shí)別模型的主要架構(gòu)如圖2-2所示[18]，由詞嵌入、雙向長短時(shí)期記憶網(wǎng)絡(luò)和條件隨機(jī)場組成。首先，單詞文本通過詞嵌入成為詞向量，然后輸入到雙向長短時(shí)期記憶網(wǎng)絡(luò)中。il代表單詞i與它的上文，ir代表單詞i與它的下文，把這兩者聯(lián)系起來，用ic代表單詞i與它的上下文。圖2-2命名實(shí)體識(shí)別模型架構(gòu)[18]1.Word2Vec詞嵌入Word2Vec[19]是Google在2013年推出的一個(gè)NLP工具，它的特點(diǎn)是將所有的詞向量化，表示為一個(gè)低維稠密的數(shù)值向量，便于計(jì)算機(jī)進(jìn)行處理。詞的向量化形式可以使得詞與詞之間定量的去度量他們之間的關(guān)系，挖掘詞之間的聯(lián)系。Word2Vec可以利用兩種模型架構(gòu)中的任何一種來生成單詞的分布式表示：CBOW模型或Skip-gram模型。如果一個(gè)詞語的上下文作為輸入，來預(yù)測這個(gè)詞語本身，就是CBOW模型；而用一個(gè)詞語作為輸入，來預(yù)測它周圍的上下文，則是Skip-gram模型。因?yàn)橹苯邮褂蒙窠?jīng)網(wǎng)絡(luò)來得到詞向量語言模型的方法涉及的參數(shù)太多，使得數(shù)據(jù)量大，計(jì)算效率低；所以Word2Vec在實(shí)際訓(xùn)練時(shí)采用的是兩種改進(jìn)方法，一種是基于霍夫曼樹層層分類的HierarchicalSoftmax方法；另一種是針對(duì)于在霍夫曼樹中存在生僻詞的層次過深而帶來效率低的問題所提出的NegativeSampling方法。2.Bi-LSTM特征抽取Bi-LSTM表示雙向長短期記憶網(wǎng)絡(luò)（BidirectionalLongShort-TermMemory，通常簡寫為Bi-LSTM）[20]它是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種，適用于處理序列化的數(shù)據(jù)。設(shè)輸入的向量序列為(1,2,…)，將輸出另一個(gè)序列為(1,2,…)，它代表輸入序列每一步的信息。長短時(shí)記憶網(wǎng)絡(luò)被設(shè)計(jì)成增加緩存單元以解決長期依賴關(guān)系中梯度消失的問題，它使用輸入門來控制當(dāng)前時(shí)刻輸入到緩存單元的比例，使用

電子科技大學(xué)碩士學(xué)位論文10圖2-4CNN關(guān)系抽取模型架構(gòu)[21]1.詞嵌入在神經(jīng)網(wǎng)絡(luò)中首先需要對(duì)單詞進(jìn)行處理，將每個(gè)單詞轉(zhuǎn)化為一個(gè)特殊的向量。研究表明，從大量未標(biāo)記數(shù)據(jù)中學(xué)習(xí)到的單詞嵌入比隨機(jī)初始化的嵌入得到的效果要好很多，利用大量的未標(biāo)注數(shù)據(jù)，使其承載更多的句法和語義信息。所以通常會(huì)采用詞向量預(yù)訓(xùn)練的方式，可以使用的預(yù)訓(xùn)練模型有Word2Vec[19]和Glove[23]。得到預(yù)訓(xùn)練模型后，將所有的訓(xùn)練數(shù)據(jù)中的單詞構(gòu)建成一個(gè)單詞表，通過查找單詞嵌入，將每個(gè)輸入單詞標(biāo)記轉(zhuǎn)換為一個(gè)向量。2.詞特征詞匯層特征是決定關(guān)系的重要線索，它主要包括單詞本身、詞的類型信息和詞與詞之間的相對(duì)位置，其質(zhì)量很大程度上取決于現(xiàn)有工具的結(jié)果。這里，選用的詞特征包括：實(shí)體1、實(shí)體2、實(shí)體1的上一個(gè)詞和下一個(gè)詞、實(shí)體2的上一個(gè)詞和下一個(gè)詞。3.位置特征為了能夠更好地提升抽取的性能，有必要指定哪些輸入標(biāo)記是句子中的目標(biāo)名詞，我們加入了每個(gè)詞與實(shí)體之間相對(duì)位置距離作為位置特征。比如，在句子"The<e1>author</e1>ofakeygenusesa<e2>disassembler</e2>tolookattherawassemblycode."中，單詞The與實(shí)體author的相對(duì)位置距離是-1，單詞of與實(shí)體author的相對(duì)位置距離是1；單詞The與實(shí)體disassembler的相對(duì)位置距離是-7，單詞of與實(shí)體disassembler的相對(duì)位置距離是-5。當(dāng)?shù)玫礁鱾�(gè)詞的位置特征后，將

【參考文獻(xiàn)】：
期刊論文
[1]基于密集連接卷積神經(jīng)網(wǎng)絡(luò)的遠(yuǎn)程監(jiān)督關(guān)系抽取[J]. 錢小梅,劉嘉勇,程芃森.  計(jì)算機(jī)科學(xué). 2020(02)
[2]基于多角度注意力機(jī)制的單一事實(shí)知識(shí)庫問答方法[J]. 羅達(dá),蘇錦鈿,李鵬飛.  計(jì)算機(jī)科學(xué). 2019(10)
[3]基于注意力和字嵌入的中文醫(yī)療問答匹配方法[J]. 陳志豪,余翔,劉子辰,邱大偉,顧本剛.  計(jì)算機(jī)應(yīng)用. 2019(06)
[4]知識(shí)圖譜技術(shù)綜述[J]. 徐增林,盛泳潘,賀麗榮,王雅芳.  電子科技大學(xué)學(xué)報(bào). 2016(04)
[5]基于表示學(xué)習(xí)的知識(shí)庫問答研究進(jìn)展與展望[J]. 劉康,張?jiān)?紀(jì)國良,來斯惟,趙軍.  自動(dòng)化學(xué)報(bào). 2016(06)
[6]知識(shí)圖譜構(gòu)建技術(shù)綜述[J]. 劉嶠,李楊,段宏,劉瑤,秦志光.  計(jì)算機(jī)研究與發(fā)展. 2016(03)
[7]知識(shí)表示學(xué)習(xí)研究進(jìn)展[J]. 劉知遠(yuǎn),孫茂松,林衍凱,謝若冰.  計(jì)算機(jī)研究與發(fā)展. 2016(02)
[8]開放式信息抽取研究進(jìn)展[J]. 楊博,蔡?hào)|風(fēng),楊華.  中文信息學(xué)報(bào). 2014(04)

博士論文
[1]面向小樣本不平衡數(shù)據(jù)的生物醫(yī)學(xué)事件抽取方法研究[D]. 路揚(yáng).吉林大學(xué) 2019
[2]基于深度學(xué)習(xí)的聯(lián)合實(shí)體關(guān)系抽取[D]. 孫長志.華東師范大學(xué) 2019
[3]基于注意力機(jī)制與高層語義的視覺問答研究[D]. 于東飛.中國科學(xué)技術(shù)大學(xué) 2019
[4]圖像內(nèi)容的語義描述與理解[D]. 袁愛紅.中國科學(xué)院大學(xué)(中國科學(xué)院西安光學(xué)精密機(jī)械研究所) 2018



本文編號(hào)：3454845