發(fā)布時(shí)間：2022-01-02 00:38

　　事理圖譜本質(zhì)上是一個(gè)事理邏輯知識(shí)庫(kù),描述了事件之間的演化規(guī)律與模式。在事件預(yù)測(cè)、常識(shí)推理、商業(yè)推薦等領(lǐng)域具有重要的應(yīng)用價(jià)值。事理圖譜定義為一個(gè)有向有環(huán)圖。圖中的結(jié)點(diǎn)代表事件,邊代表事件間的邏輯關(guān)系,主要包括順承關(guān)系、因果關(guān)系。構(gòu)建事理圖譜包括兩項(xiàng)任務(wù),事件抽取和事件關(guān)系識(shí)別。在進(jìn)行事理圖譜構(gòu)建的過(guò)程中,現(xiàn)有的自然語(yǔ)言處理預(yù)訓(xùn)練-微調(diào)模型僅編碼字詞之間的關(guān)系,而忽略了字詞本身的內(nèi)部含義。本文將義原信息融合到現(xiàn)有的預(yù)訓(xùn)練微調(diào)模型中,并基于義原融合的方法對(duì)事理圖譜構(gòu)建工作展開(kāi)研究。事件抽取是識(shí)別出事件觸發(fā)詞并判斷事件的施事方和受事方。針對(duì)事件抽取問(wèn)題,本文采用基于Bert的序列標(biāo)注方法。義原作為最小的語(yǔ)義單位,對(duì)于每個(gè)字詞最底層的含義進(jìn)行標(biāo)注。本部分將義原信息融入到預(yù)訓(xùn)練模型微調(diào)模型中,提出了基于義原矩陣分解的模型BBSMF和基于字義原預(yù)測(cè)BBSP的模型。兩種模型的主要思想是在進(jìn)行事件抽取任務(wù)時(shí)同時(shí)進(jìn)行義原任務(wù)訓(xùn)練,使得義原任務(wù)調(diào)整Bert的編碼結(jié)果,從而在事件抽取問(wèn)題上取得更好的效果。事件抽取任務(wù)采用上述兩種模型進(jìn)行實(shí)驗(yàn),結(jié)果顯示融合義原的兩種模型比融合前基于Bert的模型F1值均有提高。... 

【文章來(lái)源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：62 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

Transformer整體結(jié)構(gòu)

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-11-個(gè)問(wèn)題，其一是時(shí)間片t的計(jì)算依賴t-1時(shí)刻的計(jì)算結(jié)果，限制了模型的并行能力。其二是順序計(jì)算的過(guò)程會(huì)丟失部分信息，雖然LSTM等門機(jī)制能在一定程度上抑制梯度消失問(wèn)題，但對(duì)于超長(zhǎng)句，LSTM依舊無(wú)能為力。Transformer的提出很好地解決了上述問(wèn)題，首先它使用Attention機(jī)制將一句話中任意兩個(gè)token之間的關(guān)系映射為一個(gè)常量，其次他不是RNN結(jié)構(gòu)，具有更好的并行性。Transformer的本質(zhì)是一個(gè)編碼-解碼模型。接下來(lái)本文將分兩部分別介紹編碼部分和解碼部分。圖2-1Transformer整體結(jié)構(gòu)（1）編碼器編碼器由6個(gè)編碼block組成。與所有的生成模型相同的是，編碼器的輸出會(huì)作為解碼器的輸入。編碼器首先要經(jīng)過(guò)兩個(gè)模塊，一個(gè)是自注意力模塊，一個(gè)是前饋神經(jīng)網(wǎng)絡(luò)模塊。如圖2-2所示。圖2-2編碼器的兩個(gè)模塊

u，第二層是一個(gè)線性函數(shù)。具體公式如下：2211WZFFN),0max()(bbWZ(2-2)下面具體介紹數(shù)據(jù)輸入以及公式2-1的各項(xiàng)代表的具體含義。數(shù)據(jù)首先通過(guò)詞嵌入方法轉(zhuǎn)化為特征向量，由于經(jīng)過(guò)上述兩個(gè)模塊后的模型沒(méi)有捕捉順序序列的能力，即不論句子怎么打亂，得到的特征向量Z都是相似的，所以在輸入中加入了位置向量(PositionEmbedding)特征，位置向量的加入會(huì)使總編碼中融入位置信息，這樣Transformer就能區(qū)分不同位置的表征。這里位置編碼采用了自己設(shè)計(jì)編碼的規(guī)則，能保證不同句子中同一位置都有相同的位置編碼。生成數(shù)據(jù)的過(guò)程如圖2-3所示。圖2-3數(shù)據(jù)生成接下來(lái)輸入的數(shù)據(jù)進(jìn)入自注意力模塊，自注意力是Transformer最核心的內(nèi)容。Attention的本質(zhì)是為輸入向量的每個(gè)單詞學(xué)習(xí)一個(gè)權(quán)重。在自注意力機(jī)制中，每個(gè)單詞經(jīng)過(guò)映射成為3個(gè)不同的向量，它們分別是Query(Q)，Key(K)和Value(V)。它們分別是由輸入向量乘以三個(gè)不同的權(quán)值矩陣得到的，其中三個(gè)權(quán)值矩陣的尺寸是相同的。根據(jù)公式2-9，Q與K進(jìn)行矩陣相乘，得到每個(gè)token對(duì)于其他token的得分，為了梯度的穩(wěn)定，Transformer對(duì)得分進(jìn)行了歸一化，即除以kd，對(duì)歸一化后的得分進(jìn)行Softmax函數(shù)得到注意力系數(shù)。最后用注意力系數(shù)點(diǎn)乘V，得到最終編碼結(jié)果。這里需要注意的是，在自注意力模塊中用到了Multi-HeadAttention機(jī)制，它相當(dāng)于h個(gè)不同的自注意力模塊集成，采用multi-head方法可以使得不同的head捕捉到不同類型的特征。在自注意力模塊后采用了橫向規(guī)范化和殘差網(wǎng)絡(luò)結(jié)構(gòu)，用于解決數(shù)據(jù)分布不平衡問(wèn)題和梯

【參考文獻(xiàn)】：
期刊論文
[1]知識(shí)圖譜構(gòu)建技術(shù)綜述[J]. 劉嶠,李楊,段宏,劉瑤,秦志光.  計(jì)算機(jī)研究與發(fā)展. 2016(03)
[2]中文事件時(shí)序關(guān)系的標(biāo)注和分類方法[J]. 鄭新,李培峰,朱巧明.  計(jì)算機(jī)科學(xué). 2015(07)
[3]信息抽取研究綜述[J]. 郭喜躍,何婷婷.  計(jì)算機(jī)科學(xué). 2015(02)
[4]面向領(lǐng)域開(kāi)源文本的因果知識(shí)提取[J]. 李悅?cè)?毛文吉,王飛躍.  計(jì)算機(jī)工程與科學(xué). 2010(05)
[5]中文事件抽取技術(shù)研究[J]. 趙妍妍,秦兵,車萬(wàn)翔,劉挺.  中文信息學(xué)報(bào). 2008(01)

博士論文
[1]事件本體構(gòu)建中若干關(guān)鍵技術(shù)的研究[D]. 張亞軍.上海大學(xué) 2017
[2]基于社會(huì)媒體的市場(chǎng)行情預(yù)測(cè)方法研究[D]. 丁效.哈爾濱工業(yè)大學(xué) 2016
[3]中文事件抽取關(guān)鍵技術(shù)研究[D]. 譚紅葉.哈爾濱工業(yè)大學(xué) 2008
[4]自由文本的信息抽取模式獲取的研究[D]. 姜吉發(fā).中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所） 2004



本文編號(hào)：3563122