發(fā)布時間：2021-06-17 17:25

　　文本中蘊(yùn)含著大量空間信息,識別文本中的空間信息,對諸多自然語言處理任務(wù)有幫助,例如命名實(shí)體識別、自動問答、空間推理、自然語言理解等。ISO-Space是關(guān)于文本中空間信息的標(biāo)注規(guī)范,包括空間元素和空間關(guān)系兩大類,其中空間元素是描述空間信息的基本單元,空間關(guān)系捕捉了空間元素的內(nèi)在聯(lián)系。本文依據(jù)ISO-Space空間信息標(biāo)注規(guī)范,將深度學(xué)習(xí)技術(shù)應(yīng)用到空間信息抽取中,針對文本中的空間元素識別和空間關(guān)系抽取展開了研究,主要工作和貢獻(xiàn)如下:1.針對空間元素識別,本文將其建模為序列標(biāo)注問題,提出基于BiLSTM-CNN的混合模型方法。方法在詞向量生成階段引入領(lǐng)域相關(guān)詞向量和字符特征,顯式地加入了空間相關(guān)詞匯的表達(dá)特點(diǎn);在特征表示階段,融合BiLSTM的序列建模能力以及CNN的局部特征抽取能力,豐富句子的特征表示;最后采用條件隨機(jī)場進(jìn)行標(biāo)簽推理。在SpaceEval的空間元素識別評測任務(wù)中,該方法取得不錯的效果。2.由于空間標(biāo)注數(shù)據(jù)相對缺乏,本文利用BERT預(yù)訓(xùn)練語言模型,提出了基于BERT的空間元素識別方法。BERT預(yù)訓(xùn)練語言模型通過大量的無監(jiān)督語料訓(xùn)練得到,包含豐富的語義信息,同時,本文將語言模... 

【文章來源】：南京大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：69 頁

【學(xué)位級別】：碩士

【部分圖文】：

一l:B讓STM~CNN混合模型示意圖

條件隨機(jī)場上述推理方法沒有考慮上一個單詞的標(biāo)簽情況，條件隨機(jī)場則??將相鄰單詞的標(biāo)簽信息納入計(jì)算過程。假設(shè)我們的標(biāo)簽個數(shù)是９，給定一個單??詞序列，，．．．，冰＾經(jīng)過特征表示層得到每個單詞的向量表示、，．．．，▽？，以及??標(biāo)簽序列ｈ?．．．，？，？，條件隨機(jī)場定義了一個全局分?jǐn)?shù)Ｃ?ｅ?Ｒ：??ｍ?ｍ－ｌ??ｃ｛ｈ，．．．，ｔｍ）?＝?ｂ［ｔｉ）?＋?２ｖ人？［々■］?＋?Ｉ?ｒ［４，４＋１］?＋ｅ［ｔｍ］?（３－１）??ｋ＝ｌ?ｋ＝＼??＝ｂｅｇｉｎ?＋ｓｃｏｒｅｓ?＋?ｔｒａｎｓｉｔｉｏｎｓ?＋ｅｎｄ?（３－２）??這里ｒｅ?ｒ９ｘ９是標(biāo)簽轉(zhuǎn)移矩陣，即如果上一個標(biāo)簽是；ｃ，下一個標(biāo)簽是ｙ??的概率，ｈｅ?ｅＲ９用于補(bǔ)充起始單詞和結(jié)尾單詞取到對應(yīng)標(biāo)簽時的代價。轉(zhuǎn)移??矩陣ｒ就是條件隨機(jī)場為什么能捕捉到相鄰單詞標(biāo)簽的關(guān)鍵，圖（３－６Ｘ３－７）分??別說明了使用條件隨機(jī)場和直接選擇概率最大值的推理過程。圖（３－６）的推理??過程中，我們可以看到，條件隨機(jī)場選擇了一條ＰＥＲ－０－Ｌ０Ｃ的標(biāo)簽序列，該??標(biāo)簽序列的最終得分是３１，而在圖（３－７）的推理過程中，每次都選擇的是概率??

?Ｉｓ?Ｙｏｒｋ??圖３－５：簡單標(biāo)簽推理示意圖??條件隨機(jī)場上述推理方法沒有考慮上一個單詞的標(biāo)簽情況，條件隨機(jī)場則??將相鄰單詞的標(biāo)簽信息納入計(jì)算過程。假設(shè)我們的標(biāo)簽個數(shù)是９，給定一個單??詞序列，，．．．，冰＾經(jīng)過特征表示層得到每個單詞的向量表示、，．．．，▽？，以及??標(biāo)簽序列ｈ?．．．，？，？，條件隨機(jī)場定義了一個全局分?jǐn)?shù)Ｃ?ｅ?Ｒ：??ｍ?ｍ－ｌ??ｃ｛ｈ，．．．，ｔｍ）?＝?ｂ［ｔｉ）?＋?２ｖ人？［々■］?＋?Ｉ?ｒ［４，４＋１］?＋ｅ［ｔｍ］?（３－１）??ｋ＝ｌ?ｋ＝＼??＝ｂｅｇｉｎ?＋ｓｃｏｒｅｓ?＋?ｔｒａｎｓｉｔｉｏｎｓ?＋ｅｎｄ?（３－２）??這里ｒｅ?ｒ９ｘ９是標(biāo)簽轉(zhuǎn)移矩陣，即如果上一個標(biāo)簽是；ｃ，下一個標(biāo)簽是ｙ??的概率，ｈｅ?ｅＲ９用于補(bǔ)充起始單詞和結(jié)尾單詞取到對應(yīng)標(biāo)簽時的代價。轉(zhuǎn)移??矩陣ｒ就是條件隨機(jī)場為什么能捕捉到相鄰單詞標(biāo)簽的關(guān)鍵


本文編號：3235609