自由文本中包含大量非結(jié)構(gòu)化的重要信息,這些信息難以被直接利用。實(shí)體關(guān)系抽取是一項(xiàng)將非結(jié)構(gòu)化文本中的信息提取并形成結(jié)構(gòu)化信息的重要技術(shù)。近年來,機(jī)器學(xué)習(xí)技術(shù)和實(shí)體關(guān)系抽取的結(jié)合得到了研究者們的高度重視。有監(jiān)督的機(jī)器學(xué)習(xí)方法需要人工標(biāo)注數(shù)據(jù),而人工的高昂成本是阻礙這一研究的重要因素。利用弱監(jiān)督學(xué)習(xí)的實(shí)體關(guān)系抽取又存在錯(cuò)誤標(biāo)注問題,以及機(jī)器學(xué)習(xí)模型自身的的過擬合問題。針對這些問題,本文的主要工作有:針對傳統(tǒng)的基于深度學(xué)習(xí)的方法使用較為淺層的網(wǎng)絡(luò)作為句子編碼器,而對于表達(dá)能力較弱的問題,本文設(shè)計(jì)并實(shí)現(xiàn)了一種基于深層次激發(fā)-壓縮卷積神經(jīng)網(wǎng)絡(luò)模型,進(jìn)行端到端的實(shí)體關(guān)系抽取。結(jié)合軟標(biāo)簽的方式,減輕遠(yuǎn)程監(jiān)督數(shù)據(jù)集中的噪音現(xiàn)象,提升模型性能。針對遠(yuǎn)程監(jiān)督數(shù)據(jù)集中樣本不均衡和難易樣本的問題,本文改進(jìn)了深度學(xué)習(xí)中的損失函數(shù),使用聚焦損失函數(shù)替代交叉熵函數(shù)。聚焦損失函數(shù)既能夠根據(jù)樣本的均衡程度對樣本加權(quán),又能夠根據(jù)樣本學(xué)習(xí)的難易程度對損失函數(shù)進(jìn)行加權(quán),從而提升作為分類任務(wù)的實(shí)體關(guān)系抽取模型的性能。針對卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在自然語言處理任務(wù)中常用的最大值池化方式會丟失位置信息等問題,本文設(shè)計(jì)并實(shí)現(xiàn)了雙重池化方式。同... 

【文章來源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：70 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖１－２遠(yuǎn)程監(jiān)督數(shù)據(jù)示意圖（上方為已存在的知識庫，下方為自由文本）??

命名實(shí)體識別與實(shí)體關(guān)系抽取??．１命名實(shí)體識別??作為實(shí)體關(guān)系抽取的上游任務(wù)，命名實(shí)體識別（Ｎａｍｅｄ?Ｅｎｔｉｔｙ?Ｒｅｃｏｇｎｉｔｉｏｎ，??Ｒ）至關(guān)重要。本節(jié)對命名實(shí)體識別給出其詳細(xì)的介紹。在信息抽取??ｎｆｏｒｍａｔｉｏｎｅｘｔａｒｃｔｉｏｎ）當(dāng)中，命名實(shí)體（ＮａｍｅｄＥｎｔｉｔｙ，簡稱實(shí)體）是指可以擁??適的名稱的客觀存在的對象，一般指的是文本中具有特定意義或者指代性??的實(shí)體，如下圖２－１所示，通常包括人名（ｐｅｏｐｌｅ）、地名（ｌｏｃａｔｉｏｎ）、組織機(jī)??名（ｏｒｇａｎｉｚａｔｉｏｎ）、日期時(shí)間（ｄａｔｅ）、專有名詞等。實(shí)體既可以是一個(gè)抽象概??，也可以是一個(gè)物理意義上的存在［１］。??本文使用的數(shù)據(jù)集（見３．４．２小節(jié)）使用ｓｔａｎｆｏｒｄ－ｎｅｒ工具［２６１對語料使用預(yù)??理過濾。??．２實(shí)體關(guān)系抽取??

（Ｉｎｆｏｒｍａｔｉｏｎｅｘｔａｒｃｔｉｏｎ）當(dāng)中，命名實(shí)體（ＮａｍｅｄＥｎｔｉｔｙ，簡稱實(shí)體）是指可以擁??有合適的名稱的客觀存在的對象，一般指的是文本中具有特定意義或者指代性??強(qiáng)的實(shí)體，如下圖２－１所示，通常包括人名（ｐｅｏｐｌｅ）、地名（ｌｏｃａｔｉｏｎ）、組織機(jī)??構(gòu)名（ｏｒｇａｎｉｚａｔｉｏｎ）、日期時(shí)間（ｄａｔｅ）、專有名詞等。實(shí)體既可以是一個(gè)抽象概??念，也可以是一個(gè)物理意義上的存在［１］。??本文使用的數(shù)據(jù)集（見３．４．２小節(jié)）使用ｓｔａｎｆｏｒｄ－ｎｅｒ工具［２６１對語料使用預(yù)??處理過濾。??２．１．２實(shí)體關(guān)系抽取??Ｍｕｒｄｏｃｈ?ｄｉｓｃｕｓｓｅｓ?ｆｕｔｕｒｅ?ｏｆ?Ｎｅｗｓ?Ｃｏｒｐ．??圖２－１命名實(shí)體識別??通常，研究人員把能夠表示一個(gè)三元組語義的文本型數(shù)據(jù)樣本叫做關(guān)系提??及句（ｒｅｌａｔｉｏｎｍｅｎｔｉｏｎ，簡稱ｍｅｎｔｉｏｎ）［１］。實(shí)體關(guān)系抽取的主要目的是提取句子中??己標(biāo)記實(shí)體對之間的語義關(guān)系。本文中討論的實(shí)體關(guān)系抽取任務(wù)作為命名實(shí)體??識別的下游任務(wù)而存在。實(shí)體關(guān)系抽取通常分為垂直領(lǐng)域關(guān)系抽取和開放領(lǐng)域??關(guān)系抽取。他們之間的區(qū)別在于是否限定關(guān)系集合。本文討論前者，即預(yù)定義一??個(gè)關(guān)系的集合，并將實(shí)體關(guān)系抽取視為文本分類任務(wù)，進(jìn)一步說是一種基于深??度學(xué)習(xí)的文本分類任務(wù)ｍ。??實(shí)體關(guān)系抽取的目標(biāo)是生成帶有方向的三元組關(guān)系，例如對于“奧巴馬出??生在美國”這句話，實(shí)體１為“奧巴馬”，實(shí)體２為“美國”，它們之間的關(guān)系??是“出生地”。即

【參考文獻(xiàn)】：
期刊論文
[1]A brief introduction to weakly supervised learning[J]. Zhi-Hua Zhou.  National Science Review. 2018(01)

碩士論文
[1]弱監(jiān)督條件下的實(shí)體關(guān)系抽取探究[D]. 黃愷瑜.北京郵電大學(xué) 2018



本文編號：3239347