關(guān)系抽取是計(jì)算機(jī)科學(xué)自然語言處理中的重要任務(wù),它能為諸多下游任務(wù),如問答,知識(shí)圖譜構(gòu)建提供服務(wù)。由于關(guān)系抽取模型的構(gòu)建需要海量的,獲取代價(jià)高昂的訓(xùn)練數(shù)據(jù),這使得遠(yuǎn)程監(jiān)督下的關(guān)系抽取成為當(dāng)下的研究熱點(diǎn)。針對(duì)遠(yuǎn)程監(jiān)督的噪音數(shù)據(jù)問題和當(dāng)下遠(yuǎn)程監(jiān)督關(guān)系抽取主流的基于選擇性注意力的模型導(dǎo)致的多樣性抑制問題,我們利用后驗(yàn)概率正則化框架引入關(guān)系類別的專家知識(shí),提出了兩種相應(yīng)的解決方法緩解這兩大問題:（1）我們利用后驗(yàn)概率正則化框架,將人類專家在關(guān)系抽取領(lǐng)域的經(jīng)驗(yàn)知識(shí)融入樣本選擇策略中,提出基于規(guī)則的樣本選擇策略,提升樣本選擇策略的訓(xùn)練效率,減少了策略梯度方法訓(xùn)練過程中所需要的無意義探索,并且提升了樣本選擇策略的表現(xiàn),通過此方法選擇的樣本集合上訓(xùn)練的關(guān)系抽取模型也在領(lǐng)域內(nèi)的權(quán)威公開數(shù)據(jù)集取得了當(dāng)前最先進(jìn)水平。由于基于規(guī)則的選擇策略能夠動(dòng)態(tài)的判斷每個(gè)數(shù)據(jù)包內(nèi)保留哪些樣本,因此能通過保留的樣本數(shù)量來實(shí)現(xiàn)對(duì)數(shù)據(jù)包質(zhì)量的評(píng)判。（2）我們分析了之前的關(guān)于遠(yuǎn)程監(jiān)督關(guān)系抽取的研究工作的特點(diǎn)以及局限性,提出了之前研究工作導(dǎo)致的多樣性抑制問題。針對(duì)該問題,我們提出全新的算法框架,利用聚類算法動(dòng)態(tài)構(gòu)造數(shù)據(jù)包,并且結(jié)合關(guān)系... 

【文章來源】：浙江大學(xué)浙江省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：83 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

遠(yuǎn)程監(jiān)督生成關(guān)系抽取樣本示意

浙江大學(xué)碩士學(xué)位論文第2章國(guó)內(nèi)外研究現(xiàn)狀12如何使端到端的關(guān)系抽取模型不再拘泥于數(shù)據(jù)包內(nèi)部，能夠?qū)?shù)據(jù)包整體的質(zhì)量進(jìn)行考量成為近年來很多研究工作關(guān)注的重點(diǎn)，Yuan等人提出跨包注意力機(jī)制對(duì)數(shù)據(jù)包本身的質(zhì)量進(jìn)行建模[39]，F(xiàn)eng等人利用強(qiáng)化學(xué)習(xí)訓(xùn)練樣本選擇策略[40]，都有效地緩解了低質(zhì)量數(shù)據(jù)包對(duì)關(guān)系抽取模型訓(xùn)練過程中的影響。圖2.2低質(zhì)量數(shù)據(jù)包示例2.6后驗(yàn)概率正則化框架全監(jiān)督機(jī)器學(xué)習(xí)在自然語言處理，計(jì)算機(jī)視覺和計(jì)算生物學(xué)等諸多領(lǐng)域和任務(wù)上取得巨大成功。然而，全監(jiān)督的機(jī)器學(xué)習(xí)往往需要大量與指定任務(wù)密切相關(guān)的標(biāo)注數(shù)據(jù)集，構(gòu)造這些數(shù)據(jù)集的代價(jià)非常高，我們使用這些全監(jiān)督方法時(shí)成本也很高，比如在對(duì)一個(gè)小時(shí)的音頻數(shù)據(jù)進(jìn)行標(biāo)注需要花費(fèi)400小時(shí)，自然語言處理領(lǐng)域中文詞性標(biāo)注項(xiàng)目PennChineseTreebank在項(xiàng)目開始后兩年才首次公開第一個(gè)版本的4000個(gè)句子。為了讓模型能夠取得更好的性能，對(duì)同一種任務(wù)，我們常常也需要針對(duì)不同領(lǐng)域構(gòu)造不同的數(shù)據(jù)集。在數(shù)據(jù)匱乏的同時(shí)，我們常常又有一些與特定問題相關(guān)的經(jīng)驗(yàn)知識(shí)，這些經(jīng)驗(yàn)知識(shí)可以是人類專家的經(jīng)驗(yàn)，也可以是人為總結(jié)的一些規(guī)則。然而，現(xiàn)在我們很難把這些經(jīng)驗(yàn)知識(shí)融入到全監(jiān)督的訓(xùn)練過程中。

浙江大學(xué)碩士學(xué)位論文第2章國(guó)內(nèi)外研究現(xiàn)狀14同時(shí)，后驗(yàn)正則化也可以和深度學(xué)習(xí)結(jié)合，使深度神經(jīng)網(wǎng)絡(luò)的參數(shù)能夠編碼這些先驗(yàn)知識(shí)，Hu等人提出利用知識(shí)蒸餾的方法[59]，利用老師-學(xué)生的知識(shí)蒸餾學(xué)習(xí)框架，首先將經(jīng)驗(yàn)知識(shí)通過后驗(yàn)概率正則化框架編碼到老師網(wǎng)絡(luò)中，具體可以用圖2.3中的紅色虛線表示，在每一輪迭代過程中，教師網(wǎng)絡(luò)由學(xué)生網(wǎng)絡(luò)通過投影到規(guī)則約束的子空間得到，學(xué)生網(wǎng)絡(luò)更新自身的參數(shù)并且在模擬教師網(wǎng)絡(luò)輸出和預(yù)測(cè)最終標(biāo)簽兩個(gè)任務(wù)上做平衡。圖2.3后驗(yàn)概率正則化與深度學(xué)習(xí)的一種結(jié)合[59]2.6.2后驗(yàn)概率正則化的常用場(chǎng)景后驗(yàn)概率正則化可以用于自然語言處理領(lǐng)域的各類任務(wù)。其中一個(gè)例子就是統(tǒng)計(jì)詞對(duì)齊，這是由Zens等人在統(tǒng)計(jì)機(jī)器翻譯任務(wù)中提出的[42]，用于描述源句和翻譯的目標(biāo)句之間對(duì)應(yīng)關(guān)系的方法。在詞語對(duì)齊任務(wù)中，我們把目標(biāo)句={1,…,,…,}，源句={1,…,,…,}。一個(gè)詞語對(duì)齊可以是一個(gè)矩陣，矩陣中的元素,表示目標(biāo)句中的第個(gè)詞是由源句中的第個(gè)詞翻譯而來。我們?cè)诟黝愒~語對(duì)齊模型中可以定義下面兩類先驗(yàn)知識(shí)作為約束，從而提升模型的性能：（1）雙射性：一個(gè)詞不能被翻譯為多個(gè)單詞。（2）相仿性：一個(gè)模型的對(duì)齊策略需要和其它的模型的對(duì)齊策略大致相近。


本文編號(hào)：3351871