實(shí)體和關(guān)系的抽取作為自然語言處理中知識抽取的主要環(huán)節(jié),是一大研究熱點(diǎn)。然而傳統(tǒng)的基于流水線的實(shí)體關(guān)系抽取方法并不能達(dá)到良好的效果,現(xiàn)有的聯(lián)合抽取方法通常需要復(fù)雜的特征工程。本文研究基于深度強(qiáng)化學(xué)習(xí)的文本實(shí)體關(guān)系聯(lián)合抽取,提出基于參數(shù)遷移學(xué)習(xí)的實(shí)體關(guān)系聯(lián)合抽取預(yù)訓(xùn)練方法和基于深度策略梯度的實(shí)體關(guān)系聯(lián)合抽取模型。論文的主要研究工作和創(chuàng)新內(nèi)容如下:1)基于參數(shù)遷移學(xué)習(xí)的實(shí)體關(guān)系聯(lián)合抽取預(yù)訓(xùn)練方法研究本文首先采用基于共享參數(shù)的遷移學(xué)習(xí)算法實(shí)現(xiàn)對實(shí)體關(guān)系聯(lián)合抽取的預(yù)訓(xùn)練,采用兩種共享參數(shù)預(yù)訓(xùn)練技術(shù)-共享詞向量參數(shù)和共享LSTM聯(lián)合抽取器參數(shù)。該方法提出最新的結(jié)合實(shí)體位置信息的ALBERT詞向量嵌入以構(gòu)建共享詞向量參數(shù);抽取部分?jǐn)?shù)據(jù)構(gòu)建LSTM模型,將預(yù)訓(xùn)練的權(quán)重矩陣共享到參數(shù)相同的LSTM聯(lián)合抽取器中。融合這兩種共享參數(shù)技術(shù)用于后續(xù)的實(shí)體關(guān)系聯(lián)合抽取。2)基于深度策略梯度的實(shí)體關(guān)系聯(lián)合抽取模型研究本文在基于參數(shù)遷移學(xué)習(xí)的實(shí)體關(guān)系聯(lián)合抽取預(yù)訓(xùn)練方法的基礎(chǔ)上,提出基于深度策略梯度的實(shí)體關(guān)系聯(lián)合抽取模型研究。本文首先將經(jīng)過預(yù)訓(xùn)練方法的LSTM聯(lián)合抽取器得到的輸出值作為本模型的動作值。其次初始化強(qiáng)化學(xué)習(xí)... 

【文章頁數(shù)】：66 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 基于遷移學(xué)習(xí)的實(shí)體關(guān)系抽取研究現(xiàn)狀
        1.2.2 基于流水線方法的實(shí)體關(guān)系抽取研究現(xiàn)狀
        1.2.3 基于聯(lián)合抽取方法的實(shí)體關(guān)系抽取研究現(xiàn)狀
        1.2.4 國內(nèi)外研究現(xiàn)狀解析
    1.3 本文主要研究內(nèi)容及創(chuàng)新點(diǎn)
    1.4 組織結(jié)構(gòu)與安排
第2章 相關(guān)理論技術(shù)和研究
    2.1 實(shí)體關(guān)系抽取的聯(lián)合抽取標(biāo)注策略
    2.2 實(shí)體關(guān)系抽取的深度學(xué)習(xí)方法理論和技術(shù)
        2.2.1 詞嵌入技術(shù)
        2.2.2 遷移學(xué)習(xí)
        2.2.3 循環(huán)神經(jīng)網(wǎng)絡(luò)
    2.3 實(shí)體關(guān)系抽取的強(qiáng)化學(xué)習(xí)方法理論和技術(shù)
        2.3.1 強(qiáng)化學(xué)習(xí)
        2.3.2 深度Q學(xué)習(xí)網(wǎng)絡(luò)
        2.3.3 策略梯度算法
    2.4 評價指標(biāo)
    2.5 本章小結(jié)
第3章 基于參數(shù)遷移學(xué)習(xí)的實(shí)體關(guān)系聯(lián)合抽取預(yù)訓(xùn)練方法研究
    3.1 基于共享詞向量參數(shù)的實(shí)體關(guān)系聯(lián)合抽取預(yù)訓(xùn)練
        3.1.1 基于ALBERT的詞向量表示
        3.1.2 融合實(shí)體位置信息的詞向量嵌入
    3.2 基于共享LSTM聯(lián)合抽取器參數(shù)的實(shí)體關(guān)系聯(lián)合抽取預(yù)訓(xùn)練
    3.3 基于參數(shù)遷移學(xué)習(xí)的實(shí)體關(guān)系聯(lián)合抽取預(yù)訓(xùn)練方法實(shí)現(xiàn)
        3.3.1 實(shí)體關(guān)系聯(lián)合抽取預(yù)訓(xùn)練方法原理
        3.3.2 實(shí)體關(guān)系聯(lián)合抽取預(yù)訓(xùn)練方法描述
    3.4 基于公共數(shù)據(jù)集ACE2005的實(shí)驗(yàn)驗(yàn)證
        3.4.1 實(shí)驗(yàn)數(shù)據(jù)與實(shí)驗(yàn)環(huán)境
        3.4.2 實(shí)驗(yàn)結(jié)果與分析
    3.5 基于自建醫(yī)療文本數(shù)據(jù)集的實(shí)驗(yàn)驗(yàn)證
        3.5.1 醫(yī)療文本實(shí)體關(guān)系抽取
        3.5.2 醫(yī)療文本數(shù)據(jù)集
        3.5.3 實(shí)驗(yàn)結(jié)果與分析
    3.6 本章小結(jié)
第4章 基于深度策略梯度的實(shí)體關(guān)系聯(lián)合抽取模型研究
    4.1 基于深度策略梯度的實(shí)體關(guān)系訓(xùn)練器
    4.2 基于深度策略梯度的實(shí)體關(guān)系聯(lián)合抽取模型實(shí)現(xiàn)
        4.2.1 實(shí)體關(guān)系聯(lián)合抽取算法原理
        4.2.2 實(shí)體關(guān)系聯(lián)合抽取算法描述
    4.3 基于公共數(shù)據(jù)集ACE2005的實(shí)驗(yàn)驗(yàn)證
        4.3.1 實(shí)驗(yàn)設(shè)置
        4.3.2 實(shí)驗(yàn)結(jié)果與分析
    4.4 基于公共數(shù)據(jù)集NYT的實(shí)驗(yàn)驗(yàn)證
    4.5 基于自建醫(yī)療文本數(shù)據(jù)集的實(shí)驗(yàn)驗(yàn)證
    4.6 本章小結(jié)
第5章 總結(jié)與展望
    5.1 總結(jié)
    5.2 未來展望
參考文獻(xiàn)
致謝
個人簡歷、在校期間發(fā)表學(xué)術(shù)論文和研究成果


【參考文獻(xiàn)】：
期刊論文
[1]基于改進(jìn)的深度殘差網(wǎng)絡(luò)的圖像識別[J]. 湯凱,何慶,趙群,王旭.  南京師大學(xué)報(自然科學(xué)版). 2019(03)
[2]Trans-NER:一種遷移學(xué)習(xí)支持下的中文命名實(shí)體識別模型[J]. 王銀瑞,彭敦陸,陳章,劉叢.  小型微型計算機(jī)系統(tǒng). 2019(08)
[3]基于遷移學(xué)習(xí)和BiLSTM-CRF的中文命名實(shí)體識別[J]. 武惠,呂立,于碧輝.  小型微型計算機(jī)系統(tǒng). 2019(06)
[4]反饋式K近鄰語義遷移學(xué)習(xí)的領(lǐng)域命名實(shí)體識別[J]. 朱艷輝,李飛,冀相冰,曾志高,徐嘯.  智能系統(tǒng)學(xué)報. 2019(04)
[5]循環(huán)神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 楊麗,吳雨茜,王俊麗,劉義理.  計算機(jī)應(yīng)用. 2018(S2)
[6]基于深度神經(jīng)網(wǎng)絡(luò)的中文命名實(shí)體識別[J]. 張海楠,伍大勇,劉悅,程學(xué)旗.  中文信息學(xué)報. 2017(04)
[7]融合遷移學(xué)習(xí)的中文命名實(shí)體識別[J]. 王紅斌,沈強(qiáng),線巖團(tuán).  小型微型計算機(jī)系統(tǒng). 2017(02)
[8]深度強(qiáng)化學(xué)習(xí)綜述[J]. 劉全,翟建偉,章宗長,鐘珊,周倩,章鵬,徐進(jìn).  計算機(jī)學(xué)報. 2018(01)
[9]遷移學(xué)習(xí)研究進(jìn)展[J]. 莊福振,羅平,何清,史忠植.  軟件學(xué)報. 2015(01)

碩士論文
[1]基于高級語義的通用型文本生成遷移學(xué)習(xí)[D]. 李昊.浙江大學(xué) 2019
[2]基于遷移學(xué)習(xí)的中文短文本情緒分析[D]. 雍若蘭.華東師范大學(xué) 2018
[3]基于多組分異構(gòu)遷移學(xué)習(xí)的圖片分類方法[D]. 蔣慧強(qiáng).華南理工大學(xué) 2018



本文編號：3675450