隨著互聯(lián)網(wǎng)時代的到來,在數(shù)據(jù)與算力的雙重加持下,深度學(xué)習(xí)引發(fā)的人工智能浪潮席卷全球,為了讓計算機做到對語言的精準(zhǔn)理解,需要賦予其大量的先驗知識,這些知識主要以結(jié)構(gòu)化知識進行表示�？墒桥c現(xiàn)實世界快速增長的知識量相比,結(jié)構(gòu)化知識的覆蓋度仍未趕上。為解決這個問題,研究人員使用實體關(guān)系抽取算法自動抽取文本中蘊含的知識,但在非英文環(huán)境下,由于數(shù)據(jù)量和文本表示的問題,算法的抽取結(jié)果與英文算法的抽取結(jié)果間存在巨大差距。為了消除語言間的差異,目前方法多采用參數(shù)遷移,標(biāo)注投影等啟發(fā)式方法進行跨語言信息抽取,這些方法沒有考慮語言間的差異,且多數(shù)需要給定嚴(yán)格的限制以保證效果。針對不同語言實體關(guān)系抽取模型之間的性能差距大,現(xiàn)有方法在語言間信息遷移效率不高的問題,本文探究高效的跨語言信息抽取技術(shù),取得的主要成果有:1、基于反向注意力機制的命名實體識別:該方法反向采用翻譯模型的注意力權(quán)重進行信息遷移,將預(yù)訓(xùn)練的高資源語言命名實體識別模型提取的特征用于低資源語言命名實體識別。翻譯模型注意力權(quán)重的對齊信息相比于人為標(biāo)注更加精確,并且對齊信息的對稱性可以將預(yù)訓(xùn)練模型中得到的任務(wù)相關(guān)特征遷移到源語言,從而豐富原始數(shù)據(jù)的語...

【文章頁數(shù)】：80 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景
    1.2 研究現(xiàn)狀
        1.2.1 實體關(guān)系抽取
        1.2.2 跨語言遷移學(xué)習(xí)
    1.3 研究內(nèi)容及創(chuàng)新點
    1.4 論文組織結(jié)構(gòu)
第2章 相關(guān)技術(shù)與理論
    2.1 常用特征提取器
        2.1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)
        2.1.2 卷積神經(jīng)網(wǎng)絡(luò)
        2.1.3 Transformer
    2.2 詞向量
        2.2.1 靜態(tài)稠密詞向量
        2.2.2 動態(tài)稠密詞向量
    2.3 注意力機制
    2.4 本章小結(jié)
第3章 基于反向注意力機制的實體抽取
    3.1 引言
    3.2 相關(guān)工作
    3.3 模型描述
        3.3.1 基于注意力機制的源語言-英文翻譯模塊
        3.3.2 預(yù)訓(xùn)練英文命名實體識別模塊
        3.3.3 反向注意力信息遷移
        3.3.4 信息增強的命名實體識別模塊
    3.4 實驗與分析
        3.4.1 實驗數(shù)據(jù)
        3.4.2 標(biāo)注規(guī)范與評價指標(biāo)
        3.4.3 實驗設(shè)置
        3.4.4 參數(shù)設(shè)置
        3.4.5 實驗結(jié)果與分析
    3.5 本章小結(jié)
第4章 基于知識一致性的跨語言關(guān)系抽取
    4.1 引言
    4.2 相關(guān)工作
    4.3 跨語言分段卷積神經(jīng)網(wǎng)絡(luò)
        4.3.1 翻譯語言模型
        4.3.2 單語膨脹卷積編碼器
        4.3.3 分段最大池化
        4.3.4 分類層
        4.3.5 模型的訓(xùn)練
    4.4 實驗與分析
        4.4.1 實驗數(shù)據(jù)及預(yù)處理
        4.4.2 評價指標(biāo)
        4.4.3 實驗設(shè)置
        4.4.4 參數(shù)設(shè)置
        4.4.5 實驗結(jié)果與分析
    4.5 本章小結(jié)
第5章 總結(jié)與展望
    5.1 本文總結(jié)
    5.2 本文展望
參考文獻(xiàn)
致謝
在讀期間發(fā)表的學(xué)術(shù)論文與取得的研究成果



本文編號：3739906