發(fā)布時(shí)間：2023-02-10 21:02

　　隨著互聯(lián)網(wǎng)時(shí)代的到來,在數(shù)據(jù)與算力的雙重加持下,深度學(xué)習(xí)引發(fā)的人工智能浪潮席卷全球,為了讓計(jì)算機(jī)做到對(duì)語言的精準(zhǔn)理解,需要賦予其大量的先驗(yàn)知識(shí),這些知識(shí)主要以結(jié)構(gòu)化知識(shí)進(jìn)行表示�？墒桥c現(xiàn)實(shí)世界快速增長的知識(shí)量相比,結(jié)構(gòu)化知識(shí)的覆蓋度仍未趕上。為解決這個(gè)問題,研究人員使用實(shí)體關(guān)系抽取算法自動(dòng)抽取文本中蘊(yùn)含的知識(shí),但在非英文環(huán)境下,由于數(shù)據(jù)量和文本表示的問題,算法的抽取結(jié)果與英文算法的抽取結(jié)果間存在巨大差距。為了消除語言間的差異,目前方法多采用參數(shù)遷移,標(biāo)注投影等啟發(fā)式方法進(jìn)行跨語言信息抽取,這些方法沒有考慮語言間的差異,且多數(shù)需要給定嚴(yán)格的限制以保證效果。針對(duì)不同語言實(shí)體關(guān)系抽取模型之間的性能差距大,現(xiàn)有方法在語言間信息遷移效率不高的問題,本文探究高效的跨語言信息抽取技術(shù),取得的主要成果有:1、基于反向注意力機(jī)制的命名實(shí)體識(shí)別:該方法反向采用翻譯模型的注意力權(quán)重進(jìn)行信息遷移,將預(yù)訓(xùn)練的高資源語言命名實(shí)體識(shí)別模型提取的特征用于低資源語言命名實(shí)體識(shí)別。翻譯模型注意力權(quán)重的對(duì)齊信息相比于人為標(biāo)注更加精確,并且對(duì)齊信息的對(duì)稱性可以將預(yù)訓(xùn)練模型中得到的任務(wù)相關(guān)特征遷移到源語言,從而豐富原始數(shù)據(jù)的語...

【文章頁數(shù)】：80 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景
    1.2 研究現(xiàn)狀
        1.2.1 實(shí)體關(guān)系抽取
        1.2.2 跨語言遷移學(xué)習(xí)
    1.3 研究內(nèi)容及創(chuàng)新點(diǎn)
    1.4 論文組織結(jié)構(gòu)
第2章 相關(guān)技術(shù)與理論
    2.1 常用特征提取器
        2.1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)
        2.1.2 卷積神經(jīng)網(wǎng)絡(luò)
        2.1.3 Transformer
    2.2 詞向量
        2.2.1 靜態(tài)稠密詞向量
        2.2.2 動(dòng)態(tài)稠密詞向量
    2.3 注意力機(jī)制
    2.4 本章小結(jié)
第3章 基于反向注意力機(jī)制的實(shí)體抽取
    3.1 引言
    3.2 相關(guān)工作
    3.3 模型描述
        3.3.1 基于注意力機(jī)制的源語言-英文翻譯模塊
        3.3.2 預(yù)訓(xùn)練英文命名實(shí)體識(shí)別模塊
        3.3.3 反向注意力信息遷移
        3.3.4 信息增強(qiáng)的命名實(shí)體識(shí)別模塊
    3.4 實(shí)驗(yàn)與分析
        3.4.1 實(shí)驗(yàn)數(shù)據(jù)
        3.4.2 標(biāo)注規(guī)范與評(píng)價(jià)指標(biāo)
        3.4.3 實(shí)驗(yàn)設(shè)置
        3.4.4 參數(shù)設(shè)置
        3.4.5 實(shí)驗(yàn)結(jié)果與分析
    3.5 本章小結(jié)
第4章 基于知識(shí)一致性的跨語言關(guān)系抽取
    4.1 引言
    4.2 相關(guān)工作
    4.3 跨語言分段卷積神經(jīng)網(wǎng)絡(luò)
        4.3.1 翻譯語言模型
        4.3.2 單語膨脹卷積編碼器
        4.3.3 分段最大池化
        4.3.4 分類層
        4.3.5 模型的訓(xùn)練
    4.4 實(shí)驗(yàn)與分析
        4.4.1 實(shí)驗(yàn)數(shù)據(jù)及預(yù)處理
        4.4.2 評(píng)價(jià)指標(biāo)
        4.4.3 實(shí)驗(yàn)設(shè)置
        4.4.4 參數(shù)設(shè)置
        4.4.5 實(shí)驗(yàn)結(jié)果與分析
    4.5 本章小結(jié)
第5章 總結(jié)與展望
    5.1 本文總結(jié)
    5.2 本文展望
參考文獻(xiàn)
致謝
在讀期間發(fā)表的學(xué)術(shù)論文與取得的研究成果



本文編號(hào)：3739906