語義分析是自然語言處理領(lǐng)域多年來研究的熱點(diǎn)和難點(diǎn)問題,也是當(dāng)前機(jī)器翻譯、信息檢索、搜索引擎等應(yīng)用系統(tǒng)面臨的主要技術(shù)瓶頸。漢語框架語義角色識別是面向漢語的框架語義分析中一個(gè)重要環(huán)節(jié)。目前,基于雙向長短期記憶的神經(jīng)網(wǎng)絡(luò)(BiLSTM)在語義角色識別與標(biāo)注任務(wù)上使用較多,并且取得了很好的效果。但該類模型也存在著一些問題,如模型的預(yù)測結(jié)果并不穩(wěn)定,可復(fù)現(xiàn)性較差;在大的語料上訓(xùn)練模型需要很大的計(jì)算開銷;模型的性能也和輸入端特征的設(shè)置緊密相關(guān)等。為此,本文研究基于BiLSTM模型進(jìn)行漢語框架語義角色識別任務(wù)的建模方法,重點(diǎn)研究建模中的超參數(shù)調(diào)優(yōu)和模型輸入端特征的表示學(xué)習(xí)的改進(jìn)方法。本文將當(dāng)前詞、當(dāng)前詞的詞性、目標(biāo)詞和當(dāng)前詞相對目標(biāo)詞的位置信息4個(gè)輸入端特征,以及BiLSTM層次數(shù)目、模型頂層是否添加CRF分類器2個(gè)模型架構(gòu)的設(shè)計(jì)選項(xiàng),統(tǒng)一做為模型的超參數(shù)。傳統(tǒng)的超參數(shù)調(diào)優(yōu)方法,一般都將完整語料按照所謂標(biāo)準(zhǔn)的8:1:1比例切分,采用超參數(shù)逐個(gè)加入模型的貪心策略來選到最優(yōu)的超參數(shù)組合,但該方法計(jì)算開銷大,結(jié)果依賴超參數(shù)進(jìn)入模型的順序,穩(wěn)定性較差。為此,本文提出了一種基于穩(wěn)健設(shè)計(jì)的模型超參數(shù)調(diào)優(yōu)方法,該...

【文章頁數(shù)】：108 頁

【學(xué)位級別】：博士

【文章目錄】：
中文摘要
英文摘要
第一章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 傳統(tǒng)的統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法
        1.2.2 神經(jīng)網(wǎng)絡(luò)方法
    1.3 漢語框架語義分析架構(gòu)
        1.3.1 框架語義學(xué)
        1.3.2 Frame Net簡介
        1.3.3 漢語框架語義知識庫介紹
        1.3.4 漢語框架語義分析模型
    1.4 本文的主要研究問題、思路和組織結(jié)構(gòu)
第二章 基于Bi LSTM的語義角色識別模型
    2.1 漢語框架語義角色識別任務(wù)
    2.2 雙向長短期記憶網(wǎng)絡(luò)
    2.3 基于Bi LSTM的語義角色識別模型
    2.4 評價(jià)指標(biāo)的3×2交叉驗(yàn)證估計(jì)和模型比較的Bayes檢驗(yàn)
        2.4.1 精確率(P)、召回率(R)和F₁值
        2.4.2 3×2交叉驗(yàn)證
        2.4.3 3×2 交叉驗(yàn)證下P、R和F₁值的分布函數(shù)及置信區(qū)間
    2.4.4 模型比較的Bayes假設(shè)檢驗(yàn)
    2.5 實(shí)驗(yàn)結(jié)果與分析
        2.5.1 實(shí)驗(yàn)設(shè)置
        2.5.2 實(shí)驗(yàn)結(jié)果
    2.6 本章小結(jié)
第三章 基于穩(wěn)健設(shè)計(jì)的Bi LSTM語義角色識別模型的超參數(shù)調(diào)優(yōu)方法
    3.1 問題描述
    3.2 基于穩(wěn)健設(shè)計(jì)的超參數(shù)調(diào)優(yōu)方法簡介
    3.3 模型的超參數(shù)
    3.4 穩(wěn)健設(shè)計(jì)
    3.5 實(shí)驗(yàn)結(jié)果與分析
        3.5.1 實(shí)驗(yàn)設(shè)置
        3.5.2 超參數(shù)的最優(yōu)配置組合
        3.5.3 超參數(shù)(因子)對性能指標(biāo)F₁值影響的定量分析
    3.6 與 8:1:1 切分語料得到的實(shí)驗(yàn)結(jié)果的比較
    3.7 本章小結(jié)
第四章Bi LSTM語義角色識別模型中特征的表示學(xué)習(xí)的改進(jìn)方法
    4.1 一種校正的GloVe的詞表示學(xué)習(xí)方法
        4.1.1 詞表示學(xué)習(xí)簡介
        4.1.2 校正GloVe的理論基礎(chǔ)
        4.1.3 校正GloVe模型的具體方法51
        4.1.4 實(shí)驗(yàn)結(jié)果與分析
    4.2 區(qū)分左右上下文信息的GloVe詞表示學(xué)習(xí)方法
        4.2.1 問題描述
        4.2.2 區(qū)分左右上下文信息的詞表示學(xué)習(xí)方法
        4.2.3 實(shí)驗(yàn)結(jié)果與分析
    4.3 框架表示學(xué)習(xí)
        4.3.1 框架排歧介紹
        4.3.2 框架的表示學(xué)習(xí)方法
        4.3.3 框架排歧任務(wù)的實(shí)驗(yàn)結(jié)果
        4.3.4 框架語義角色識別任務(wù)的實(shí)驗(yàn)結(jié)果
    4.4 本章小結(jié)
第五章 結(jié)論及展望
    5.1 結(jié)論
    5.2 展望
參考文獻(xiàn)
攻讀博士學(xué)位期間取得的研究成果
致謝
個(gè)人簡況及聯(lián)系方式



本文編號：3958739