人工智能的發(fā)展和智能設(shè)備的推廣正在改變著人們的生活,越來越多的用戶通過人機(jī)對(duì)話的方式來獲得高效便捷的服務(wù)。自然語言理解的準(zhǔn)確與否是衡量對(duì)話系統(tǒng)智能化程度的重要因素,它的效果會(huì)直接影響對(duì)話系統(tǒng)后續(xù)的對(duì)話狀態(tài)追蹤和回復(fù)內(nèi)容生成任務(wù)。目前,由于中文語義理解面臨著缺乏特定任務(wù)領(lǐng)域的公開數(shù)據(jù)集、用戶表達(dá)的不規(guī)范性、語義的多樣性和意圖的隱含性等挑戰(zhàn),所以中文對(duì)話系統(tǒng)中的自然語言理解問題備受關(guān)注。因此,任務(wù)型對(duì)話系統(tǒng)中的語義理解的研究具有巨大的科研價(jià)值和應(yīng)用價(jià)值。針對(duì)任務(wù)型中文對(duì)話系統(tǒng)的現(xiàn)狀,本文構(gòu)建了中文任務(wù)型對(duì)話系統(tǒng)的語義理解數(shù)據(jù)集,在基礎(chǔ)數(shù)據(jù)的基礎(chǔ)上,通過將句子輸入搜索引擎找相似句子和人工造句兩種方式進(jìn)行了擴(kuò)充和標(biāo)注。擴(kuò)充后的數(shù)據(jù)集包括7個(gè)領(lǐng)域,每條數(shù)據(jù)都包含對(duì)應(yīng)的領(lǐng)域類別標(biāo)簽、意圖類別和語義槽,共53327條數(shù)據(jù)。此外,本文提出了端到端的基于領(lǐng)域分類、意圖識(shí)別和語義槽填充三項(xiàng)任務(wù)的聯(lián)合識(shí)別模型,進(jìn)行了算法實(shí)現(xiàn),效果最好的結(jié)合ERNIE的聯(lián)合識(shí)別模型的句準(zhǔn)確率為95.27%,并和基于Word2Vec詞向量的傳統(tǒng)模型的自然語言理解方法和基于BERT預(yù)訓(xùn)練基礎(chǔ)模型的方法做了對(duì)比實(shí)驗(yàn),驗(yàn)證了提出的模... 

【文章頁數(shù)】：77 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 選題背景
    1.2 語義理解的挑戰(zhàn)
        1.2.1 數(shù)據(jù)集的匱乏
        1.2.2 用戶表達(dá)的不規(guī)范性
        1.2.3 多意圖的混合
        1.2.4 意圖的隱含性
    1.3 國(guó)內(nèi)外研究現(xiàn)狀
    1.4 主要工作及意義
    1.5 組織結(jié)構(gòu)
    1.6 本章小結(jié)
第2章 相關(guān)技術(shù)與理論基礎(chǔ)
    2.1 Word2Vec詞向量的表示
    2.2 預(yù)訓(xùn)練模型
        2.2.1 BERT
        2.2.2 Seq2Seq
        2.2.3 注意力機(jī)制
        2.2.4 Transformer框架
        2.2.5 BERT預(yù)訓(xùn)練
        2.2.6 ERNIE
    2.3 基于深度學(xué)習(xí)的識(shí)別方法
        2.3.1 卷積神經(jīng)網(wǎng)絡(luò)
        2.3.2 循環(huán)神經(jīng)網(wǎng)絡(luò)及其變體
    2.4 本章小結(jié)
第3章 系統(tǒng)設(shè)計(jì)與架構(gòu)
    3.1 整體架構(gòu)
    3.2 語音識(shí)別和語音合成
    3.3 智能對(duì)話
        3.3.1 意圖庫
        3.3.2 語義理解
        3.3.3 對(duì)話狀態(tài)追蹤
        3.3.4 對(duì)話策略
        3.3.5 對(duì)話響應(yīng)
    3.4 服務(wù)動(dòng)態(tài)組合
    3.5 本章小結(jié)
第4章 基于深度學(xué)習(xí)的語義理解方法
    4.1 問題描述
    4.2 文本預(yù)處理
        4.2.1 文本分詞
        4.2.2 基于Word2Vec的詞向量表示
        4.2.3 標(biāo)簽的結(jié)構(gòu)化表示
    4.3 算法描述
    4.4 領(lǐng)域分類模型
        4.4.1 基于CNN的語義特征提取
        4.4.2 基于LSTM的領(lǐng)域分類
    4.5 意圖分類模型
    4.6 語義槽填充模型
    4.7 本章小結(jié)
第5章 結(jié)合預(yù)訓(xùn)練模型的聯(lián)合識(shí)別方法
    5.1 算法描述
    5.2 模型向量解碼
        5.2.1 模型編碼部分
        5.2.2 模型解碼部分
    5.3 基于BERT的模型
        5.3.1 基于BERT的基礎(chǔ)模型
        5.3.2 融合外界知識(shí)的BERT模型
        5.3.3 基于BERT的 LSTM模型
    5.4 基于ERNIE的模型
        5.4.1 基于ERNIE的基礎(chǔ)模型
        5.4.2 基于ERNIE的 LSTM模型
    5.5 本章小結(jié)
第6章 實(shí)驗(yàn)分析與討論
    6.1 實(shí)驗(yàn)數(shù)據(jù)集
    6.2 評(píng)價(jià)指標(biāo)
    6.3 實(shí)驗(yàn)準(zhǔn)備
        6.3.1 實(shí)驗(yàn)環(huán)境
        6.3.2 預(yù)處理
    6.4 實(shí)驗(yàn)設(shè)計(jì)
        6.4.1 Word2Vec-CNN-LSTM模型
        6.4.2 其他預(yù)訓(xùn)練模型
        6.4.3 模型的超參數(shù)設(shè)置
    6.5 實(shí)驗(yàn)結(jié)果與對(duì)比分析
    6.6 本章小結(jié)
第7章 總結(jié)與展望
    7.1 工作總結(jié)
    7.2 未來展望
參考文獻(xiàn)
攻讀碩士學(xué)位期間的主要研究成果
致謝


【參考文獻(xiàn)】：
期刊論文
[1]一種用戶為中心的即時(shí)服務(wù)組合方法[J]. 張峰,韓燕波,魏永山,陳欣.  西安交通大學(xué)學(xué)報(bào). 2012(12)
[2]一種用戶為中心、基于多視圖合成的服務(wù)組合方法[J]. 丁維龍,王菁,趙栓.  計(jì)算機(jī)學(xué)報(bào). 2011(01)
[3]基于Petri網(wǎng)的語義Web服務(wù)自動(dòng)組合方法[J]. 湯憲飛,蔣昌俊,丁志軍,王成.  軟件學(xué)報(bào). 2007(12)



本文編號(hào)：3724212