傳統(tǒng)的檢索式問答系統(tǒng),通過字面相似度進(jìn)行匹配,可以快速檢索出相應(yīng)的內(nèi)容,但是準(zhǔn)確率不高。而基于深度學(xué)習(xí)的問答系統(tǒng)能夠有效解決準(zhǔn)確率的問題,但是,訓(xùn)練階段通常依賴大量的數(shù)據(jù)資源,而且預(yù)測時(shí)需要較多的計(jì)算時(shí)間。文中提出了一個(gè)以文本匹配為核心的FAQ問答系統(tǒng),該系統(tǒng)由文本檢索,文本匹配兩大部分組成。文本檢索部分通過快速篩選,減少了系統(tǒng)用時(shí)和文本匹配階段的數(shù)據(jù)計(jì)算量。文本匹配部分采取了預(yù)訓(xùn)練和微調(diào)兩階段的訓(xùn)練方式。預(yù)訓(xùn)練由自然語言處理領(lǐng)域最新的BERT模型完成,使用少量數(shù)據(jù)以及計(jì)算資源,即可獲得較高的準(zhǔn)確率。為了進(jìn)一步提升匹配的準(zhǔn)確率,在微調(diào)階段做出了以下改進(jìn)。首先在BERT模型的基礎(chǔ)上,使用融入了Attention機(jī)制的卷積神經(jīng)網(wǎng)絡(luò),進(jìn)行局部特征的提取和重要性區(qū)分,在測試數(shù)據(jù)集上,取得了比BERT模型更好的成績。其次,在上述模型的基礎(chǔ)上引入?yún)f(xié)同訓(xùn)練算法Tri-Training,通過多個(gè)分類器的差異化學(xué)習(xí),來提升模型整體的語義能力。進(jìn)一步,Tri-Training訓(xùn)練算法在提升模型性能的同時(shí),也給分類器帶入了噪聲,為了降低噪聲的影響,為每個(gè)分類器加入了一個(gè)可動(dòng)態(tài)調(diào)整的概率閾值。結(jié)合以上幾種方法... 

【文章頁數(shù)】：49 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
1 緒論
    1.1 研究背景與意義
    1.2 國內(nèi)外研究概況
    1.3 本文研究內(nèi)容
    1.4 論文框架
2 問答系統(tǒng)整體框架與相關(guān)技術(shù)介紹
    2.1 問答系統(tǒng)整體框架
    2.2 數(shù)據(jù)構(gòu)建方式選擇
    2.3 基于深度學(xué)習(xí)的語義相似度技術(shù)介紹
    2.4 本章小結(jié)
3 問答系統(tǒng)中基于混合方式的文本檢索實(shí)現(xiàn)
    3.1 基于詞匯重合度的BM25 特征方法
    3.2 基于淺層語義的主題模型LDA
    3.3 基于淺層語義的嵌入模型DOC2VEC
    3.4 本章小結(jié)
4 問答系統(tǒng)中基于深度學(xué)習(xí)的文本匹配實(shí)現(xiàn)
    4.1 文本匹配中預(yù)訓(xùn)練模型的原理和特性
    4.2 文本匹配中協(xié)同訓(xùn)練算法的實(shí)現(xiàn)
    4.3 文本匹配中微調(diào)階段的改進(jìn)
    4.4 本章小結(jié)
5 問答系統(tǒng)測試
    5.1 文本檢索數(shù)據(jù)集及混合方式測試結(jié)果
    5.2 文本匹配數(shù)據(jù)集與評價(jià)標(biāo)準(zhǔn)
    5.3 文本匹配模型設(shè)計(jì)與測試結(jié)果分析
    5.4 本章小結(jié)
6 總結(jié)與展望
    6.1 全文總結(jié)
    6.2 研究展望
致謝
參考文獻(xiàn)



本文編號：3646381