基于BI-LSTM-CRF模型的知識庫自動問答方法研究
發(fā)布時間：2021-01-19 00:57
傳統(tǒng)的搜索引擎以關(guān)鍵字組合的方式進(jìn)行檢索,返回一系列相關(guān)網(wǎng)頁,需要用戶進(jìn)行多次篩選才能獲得需要的答案。知識庫問答系統(tǒng)融合了信息檢索（Information Retrieval,IR）和自然語言處理（Natural Language Processing,NLP）等技術(shù)的優(yōu)點,以自然語言問句作為輸入,輸出簡潔、準(zhǔn)確的自然語言答案,更能滿足當(dāng)代人快速、準(zhǔn)確獲取信息的需求。對現(xiàn)有的知識庫問答系統(tǒng)進(jìn)行分析,發(fā)現(xiàn)英文領(lǐng)域的開放知識庫問答系統(tǒng)不僅支持單一關(guān)系問答,還支持多關(guān)系問答。在中文領(lǐng)域,目前的研究大都針對的是單一關(guān)系問答,多關(guān)系問答還處于探索階段。本文基于NLPCC-ICCPOL 2016提供的知識庫對中文領(lǐng)域的多關(guān)系問答方法進(jìn)行探索,將知識庫問答分為實體識別、實體關(guān)系抽取和答案檢索三個子任務(wù),本文圍繞這三個子任務(wù)展開工作,具體內(nèi)容如下:（1）基于BI-LSTM-CRF（Bi-direction Long Short-Term Memory Conditional Random Field）模型的實體識別、鏈接與消歧。針對自然語言問句中實體的多樣性,首先引入BI-LSTM-CRF模型學(xué)習(xí)問句...
【文章來源】：武漢理工大學(xué)湖北省 211工程院校 教育部直屬院校
【文章頁數(shù)】：90 頁
【學(xué)位級別】：碩士
【部分圖文】：
實體映射表的示例數(shù)據(jù)
武漢理工大學(xué)碩士學(xué)位論文35率、召回率和F1值變化隨著訓(xùn)練的輪數(shù)變化情況。圖2-10不同模型在訓(xùn)練過程中的精確率、召回率和F1分?jǐn)?shù)的變化由圖2-10可以發(fā)現(xiàn)，在BI-LSTM層上接入CRF層的擬合效果優(yōu)于未接入CRF層的BI-LSTM模型。對比是否采用預(yù)訓(xùn)練的字向量作為輸出的模型時，在訓(xùn)練初期，BI-LSTM-CRF+random_char_embedding模型在效果優(yōu)于BI-LSTM-CRF+word2vec_char_embedding，但是隨著訓(xùn)練的進(jìn)行，BI-LSTM-CRF+random_char_embedding模型的擬合效果要優(yōu)于采用隨機初始化的字向量的BI-LSTM-CRF模型。最后，上述四種模型在驗證集上的結(jié)果如表2-10所示。表2-10四種模型的精確率、召回率和F1值（%）模型是否使用預(yù)訓(xùn)練的字向量精確率（%）召回率（%）F1值（%）BI-LSTM是96.6898.1697.42否97.2598.3097.77BI-LSTM-CRF是98.7998.8298.80否98.6198.5898.59
武漢理工大學(xué)碩士學(xué)位論文36由圖2-10和表2-10可知，BI-LSTM模型引入CRF層后，實體識別效果優(yōu)于未接入CRF層的模型效果。對于是否采用預(yù)訓(xùn)練的字向量對識別結(jié)果的影響不大，其中BI-LSTM模型使用隨機初始化的字向量的效果優(yōu)于使用預(yù)訓(xùn)練的字向量，而BI-LSTM-CRF模型采用預(yù)訓(xùn)練的字向量后，效果略微有所提升。因此，本文最終采用BI-LSTM-CRF模型，使用預(yù)訓(xùn)練的字向量作為輸入。為了防止過擬合，BI-LSTM-CRF模型訓(xùn)練過程中使用了Dropout策略，上述實驗在Dropout為0.5的情況下進(jìn)行的。為了探討Dropout的設(shè)置對實驗結(jié)果的影響，本文針對Dropout做了三組實驗，即Dropout分別為0.25、0.5、0.75時的訓(xùn)練效果。訓(xùn)練過程中的損失值變化情況如圖2-11所示。圖2-11Dropout取不同值時訓(xùn)練過程中的損失值的變化由圖2-11可以發(fā)現(xiàn)，Dropout取值為0.75時，擬合效果明顯比取值為0.25和0.5時效果好。為Dropout分別取0.25、0.5和0.75時在驗證集上的精確率、召回率和F1值。表2-11三種Dropout策略下的精確率、召回率和F1值（%）Dropout精確率（%）召回率（%）F1值（%）0.2595.8895.3595.610.598.7998.8298.800.7598.8298.9298.97綜合上面的實驗結(jié)果，最后采用BI-LSTM-CRF作為實體識別模型，并采用預(yù)訓(xùn)練的字向量作為輸入，Dropout設(shè)置為0.75。
本文編號：2986012
【文章來源】：武漢理工大學(xué)湖北省 211工程院校 教育部直屬院校
【文章頁數(shù)】：90 頁
【學(xué)位級別】：碩士
【部分圖文】：
實體映射表的示例數(shù)據(jù)
武漢理工大學(xué)碩士學(xué)位論文35率、召回率和F1值變化隨著訓(xùn)練的輪數(shù)變化情況。圖2-10不同模型在訓(xùn)練過程中的精確率、召回率和F1分?jǐn)?shù)的變化由圖2-10可以發(fā)現(xiàn)，在BI-LSTM層上接入CRF層的擬合效果優(yōu)于未接入CRF層的BI-LSTM模型。對比是否采用預(yù)訓(xùn)練的字向量作為輸出的模型時，在訓(xùn)練初期，BI-LSTM-CRF+random_char_embedding模型在效果優(yōu)于BI-LSTM-CRF+word2vec_char_embedding，但是隨著訓(xùn)練的進(jìn)行，BI-LSTM-CRF+random_char_embedding模型的擬合效果要優(yōu)于采用隨機初始化的字向量的BI-LSTM-CRF模型。最后，上述四種模型在驗證集上的結(jié)果如表2-10所示。表2-10四種模型的精確率、召回率和F1值（%）模型是否使用預(yù)訓(xùn)練的字向量精確率（%）召回率（%）F1值（%）BI-LSTM是96.6898.1697.42否97.2598.3097.77BI-LSTM-CRF是98.7998.8298.80否98.6198.5898.59
武漢理工大學(xué)碩士學(xué)位論文36由圖2-10和表2-10可知，BI-LSTM模型引入CRF層后，實體識別效果優(yōu)于未接入CRF層的模型效果。對于是否采用預(yù)訓(xùn)練的字向量對識別結(jié)果的影響不大，其中BI-LSTM模型使用隨機初始化的字向量的效果優(yōu)于使用預(yù)訓(xùn)練的字向量，而BI-LSTM-CRF模型采用預(yù)訓(xùn)練的字向量后，效果略微有所提升。因此，本文最終采用BI-LSTM-CRF模型，使用預(yù)訓(xùn)練的字向量作為輸入。為了防止過擬合，BI-LSTM-CRF模型訓(xùn)練過程中使用了Dropout策略，上述實驗在Dropout為0.5的情況下進(jìn)行的。為了探討Dropout的設(shè)置對實驗結(jié)果的影響，本文針對Dropout做了三組實驗，即Dropout分別為0.25、0.5、0.75時的訓(xùn)練效果。訓(xùn)練過程中的損失值變化情況如圖2-11所示。圖2-11Dropout取不同值時訓(xùn)練過程中的損失值的變化由圖2-11可以發(fā)現(xiàn)，Dropout取值為0.75時，擬合效果明顯比取值為0.25和0.5時效果好。為Dropout分別取0.25、0.5和0.75時在驗證集上的精確率、召回率和F1值。表2-11三種Dropout策略下的精確率、召回率和F1值（%）Dropout精確率（%）召回率（%）F1值（%）0.2595.8895.3595.610.598.7998.8298.800.7598.8298.9298.97綜合上面的實驗結(jié)果，最后采用BI-LSTM-CRF作為實體識別模型，并采用預(yù)訓(xùn)練的字向量作為輸入，Dropout設(shè)置為0.75。
本文編號：2986012
本文鏈接：http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/2986012.html
最近更新
教材專著
