發(fā)布時間：2021-07-01 15:15

　　人類閱讀理解和機(jī)器閱讀理解一個很大的差異是,人類很善于利用除了文本之外的一些外部知識,來輔助自己理解獲取答案。然而當(dāng)前的很多機(jī)器閱讀理解方法更多的是在文本匹配層面,僅僅是根據(jù)閱讀理解所提供的文本和問題來尋找答案。但是現(xiàn)實(shí)世界中的機(jī)器閱讀理解任務(wù)很復(fù)雜,僅僅根據(jù)所提供的文本和問題,無法獲得問題的答案,需要借助一些常識性的外部知識信息。本文以為機(jī)器閱讀理解引入外部知識為切入點(diǎn),通過檢索機(jī)器閱讀理解任務(wù)相關(guān)的外部知識信息,然后設(shè)計某種方法將其加入到機(jī)器閱讀理解的獲取問題答案的過程中,從而提高機(jī)器閱讀理解獲取問題的答案的性能。主要進(jìn)行了以下三項(xiàng)研究工作:（1）基于預(yù)訓(xùn)練語言模型的隱式的引入外部知識的方法。由于預(yù)訓(xùn)練語言模型借助優(yōu)秀的深度學(xué)習(xí)架構(gòu),能夠很好的利用大量的無標(biāo)注的文本,而這些大量的無標(biāo)注的文本中已經(jīng)包含很多的知識,因此,直接使用預(yù)訓(xùn)練模型構(gòu)建機(jī)器閱讀理解模型來隱式地引入外部知識,相比于的傳統(tǒng)的閱讀理解方法,在實(shí)驗(yàn)的測試集合上取得了很不錯的效果。（2）基于注意力機(jī)制的顯式的引入外部知識的方法。針對當(dāng)前很多外部知識庫如NELL、Word Net等都包含豐富的知識信息,使用適當(dāng)?shù)姆椒z索出... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：64 頁

【學(xué)位級別】：碩士

【部分圖文】：

ReCoRD例子

哈爾濱工業(yè)大學(xué)工程碩士學(xué)位論文-12-語言模型，即在估計條件概率的大小時，不需要對當(dāng)前詞的前面所有的詞進(jìn)行計算，只需要對當(dāng)前詞的前面N個詞進(jìn)行計算，公式表示如下：(|1,2,…,1)≈(|(1),…,1)(22)(|(1),…,1)=((1),…,1,)((1),…,1)(23)在N-gram語言模型當(dāng)中，傳統(tǒng)的方法估算N元條件概率一般采用頻率計數(shù)的比例來估算。然而這個方法也有很大的缺陷，當(dāng)N較大的時候，會有數(shù)據(jù)稀疏的問題，這會導(dǎo)致估算結(jié)果不準(zhǔn)確，因此在實(shí)際中，一般常采用二元語言模型和三元語言模型，然而該方法所起到的作用仍然有限。2003年Bengio等人為了緩解N-gram語言模型估計概率時所碰到的數(shù)據(jù)稀疏的問題，提出了經(jīng)典的神經(jīng)網(wǎng)絡(luò)語言模型[41]，該語言模型使用了前饋的全連接的神經(jīng)網(wǎng)絡(luò)建模，首層參數(shù)可以作為詞向量表示。圖2-2NNLM模型結(jié)構(gòu)圖詞向量可看作是NNLM的一個副產(chǎn)品，2013年Mikolov等人提出word2vec[42]，該方法使用一些優(yōu)化技巧專注于詞向量的產(chǎn)生。在這基礎(chǔ)之上，研究者又提出通過共現(xiàn)語料矩陣進(jìn)行高效分解產(chǎn)生的glove詞向量。然而word2vec、glove[43]等傳統(tǒng)的語言模型訓(xùn)練方法，產(chǎn)生的是靜態(tài)詞向量，未考慮一詞多義、無法理解復(fù)雜語境，這將導(dǎo)致在很多NLP任務(wù)上不能達(dá)到一個很好的效果。針對這個問題，研究者提出了新的預(yù)訓(xùn)練語言模型的方法，能夠產(chǎn)生上下文相關(guān)的特征表示，即動態(tài)詞向量，下一節(jié)將介紹新的預(yù)訓(xùn)練語言模型的方法。

哈爾濱工業(yè)大學(xué)工程碩士學(xué)位論文-13-2.3.2預(yù)訓(xùn)練語言模型第一個最具有代表性的預(yù)訓(xùn)練語言模型應(yīng)該是華盛頓大學(xué)的研究者的工作。2018年，他們提出了有名的ELMo[15]，該模型主要是為了解決詞向量的一詞多義的問題，而且詞向量編碼的信息應(yīng)該包含句法信息和語義信息。因此，ELMo借助語言模型來獲得一個上下文相關(guān)的預(yù)訓(xùn)練的表示。而且ELMo的基本結(jié)構(gòu)使用的是一個雙向的LSTM語言模型，該模型由一個前向和一個后向語言模型構(gòu)成，目標(biāo)函數(shù)是這兩個方向語言模型的最大似然估計。具體的，給定一個包含N個詞的句子，前向語言模型計算的概率為：(1,2,…,)=∏(|1,2,…,1)=1(24)后向語言模型計算的概率為:(1,2,…,)=∏(|+1,+2,…,)=1(25)取前向和后向語言模型兩個方向的最大似然：∑((|1,2,…,1;,→,)=1+(|+1,+2,…,;,←,)(26)在訓(xùn)練好這個語言模型之后，對于每個詞，ELMo計算雙向語言模型的每一個中間層的和作為該詞的表示，也可以直接使用最上層的表示。另外，如果是有監(jiān)督NLP任務(wù)，可以直接以特征添加的方式來使用。圖2-3ELMo模型結(jié)構(gòu)圖

【參考文獻(xiàn)】：
期刊論文
[1]問答系統(tǒng)研究綜述[J]. 毛先領(lǐng),李曉明.  計算機(jī)科學(xué)與探索. 2012(03)
[2]基于層疊條件隨機(jī)場的旅游領(lǐng)域命名實(shí)體識別[J]. 郭劍毅,薛征山,余正濤,張志坤,張宜浩,姚賢明.  中文信息學(xué)報. 2009(05)
[3]基于規(guī)則的中文閱讀理解問題回答技術(shù)研究[J]. 李濟(jì)洪,楊杏麗,王瑞波,張娜,李國臣.  中文信息學(xué)報. 2009(04)
[4]基于最大熵模型的中文閱讀理解問題回答技術(shù)研究[J]. 李濟(jì)洪,王瑞波,王凱華,李國臣.  中文信息學(xué)報. 2008(06)
[5]中文閱讀理解語料庫構(gòu)建技術(shù)研究[J]. 郝曉燕,李濟(jì)洪,由麗萍,劉開瑛.  中文信息學(xué)報. 2007(06)



本文編號：3259377