近年來,隨著人工智能領(lǐng)域尤其是深度學(xué)習(xí)的快速發(fā)展,自然語言處理在人類的學(xué)習(xí)工作與生活中正發(fā)揮著越來越重要的作用。智能問答的出現(xiàn)使得一大批應(yīng)用或服務(wù)涌現(xiàn)出來,如百度的小度,阿里的天貓精靈,小米的小愛同學(xué),蘋果的Siri。智能問答是知識(shí)的一種表現(xiàn)形式,知識(shí)是人類最寶貴的財(cái)富,所以研究智能問答對(duì)于人類知識(shí)的提取與運(yùn)用有著重要意義,讓機(jī)器明白的比人類更多,回答的更準(zhǔn)確,這是智能問答研究者的共同目標(biāo)。但是智能問答領(lǐng)域還不是特別成熟,很多人想當(dāng)然的把科幻水平誤認(rèn)為是當(dāng)今的發(fā)展水平,所以要提高智能問答系統(tǒng)的準(zhǔn)確率,讓機(jī)器更智能,回答的問題更接近于人類甚至超越人類的水平,讓人類對(duì)機(jī)器的回答更滿意。本文的研究就是基于此目的。首先介紹了自然語言處理的基本模型,從獨(dú)熱編碼,詞嵌入到Seq2seq(sequence to sequence),然后介紹了由Transformer帶火的預(yù)訓(xùn)練模型尤其是BERT(Bidirectional Encoder Representation from Transformers),標(biāo)志著自然語言處理進(jìn)入了黃金時(shí)期。自然語言處理的概念或基礎(chǔ)為之后深入研究智能問答打下了堅(jiān)實(shí)的基礎(chǔ)。然后在基本模型雙向注意力流即BiDAF(Bidirectional Attention Flow)模型的基礎(chǔ)上,使用數(shù)據(jù)集SQuAD 2.0(Stanford Question-Answering Dataset)作為訓(xùn)練數(shù)據(jù),使用精確匹配EM值(Exact Match)和模糊匹配F1的值作為評(píng)價(jià)指標(biāo),EM值代表模型預(yù)測的答案和標(biāo)準(zhǔn)答案是否完全一樣,EM值越大就表示模型預(yù)測的結(jié)果和標(biāo)準(zhǔn)答案越接近;F1參數(shù)是根據(jù)模型給的答案與標(biāo)準(zhǔn)答案的重合度求出一個(gè)0到1之間的分?jǐn)?shù),這個(gè)分?jǐn)?shù)就是精確率和召回率的調(diào)和平均。經(jīng)過訓(xùn)練,得到BiDAF模型在SQuAD 2.0數(shù)據(jù)集上的表現(xiàn)是EM值為58.60,F1為61.95。最后,使用預(yù)訓(xùn)練模型ALBERT(A Lite BERT)進(jìn)行研究,共分為5個(gè)模型進(jìn)行研究,模型一直接使用ALBERT加輸出層,模型二在ALBERT的基礎(chǔ)上增加了高速網(wǎng)絡(luò),模型三則增加了門控循環(huán)單元GRU(Gate Recurrent Unit)和注意力層,模型四是GRU加高速網(wǎng)絡(luò),模型五是使用ALBERT-xxlarge版本。經(jīng)過訓(xùn)練,在使用ALBERT基礎(chǔ)版本的模型一、二、三、四中,模型一直接加輸出層的效果最好,比基本BiDAF模型EM值提高了17.68,F1值提高了16.73。5個(gè)模型中ALBERT-xxlarge版本效果最好,較BiDAF模型的EM值提高了24.35,F1值提高了23.35。本論文的創(chuàng)新點(diǎn)是使用了現(xiàn)今最強(qiáng)大的ALBERT模型進(jìn)行研究,而不是用前一兩年很火的BERT或XLNet進(jìn)行研究。在ALBERT的基礎(chǔ)上,提出了添加不同層來進(jìn)行研究的方法,極大的提高了在SQuAD 2.0版本數(shù)據(jù)集上的準(zhǔn)確率。其中參數(shù)最多的ALBERT-xxlarge模型效果最好,比基礎(chǔ)模型的EM值和F1值分別提高了41.55%和37.69%,效果顯著。
【學(xué)位單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2020
【中圖分類】：TP18;TP391.1
【部分圖文】：

第二章自然語言處理及預(yù)訓(xùn)練語言模型的理論研究15TkQKAttentionQKV=softmaxVd（，，）（）(2-5)圖2-3自注意力計(jì)算[37]以Thinking和Machine作為輸入為例：1.首先得到Thinking和Machine的詞嵌入的向量表示2.Thinking的詞嵌入向量與權(quán)重矩陣qW，kW，vW相乘得到111q，k，v。權(quán)重矩陣是模型在進(jìn)行訓(xùn)練的時(shí)候?qū)W習(xí)到的參數(shù)。3.為了計(jì)算句子中的其他詞與Thinking的聯(lián)系，用Thinking的查詢向量1q與其他單詞以及自己的key向量1k和2k去做內(nèi)積，得到相關(guān)度。內(nèi)積越大，就越相似。用softmax得到概率，如0.88代表注意自己，0.12代表注意另外的詞Machine。4.用softmax得到的概率值分別乘以value值1v和2v，加權(quán)求和得到1z。

第二章自然語言處理及預(yù)訓(xùn)練語言模型的理論研究23圖2-8排列模型XLNet[39]假設(shè)預(yù)測第3個(gè)單詞“l(fā)ike”，“l(fā)ike”的上文是“I”和“really”，下文是“UESTC”，希望看到下文的單詞信息，XLNet把“l(fā)ike”的位置固定，之后隨機(jī)排列組合句子中的4個(gè)單詞，在隨機(jī)進(jìn)行的排列組合里，選取其中的一部分輸入到模型。比如之前的排列是“IreallylikeUESTC”，分別用1234代表�，F(xiàn)在的排列有可能是[3241]、[2431]、[1423]、[4312]，在[3241]中3的上文沒有內(nèi)容，所以3只與mem有關(guān)；在[2431]中3只與3前面的2和4相關(guān)；在[1423]中3與前面的142都相關(guān)，在[4312]中3只與4有關(guān)，與圖片一一對(duì)應(yīng)。2.5.2AttentionMask在BERT中掩碼告訴模型要預(yù)測的單詞的位置和上下文關(guān)系，在XLNet中用了2種流自注意力，一個(gè)是內(nèi)容流，另一個(gè)是查詢流。內(nèi)容流負(fù)責(zé)查詢上下文，并且可以看到自己。而查詢流就是用來代替掩碼，負(fù)責(zé)把內(nèi)容流產(chǎn)生的表示拿來做預(yù)測，不能看到自己。同BERT的掩碼一樣，查詢流只在預(yù)訓(xùn)練時(shí)預(yù)測單詞會(huì)用到，到了優(yōu)化的時(shí)候就不會(huì)用到了。這種關(guān)系通過注意力掩碼AttentionMask來實(shí)現(xiàn)：

第三章基本模型BiDAF在SQuAD數(shù)據(jù)集的研究29第三章基本模型BiDAF在SQuAD數(shù)據(jù)集的研究基本模型是基于BiDAF的，即BidirectionalAttentionFlow雙向注意力流。用基本模型在SQuAD數(shù)據(jù)集上訓(xùn)練，得到基本模型的效果，然后再在基本模型雙向注意流的基礎(chǔ)上使用ALBERT進(jìn)行研究，基本模型就是起到參考標(biāo)準(zhǔn)的作用，通過比較與基本模型的效果來看模型效果的提升情況。3.1SQuAD數(shù)據(jù)集SQuAD1.0數(shù)據(jù)集是問題回答或閱讀理解最常用的數(shù)據(jù)集，由斯坦佛大學(xué)的Rajpurkar等人于2016年提出第一個(gè)版本[27]，在讀取維基百科文章的基礎(chǔ)上，它具有十萬個(gè)問題回答對(duì)。給定一段話，給定這段話里的一個(gè)問題，每個(gè)問題都有3個(gè)人類回答的標(biāo)準(zhǔn)答案。Rajpurkar于2018年提出了SQuAD的第二個(gè)版本即SQuAD2.0[32]，在1.0版本的基礎(chǔ)上，增加了5萬個(gè)人類特別設(shè)計(jì)的很難回答的問題，有的問題并沒有答案。所以對(duì)于模型提出了很高的要求，模型不僅要回答出有答案的問題，如果問題沒有答案，模型還要得出“不能回答”的結(jié)論。本文使用的是SQuAD2.0版本。3.1.1SQuAD2.0樣例給定一段文本：圖3-1SQuAD樣例的上下文[47]
【參考文獻(xiàn)】

相關(guān)期刊論文 前5條

1 張劍;屈丹;李真;;基于詞向量特征的循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型[J];模式識(shí)別與人工智能;2015年04期

2 趙妍妍;秦兵;劉挺;;文本情感分析[J];軟件學(xué)報(bào);2010年08期

3 張琳;胡杰;;FAQ問答系統(tǒng)句子相似度計(jì)算[J];鄭州大學(xué)學(xué)報(bào)(理學(xué)版);2010年01期

4 曹勇剛;曹羽中;金茂忠;劉超;;面向信息檢索的自適應(yīng)中文分詞系統(tǒng)[J];軟件學(xué)報(bào);2006年03期

5 向曉雯,史曉東,曾華琳;一個(gè)統(tǒng)計(jì)與規(guī)則相結(jié)合的中文命名實(shí)體識(shí)別系統(tǒng)[J];計(jì)算機(jī)應(yīng)用;2005年10期

相關(guān)碩士學(xué)位論文 前3條

1 桑志杰;生成式問答系統(tǒng)技術(shù)研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2019年

2 楊理想;面向特定領(lǐng)域的問答系統(tǒng)及其在NAO機(jī)器人平臺(tái)上的實(shí)現(xiàn)[D];南京大學(xué);2015年

3 邢超;智能問答系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京交通大學(xué);2015年

本文編號(hào)：2892481