隨著數(shù)據(jù)的增長和電腦硬件的發(fā)展,深度學(xué)習(xí)取得了爆發(fā)式的進步,在與各個領(lǐng)域的碰撞融合中展現(xiàn)出了驚人的潛力,如圖像識別、語音識別等領(lǐng)域都取得了重要的成績。谷歌的ALphaGo機器人戰(zhàn)勝世界圍棋冠軍李世石更是將人工智能推向熱潮,人類步入了人工智能時代,人工智能在各個行業(yè)的運用越來越趨于核心,包括醫(yī)療、芯片、交通等領(lǐng)域。作為人工智能時代的入口級產(chǎn)品,聊天機器人結(jié)合了語音識別與自然語言處理之中多個領(lǐng)域的研究,成為了一個非常火熱的人工智能研發(fā)方向。它們已經(jīng)出現(xiàn)在商場、圖書館等各個地方為人們提供服務(wù),通過交流為用戶解決疑惑。在此背景下,本論文將追尋聊天機器人的發(fā)展歷程,了解聊天機器人從誕生到現(xiàn)在的核心技術(shù)更迭情況,并對如何實現(xiàn)一個可靠的聊天系統(tǒng)展開探究,研究其研發(fā)思路和相關(guān)技術(shù),最終獲得了以下成果:（1）聊天機器人起源于問答系統(tǒng),對用戶提出的問題,問答系統(tǒng)將會通過問題分析、信息檢索、答案抽取、答案選擇四個步驟獲取答案并回復(fù)用戶,起到為用戶解惑的功能。受決策樹模型的啟發(fā),本文提出了一種基于樹模型的問答匹配模型,能夠?qū)⒂脩舻奶釂柡托畔z索獲取的文本數(shù)據(jù)精簡優(yōu)化,并從檢索得到的文本中獲取有效的答案候選集合... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：84 頁

【學(xué)位級別】：碩士

【部分圖文】：

卷積神經(jīng)網(wǎng)絡(luò)模型

閬胍?げ餼渥擁南?一個單詞，會用到前面的單詞，因為在一個句子中，前后單詞并不是孤立的。對這種問題，普通的神經(jīng)網(wǎng)絡(luò)無能為力。這時就需要一種具有一定記憶能力，并且能夠按時序依次處理任意長度數(shù)據(jù)的模型，即循環(huán)神經(jīng)網(wǎng)絡(luò)，簡稱RNN。它之所以被稱為循環(huán)神經(jīng)網(wǎng)絡(luò)，是因為一個序列當(dāng)前的輸出也會與前面的輸出有關(guān)。它具體的實現(xiàn)方式是把相鄰時刻的隱藏層節(jié)點相連接，使當(dāng)前時刻隱藏層的輸入既使用當(dāng)前時刻輸入層獲取的數(shù)據(jù)，也使用上一時刻隱藏層輸出的數(shù)據(jù)，這樣做可以使網(wǎng)絡(luò)記住前面的信息然后應(yīng)用在當(dāng)前輸出的計算中。圖2-5是循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖。圖2-5循環(huán)神經(jīng)網(wǎng)絡(luò)模型從圖2-5中能夠看出，循環(huán)神經(jīng)網(wǎng)絡(luò)也是由三層結(jié)構(gòu)：輸入層、隱藏層、輸出層。它的輸入序列長度與輸出序列長度相等都為t，輸入序列為x1,x2,...,xt,...,xn，隱藏層的狀態(tài)序列為s1,s2,...,st,...,sn，輸出序列為o1,o2,...,...ot,...,on，U是狀態(tài)-狀態(tài)權(quán)重矩陣，W是輸入-狀態(tài)權(quán)重矩陣，V是狀態(tài)-輸出權(quán)重矩陣，每時刻的同一位置的權(quán)重矩陣共享。則t時刻時，st=f(W·st1+U·xt+bs)(2-1)ot=f(V·st+bo)(2-2)其中f為激活函數(shù)，bs和bo都是偏置系數(shù)。由式2-1可看出，t時刻的隱藏層狀態(tài)st不僅取決于當(dāng)前時刻的輸入xt，還與上一時刻的隱藏層狀態(tài)st1有關(guān)。這是單向的RNN網(wǎng)絡(luò)，ot只與左邊的元素有關(guān)，但有時ot也與右邊的元素有關(guān)，這時候就可以使用雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（BidirectionalRecurrentNeuralNetworks，BRNN）[43]。13

電子科技大學(xué)專業(yè)學(xué)位碩士學(xué)位論文對于不定長的輸入，尋常模型會對其作padding操作，這雖然不影響計算，但是會影響模型的訓(xùn)練結(jié)果。RNN模型則可以根據(jù)需求調(diào)整模型結(jié)構(gòu)，如圖2-6所示。圖2-6RNN模型對不定長序列的處理2.2.3長短期記憶網(wǎng)絡(luò)但是RNN模型的記憶能力比較短，無法學(xué)習(xí)遠程依賴，這是受到了梯度消失[44]的影響，梯度消失是反向傳播算法的天生缺點。一般解決梯度消失除了使用ReLU激活函數(shù)之外，還可以使用長短期記憶網(wǎng)絡(luò)（Longshort-termmemory，LSTM）模型[45]。LSTM模型與一般的RNN模型結(jié)構(gòu)本質(zhì)上并沒有什么不同，只是它在計算隱藏層的狀態(tài)時使用了不同的函數(shù)，這些函數(shù)可以學(xué)習(xí)添加或刪除隱藏狀態(tài)的信息，被稱之為“門”，LSTM通過門機制減少梯度消失的問題。圖2-7一個LSTM單元如圖2-7所示，是一個LSTM單元的結(jié)構(gòu)，中間有一個cell，是LSTM用于判斷信息是否有用的核心。在cell邊上有三個門，分別是輸入門、遺忘門以及輸出門。LSTM單元一般會輸出兩種狀態(tài)到下一個單元，即單元狀態(tài)和隱藏狀態(tài)。當(dāng)隱14

【參考文獻】：
期刊論文
[1]中文分詞技術(shù)的研究現(xiàn)狀與困難[J]. 孫鐵利,劉延吉.  信息技術(shù). 2009(07)
[2]中文分詞十年回顧[J]. 黃昌寧,趙海.  中文信息學(xué)報. 2007(03)
[3]決策樹分類技術(shù)研究[J]. 欒麗華,吉根林.  計算機工程. 2004(09)

博士論文
[1]短文本相似度計算在用戶交互式問答系統(tǒng)中的應(yīng)用[D]. 宋萬鵬.中國科學(xué)技術(shù)大學(xué) 2010

碩士論文
[1]網(wǎng)絡(luò)表情包的傳播及應(yīng)用研究[D]. 丁延琪.北京郵電大學(xué) 2019
[2]基于深度學(xué)習(xí)的候選答案句選擇研究[D]. 張學(xué)武.廣東工業(yè)大學(xué) 2019
[3]可控閑聊對話系統(tǒng)的研究[D]. 顧秀森.北京郵電大學(xué) 2019



本文編號：3241589