隨著深度學(xué)習(xí)在自然語言處理領(lǐng)域的飛速發(fā)展,國內(nèi)外針對于文本分析、信息檢索、詞性標(biāo)注和問答系統(tǒng)等技術(shù)的研究已經(jīng)愈發(fā)成熟。尤其是聊天機(jī)器人技術(shù),正伴隨著便攜移動設(shè)備市場的拓展走向成熟,在客服、金融、醫(yī)療、教育和生活服務(wù)等方面應(yīng)用廣泛。由于基于中文語料的聊天機(jī)器人具有開放式交互的優(yōu)良特點,該技術(shù)將會極大的改善人們的生活方式,成為新時代的科技增長點。目前在研究聊天機(jī)器人時,學(xué)者們通常會選用基于深度學(xué)習(xí)的Seq2Seq模型對構(gòu)建的語料庫做詞向量轉(zhuǎn)換和模型訓(xùn)練。本文針對聊天機(jī)器人的研發(fā)流程中關(guān)鍵環(huán)節(jié)容易出現(xiàn)的常見問題和缺陷進(jìn)行分析和研究,并提出改進(jìn)方法。然后本文分析了現(xiàn)今運動類App普遍存在的與用戶交互不足的問題,并將改進(jìn)后的聊天機(jī)器人模型應(yīng)用于運動類App中,增強(qiáng)了與用戶的交互體驗。具體研究工作有以下幾個方面:（1）針對于傳統(tǒng)的構(gòu)建中文特定領(lǐng)域語料庫語料數(shù)量有限和對話語料關(guān)聯(lián)不強(qiáng)的問題,提出改進(jìn)的算法。新方法構(gòu)建的語料庫不僅比現(xiàn)有的一般方法構(gòu)建的語料庫更豐富,而且對話之間的關(guān)聯(lián)性更強(qiáng)。（2）為提升訓(xùn)練中對中文詞向量訓(xùn)練效果,結(jié)合了Word2Vec的兩種優(yōu)化算法,提出組合算法的模型訓(xùn)練中文語料,該... 

【文章來源】：廣西大學(xué)廣西壯族自治區(qū) 211工程院校

【文章頁數(shù)】：75 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－１卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)??Ｆｉｇ?２－１?Ｓｔｒｕｃｔｕｒｅ?ｏｆ?Ｃｏｎｖｏｌｕｔｉｏｎ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ??－

循環(huán)神經(jīng)網(wǎng)絡(luò)（ＲＮＮ）通常用于對輸入序列的建模，廣泛應(yīng)用于和序列有關(guān)??的場景［３？８］，如視頻、音頻、句子的處理，其優(yōu)點就是能將所有先前輸入的信息??及其抽象表示保存在隱藏狀態(tài)。如圖２－２展示了基本的ＲＮＮ結(jié)構(gòu)在連續(xù)兩個時刻??中的傳遞過程�？梢姡闀r刻的隱藏狀態(tài)取決于ｉ時刻的輸入信息以及ｉ－１時刻的??隱藏狀態(tài)，同樣的，也取決于ｉ－１時刻的輸入信息以及ｉ－２時刻的隱藏狀態(tài)等。??以下為ＲＮＮ的計算方法：??°ｉ＝ｓ（ｖｓ，）?（２．１）??ｓ，．?＝／（ｔ／ｘ，．?＋Ｗｓ＾）?（２．２）??其中，０，為ｉ時刻的輸出，Ｐ是輸出層的權(quán)重矩陣，ｇ函數(shù)是激活函數(shù)，式??（２．１）為一個全連接層；＼表示ｉ時刻隱藏層的內(nèi)容，ｇＰｉ時刻的記憶，Ｕ是輸入層??的權(quán)重矩陣，Ｗ是ｉ－１時刻到ｉ時刻隱藏層的權(quán)重矩陣，ｆ是一個非線性的激活??函數(shù)

畚幕?諫疃妊?暗鬧悄芰奶旎?ト說墓亟〖際躚芯浚崳?傳統(tǒng)的ＲＮＮ內(nèi)部只是設(shè)置了一個簡單的ｔａｎｈ層，而ＬＳＴＭ改變了?ＲＮＮ結(jié)構(gòu)??中隱藏層的非線性單元，如圖２－３所示，通過結(jié)合ｔａｎｈ層，以及用于讀�。ㄝ敵觯�??寫入（輸入）和重置（忘記）的門（ｇａｔｅｓ）結(jié)構(gòu)替代。ＬＳＴＭ為了解決ＲＮＮ記??憶長期狀態(tài)的問題，增加了細(xì)胞狀態(tài)Ｃ，使Ｃ保存長期的狀態(tài)，并通過門結(jié)構(gòu)決??定哪些狀態(tài)應(yīng)該被遺忘，應(yīng)該吸收哪些新的狀態(tài)，以及應(yīng)該輸出什么信息，目前??ＬＳＴＭ主要應(yīng)用在機(jī)器翻譯、語言模型、詞性標(biāo)注和問答系統(tǒng)中??ＬＳＴＭ的計算原理如下：??Ｉｌ＝ｃｒ（ＷＩｘｘｉ＾ＷＩｈｈｉ＿ｘ＋ｂＩ）?（２．７）??ｆｉ＝＾（ｗｆｉ：ｘｉ?＋?Ｗｆｈｈｉ＿ｌ＋ｂｆ）?（２．８）??ｃｉ?＝?Ｕｉ－ｘ?＋Ｋｈｈ－ｉ?＋ｂｃ）?（２－９）??〇／?＝?Ｈ?＋?〇?（２．１〇）??＝ｏ，ｔａｎｈ（ｃ（）?（２．１１）??其中，／，，?／Ｕ分別代表塒刻的輸入門、遺忘門、輸出門和細(xì)胞狀態(tài)。??矩陣Ｗ表示各層、門和單元之間的權(quán)重矩陣，例如表示輸入層和輸入門之間??的權(quán)重矩陣。門和單元的偏置項ｂｉａｓ分別為６７、＼、九和ａ是ｓｉｇｍｏｉｄ激活函??數(shù)。??ｆ?＇?Ａ??Ｃｉ－ｉ?Ｃｊ?Ｃｉ???？?＠?（＋）———Ｊ—?？??＾ｔａｎｈ＾）??ｆ，?ｉ，?｜—＊（＾）?〇１ｐ（＾）??〇?〇

【參考文獻(xiàn)】：
期刊論文
[1]循環(huán)神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 楊麗,吳雨茜,王俊麗,劉義理.  計算機(jī)應(yīng)用. 2018(S2)
[2]移動互聯(lián)網(wǎng)時代新聞類App的發(fā)展困境和應(yīng)對策略[J]. 孟姜.  新媒體研究. 2018(14)
[3]人工智能在金融理財中的應(yīng)用研究——以京東JIMI為例[J]. 侯欣妤.  無線互聯(lián)科技. 2018(11)
[4]From Eliza to XiaoIce:challenges and opportunities with social chatbots[J]. Heung-yeung SHUM,Xiao-dong HE,Di LI.  Frontiers of Information Technology & Electronic Engineering. 2018(01)
[5]Multi-Level Cross-Lingual Attentive Neural Architecture for Low Resource Name Tagging[J]. Xiaocheng Feng,Lifu Huang,Bing Qin,Ying Lin,Heng Ji,Ting Liu.  Tsinghua Science and Technology. 2017(06)
[6]智能語音助手將成為新的用戶入口[J]. 聞立群,劉珊,董明芳.  現(xiàn)代電信科技. 2017(01)
[7]卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 周飛燕,金林鵬,董軍.  計算機(jī)學(xué)報. 2017(06)
[8]聊天機(jī)器人問答系統(tǒng)現(xiàn)狀與發(fā)展[J]. 馮升.  機(jī)器人技術(shù)與應(yīng)用. 2016(04)
[9]智能客服機(jī)器人的現(xiàn)狀及發(fā)展[J]. 李斐,邵曉東,周力恒,金陽.  中國傳媒科技. 2016(04)
[10]一種基于語句主謂語編碼的文本水印技術(shù)[J]. 李桂森,陳建平,馬海英,楊方興.  計算機(jī)科學(xué). 2015(S2)

博士論文
[1]互聯(lián)網(wǎng)環(huán)境下圖像檢索若干問題研究[D]. 雷亮.重慶大學(xué) 2011

碩士論文
[1]基于深度學(xué)習(xí)的中文分詞方法研究[D]. 劉玉德.華南理工大學(xué) 2018
[2]面向客服聊天機(jī)器人的領(lǐng)域本體構(gòu)建的研究與應(yīng)用[D]. 田星.電子科技大學(xué) 2018
[3]基于深度學(xué)習(xí)的智能聊天機(jī)器人的研究[D]. 梁苗苗.浙江理工大學(xué) 2018
[4]基于強(qiáng)化學(xué)習(xí)的開放領(lǐng)域聊天機(jī)器人對話生成算法[D]. 曹東巖.哈爾濱工業(yè)大學(xué) 2017



本文編號：3511340