隨著交通運輸行業(yè)與互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,信息數(shù)據(jù)日益增加,人們的生活節(jié)奏日益加快。在交通客服領(lǐng)域內(nèi),人工客服的培訓(xùn)與管理成本較高且無法滿足用戶實時咨詢的需求,傳統(tǒng)的客服系統(tǒng)將不同的信息分布在各種部門信息門戶下,該模式在獲取時由于各類信息繁雜多樣會導(dǎo)致效率非常低下,這種模式已經(jīng)無法滿足廣大司機用戶日益增長的高效獲取信息的需求,因此智能交通客服系統(tǒng)的研究與實現(xiàn)迫在眉睫。本文設(shè)計并實現(xiàn)了一個準確率高且性能非常穩(wěn)定的智能交通客服系統(tǒng),該系統(tǒng)以微信公眾號為平臺,不僅解決了以往在網(wǎng)頁上開發(fā)系統(tǒng)經(jīng)常會出現(xiàn)加載緩慢的情況,而且統(tǒng)一了用戶查詢信息的入口,可以更加方便將用戶所提出的問題進行匯總。在分析了國內(nèi)外在對智能問答系統(tǒng)的研究之后,本文主要從領(lǐng)域知識庫設(shè)計,意圖識別,系統(tǒng)設(shè)計三個方面進行改進,在結(jié)合了具體的實際需求后完成了對實現(xiàn)智能交通客服系統(tǒng)的核心技術(shù)進行研究,本文的主要貢獻及成果如下:（1）本文通過分析現(xiàn)有的四類智能問答系統(tǒng)的特點后發(fā)現(xiàn)這些智能問答系統(tǒng)都無法獨立的幫助我們解決問題,在結(jié)合交通客服領(lǐng)域內(nèi)用戶的需求之后,設(shè)計了一種新型的問題答案對存儲模式,提出了將領(lǐng)域知識庫和常用問題答案對（Frequ... 

【文章來源】： 何常愛 安徽大學(xué)

【文章頁數(shù)】：69 頁

【學(xué)位級別】：碩士

【部分圖文】：

實體關(guān)系三元組

第二章相關(guān)理論與關(guān)鍵技術(shù)20圖2.1GRU模型結(jié)構(gòu)Fig2.1GRUmodelstructure基于深度學(xué)習(xí)模型的組合實現(xiàn)的意圖識別算法[46]考慮到了各種深度學(xué)習(xí)模型的長處和短處。例如Convolutional-LSTM[51]是用CNN和LSTM相結(jié)合而得到一個用于識別用戶消費意圖的模型，Convolutional-LSTM意圖是被模型既利用了CNN可以提取文本深層次的特征的特點也利用了LSTM可以學(xué)習(xí)上下文的語義信息的特點。Character-CNN-BGRU[52]是由CNN和BGRU（BidirectionalGatedRecurrentUnit）[36]相結(jié)合而得到的用于解決用戶提出的問句為短文本數(shù)據(jù)而引起的數(shù)據(jù)稀疏問題[37]，Character-CNN-BGRU意圖識別模型結(jié)合CNN可以提取文本深層次的特征的特點和BGRU可以確定用戶所提問句的時序關(guān)系的特點，同時也結(jié)合使用了字符的方法。不過這些基于深度學(xué)習(xí)模型的組合實現(xiàn)的意圖識別算法在訓(xùn)練模型時需要耗費大量的時間和算力。2.3BERT簡介BERT是在大量的文本語料的基礎(chǔ)上通過訓(xùn)練得到的一個可以通用的預(yù)訓(xùn)練模型。BERT是第一個用在自然語言理解任務(wù)上的不僅是無監(jiān)督的而且是深度雙向系統(tǒng)。BERT模型的基本組成原件是雙向Transformer編碼器，如圖2.2所示就是用雙向編碼器組成的BERT的模型結(jié)構(gòu)。圖2.2中的文本輸入用底層的1,2,…,來表示，當輸入的文本1,2,…,在通過雙向的Transformer編碼器的處理之后，我們就能夠得到輸入文本的向量化表示1,2,…,在模型的最上層，也就是文本的向量化表示主要是經(jīng)過雙向的Transformer編碼器后實現(xiàn)的。

安徽大學(xué)碩士學(xué)位論文21圖2.2BERT的模型結(jié)構(gòu)Fig2.2BERTmodelstructure在這里我們將seq2seq[39]模型結(jié)構(gòu)簡化為如圖2.3所示的結(jié)構(gòu)。實際上我們可以將Transformer[59]看成是一個由Self-attention實現(xiàn)的Seq2seq模型，而Seq2Seq在本質(zhì)是一個基于由Encoder-Decoder[38]結(jié)構(gòu)實現(xiàn)的模型。這個模型是以序列的格式進行輸入，也以序列的格式進行輸出，該模型中的Encoder[57]編碼器會幫助我們把一個文本長度不確定的輸入序列編碼后變成為一個長度固定的向量，而模型中的Decoder[58]解碼器實現(xiàn)了與Encoder截然相反的操作，它會把經(jīng)過Encoder編碼后形成的長度固定的向量解碼成為一個不固定的輸出序列。圖2.3簡化的seq2seq的模型結(jié)構(gòu)Fig2.3simplifiedseq2seqmodelstructureTransformer最大的特點就是它的模型結(jié)構(gòu)能夠讓它直接獲取文本的全局信息。通常情況下，我們都是使用RNN來實現(xiàn)解決序列型問題時用到的Encoder-Decoder結(jié)構(gòu)，但是RNN在實現(xiàn)的過程中需要逐步做遞歸操作，因此RNN就存在無法并行且運行速度慢的弊端，為了解決RNN存在的運算速度慢的情況，于是Transformer使用Self-E1E2ENT1T2TNTrmTrmTrmTrmTrmTrm............


本文編號：2930545