在以人工智能作為國(guó)家發(fā)展戰(zhàn)略技術(shù)的驅(qū)動(dòng)下,作為人工智能產(chǎn)業(yè)中自然語(yǔ)言處理領(lǐng)域的典型應(yīng)用,閑聊式的人機(jī)對(duì)話一直是評(píng)價(jià)智能化進(jìn)程的重要標(biāo)準(zhǔn)。本文面向開(kāi)放領(lǐng)域的對(duì)話場(chǎng)景,針對(duì)對(duì)話過(guò)程中的文本生成問(wèn)題,通過(guò)深度神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建,完成對(duì)話文本所含語(yǔ)言規(guī)律、知識(shí)結(jié)構(gòu)以及語(yǔ)義信息的學(xué)習(xí),實(shí)現(xiàn)對(duì)話文本在交互過(guò)程中的多樣性表達(dá),同時(shí)提升人機(jī)對(duì)話的語(yǔ)義相關(guān)性。本文的主要研究過(guò)程從以下兩個(gè)方面進(jìn)行:針對(duì)檢索式對(duì)話文本的深層語(yǔ)義特征提取,采用循環(huán)神經(jīng)網(wǎng)絡(luò)構(gòu)建對(duì)話匹配模型,通過(guò)長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)消除循環(huán)神經(jīng)網(wǎng)絡(luò)的長(zhǎng)期依賴問(wèn)題,完成輸入語(yǔ)句與生成回復(fù)的語(yǔ)義編碼,獲取深層語(yǔ)義的特征向量表示,根據(jù)語(yǔ)義匹配度算法得到輸入語(yǔ)句與回復(fù)向量的匹配值,進(jìn)而篩選出最佳回復(fù)語(yǔ)句。針對(duì)生成式對(duì)話文本的多樣性表達(dá)任務(wù),以序列到序列的編碼-解碼模型為對(duì)話生成的研究基礎(chǔ)。利用長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)在處理長(zhǎng)對(duì)話文本序列問(wèn)題上的優(yōu)勢(shì),獲取長(zhǎng)文本語(yǔ)句的語(yǔ)義表達(dá)信息,通過(guò)注意力機(jī)制有效調(diào)整語(yǔ)句中關(guān)鍵詞對(duì)于生成序列的權(quán)重,提高對(duì)話回復(fù)文本語(yǔ)義表達(dá)的準(zhǔn)確性。同時(shí),針對(duì)生成回復(fù)的多樣性問(wèn)題,通過(guò)雙向長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)提高模型對(duì)于語(yǔ)句的編碼能力,引入多樣性... 

【文章來(lái)源】：重慶郵電大學(xué)重慶市

【文章頁(yè)數(shù)】：69 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

對(duì)話系統(tǒng)發(fā)展時(shí)間軸如圖1.1所示為世界上具有代表性的對(duì)話系統(tǒng)發(fā)展時(shí)間軸，從20世紀(jì)60年代

重慶郵電大學(xué)碩士學(xué)位論文第2章對(duì)話生成相關(guān)研究基礎(chǔ)10出都與輸入呈線性相關(guān)，中間層也將失去存在的意義，對(duì)于復(fù)雜函數(shù)的表達(dá)也相當(dāng)有限。而通過(guò)激活函數(shù)將非線性計(jì)算引入模型中，使網(wǎng)絡(luò)的輸出與輸入具有更多的非線性組合，從而可以表征更多、更復(fù)雜的函數(shù)，增強(qiáng)深層神經(jīng)網(wǎng)絡(luò)的表達(dá)能力。在目前神經(jīng)網(wǎng)絡(luò)中采用最常見(jiàn)的激活函數(shù)有Sigmoid、Tanh和Relu三種[43]。圖2.1神經(jīng)元結(jié)構(gòu)Sigmoid函數(shù)是比較常用的非線性激活函數(shù)，它的數(shù)學(xué)表達(dá)和導(dǎo)數(shù)形式如式(2.1)所示。其取值范圍為0到1，當(dāng)輸入值是非常大負(fù)數(shù)時(shí)輸出為0，相反輸入值是非常大正數(shù)時(shí)輸出為1。如圖2.2所示為Sigmoid函數(shù)及其導(dǎo)數(shù)的幾何圖像。圖2.2Sigmoid函數(shù)及其導(dǎo)數(shù)的幾何圖像對(duì)于分類(lèi)任務(wù)通常在輸出層采用sigmoid作為激活函數(shù)。但是sigmoid函數(shù)在深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練中存在梯度爆炸和梯度消失的問(wèn)題，特別是發(fā)生梯度消失的概率較大，在輸入值非常大或者非常小的時(shí)候，梯度就無(wú)限接近于0，導(dǎo)致模型難以學(xué)習(xí)。1()1()()1()xfxefxfxfx(2.1)通過(guò)Sigmoid函數(shù)的變形得到Tanh函數(shù)，其數(shù)學(xué)表達(dá)和導(dǎo)數(shù)形式如式(2.2)所示。它的取值范圍為-1到1，當(dāng)輸入值是非常大負(fù)數(shù)時(shí)輸出為-1，相反輸入值是非常大正數(shù)時(shí)輸出為1。如圖2.3所示為T(mén)anh函數(shù)及其導(dǎo)數(shù)的幾何圖像。

重慶郵電大學(xué)碩士學(xué)位論文第2章對(duì)話生成相關(guān)研究基礎(chǔ)10出都與輸入呈線性相關(guān)，中間層也將失去存在的意義，對(duì)于復(fù)雜函數(shù)的表達(dá)也相當(dāng)有限。而通過(guò)激活函數(shù)將非線性計(jì)算引入模型中，使網(wǎng)絡(luò)的輸出與輸入具有更多的非線性組合，從而可以表征更多、更復(fù)雜的函數(shù)，增強(qiáng)深層神經(jīng)網(wǎng)絡(luò)的表達(dá)能力。在目前神經(jīng)網(wǎng)絡(luò)中采用最常見(jiàn)的激活函數(shù)有Sigmoid、Tanh和Relu三種[43]。圖2.1神經(jīng)元結(jié)構(gòu)Sigmoid函數(shù)是比較常用的非線性激活函數(shù)，它的數(shù)學(xué)表達(dá)和導(dǎo)數(shù)形式如式(2.1)所示。其取值范圍為0到1，當(dāng)輸入值是非常大負(fù)數(shù)時(shí)輸出為0，相反輸入值是非常大正數(shù)時(shí)輸出為1。如圖2.2所示為Sigmoid函數(shù)及其導(dǎo)數(shù)的幾何圖像。圖2.2Sigmoid函數(shù)及其導(dǎo)數(shù)的幾何圖像對(duì)于分類(lèi)任務(wù)通常在輸出層采用sigmoid作為激活函數(shù)。但是sigmoid函數(shù)在深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練中存在梯度爆炸和梯度消失的問(wèn)題，特別是發(fā)生梯度消失的概率較大，在輸入值非常大或者非常小的時(shí)候，梯度就無(wú)限接近于0，導(dǎo)致模型難以學(xué)習(xí)。1()1()()1()xfxefxfxfx(2.1)通過(guò)Sigmoid函數(shù)的變形得到Tanh函數(shù)，其數(shù)學(xué)表達(dá)和導(dǎo)數(shù)形式如式(2.2)所示。它的取值范圍為-1到1，當(dāng)輸入值是非常大負(fù)數(shù)時(shí)輸出為-1，相反輸入值是非常大正數(shù)時(shí)輸出為1。如圖2.3所示為T(mén)anh函數(shù)及其導(dǎo)數(shù)的幾何圖像。

【參考文獻(xiàn)】：
期刊論文
[1]基于python的網(wǎng)絡(luò)爬蟲(chóng)技術(shù)研究[J]. 李玉香,王孟玉,涂宇晰.  信息技術(shù)與信息化. 2019(12)
[2]微軟小冰:人工智能步入社會(huì)角色的文化研究[J]. 陳依凡.  藝術(shù)科技. 2019(02)
[3]基于GloVe模型的詞向量改進(jìn)方法[J]. 陳珍銳,丁治明.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2019(01)
[4]基于獨(dú)熱編碼和卷積神經(jīng)網(wǎng)絡(luò)的異常檢測(cè)[J]. 梁杰,陳嘉豪,張雪芹,周悅,林家駿.  清華大學(xué)學(xué)報(bào)(自然科學(xué)版). 2019(07)
[5]深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練中梯度不穩(wěn)定現(xiàn)象研究綜述[J]. 陳建廷,向陽(yáng).  軟件學(xué)報(bào). 2018(07)
[6]面向不平衡數(shù)據(jù)分類(lèi)的復(fù)合SVM算法研究[J]. 劉東啟,陳志堅(jiān),徐銀,李飛騰.  計(jì)算機(jī)應(yīng)用研究. 2018(04)
[7]基于Word2Vec的一種文檔向量表示[J]. 唐明,朱磊,鄒顯春.  計(jì)算機(jī)科學(xué). 2016(06)
[8]新浪微博數(shù)據(jù)獲取技術(shù)研究[J]. 黃延煒,劉嘉勇.  信息安全與通信保密. 2013(06)
[9]神經(jīng)元網(wǎng)絡(luò)控制[J]. 賈曉亮,米增.  數(shù)字技術(shù)與應(yīng)用. 2011(06)
[10]基于LDA模型的主題分析[J]. 石晶,范猛,李萬(wàn)龍.  自動(dòng)化學(xué)報(bào). 2009(12)



本文編號(hào)：3498762