答案選擇是自然語言處理中十分重要的任務(wù),同樣也是問答系統(tǒng)中必不可少的組成成分。其基本的定義是給出問題和這個(gè)問題的答案候選池,目的是從答案候選池中可以準(zhǔn)確地找到問題的最佳答案。該任務(wù)最困難的挑戰(zhàn)在于答案可能不會直接與問題共享詞匯單位,問題和答案之間可能只是語義上相關(guān),而且候選答案的信息時(shí)而嘈雜,可能含有大量不相關(guān)甚至負(fù)相關(guān)的信息。早期的答案選擇任務(wù)都是通過傳統(tǒng)機(jī)器學(xué)習(xí)算法來實(shí)現(xiàn)的,但這種方式非常費(fèi)時(shí),而且訓(xùn)練出來的模型易出現(xiàn)過擬合問題。而深度學(xué)習(xí)近十年來蓬勃發(fā)展,在答案選擇任務(wù)上都取得了不錯(cuò)的成果,其中表現(xiàn)非常突出的有卷積神經(jīng)網(wǎng)絡(luò)(CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、以及雙向長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(BiLSTM)。但是這些神經(jīng)網(wǎng)絡(luò)都各有優(yōu)點(diǎn)和不足,例如CNN可以獲得句子的局部語義但較難獲得長距離信息,而RNN可以獲得上下文的序列信息但較難獲得句子的局部語義。針對以上的問題,本課題研究的主要工作包括以下幾點(diǎn):1.研究多個(gè)基于深度神經(jīng)網(wǎng)絡(luò)的答案選擇模型,針對CNN較難獲得長距離信息和RNN較難獲得句子局部語義的問題,通過結(jié)合多種神經(jīng)網(wǎng)絡(luò)對現(xiàn)有的答案選擇模型進(jìn)行了改進(jìn),并通過實(shí)驗(yàn)驗(yàn)證了多種組合模型的可...

【文章頁數(shù)】：78 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖2-1神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

電子科技大學(xué)碩士學(xué)位論文8第二章相關(guān)技術(shù)原理2.1神經(jīng)網(wǎng)絡(luò)的基本原理神經(jīng)網(wǎng)絡(luò)是一個(gè)具有相連節(jié)點(diǎn)層的計(jì)算模型，其分層結(jié)構(gòu)與大腦中的神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)相似。神經(jīng)網(wǎng)絡(luò)可通過數(shù)據(jù)進(jìn)行學(xué)習(xí)，因此，可訓(xùn)練它進(jìn)行數(shù)據(jù)識別、數(shù)據(jù)分類和預(yù)測未來等任務(wù)。神經(jīng)網(wǎng)絡(luò)將輸入細(xì)分為多個(gè)抽象層，就像人類大腦的行為....

圖2-2神經(jīng)元模型

第二章相關(guān)技術(shù)原理9圖2-2神經(jīng)元模型上圖中每一個(gè)連接線上都通過訓(xùn)練分配了權(quán)重，而不斷地對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練就是為了讓權(quán)重達(dá)到最優(yōu)分布來優(yōu)化自身模型，假設(shè)將輸入信號設(shè)為A，各個(gè)連接線的權(quán)重值用key來表示。那么一條連接線在前端的信號為A，權(quán)重key在歸一化之后變?yōu)椤洳⑴cA相乘之后，....

圖2-3單層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(感知器)

第二章相關(guān)技術(shù)原理9圖2-2神經(jīng)元模型上圖中每一個(gè)連接線上都通過訓(xùn)練分配了權(quán)重，而不斷地對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練就是為了讓權(quán)重達(dá)到最優(yōu)分布來優(yōu)化自身模型，假設(shè)將輸入信號設(shè)為A，各個(gè)連接線的權(quán)重值用key來表示。那么一條連接線在前端的信號為A，權(quán)重key在歸一化之后變?yōu)椤洳⑴cA相乘之后，....

圖2-5sigmoid函數(shù)圖像

電子科技大學(xué)碩士學(xué)位論文10圖2-4雙層神經(jīng)網(wǎng)絡(luò)雙層神經(jīng)網(wǎng)絡(luò)如圖2-4所示，圖中輸入層設(shè)為()，輸出層設(shè)為Z，單權(quán)重分布也變?yōu)榱司W(wǎng)絡(luò)參數(shù)分布設(shè)為。該神經(jīng)網(wǎng)絡(luò)與單層神經(jīng)網(wǎng)絡(luò)最大的不同點(diǎn)在于其輸入和輸出之間添加了一個(gè)隱藏層。此外，計(jì)算方面也同時(shí)覆蓋了隱藏層和輸出層。上一小節(jié)中圖2-3....

本文編號：4037576