發(fā)布時間：2021-09-14 21:02

　　自然語言處理,作為現(xiàn)今AI一個引人注目的領(lǐng)域,主要探索自然語言和計(jì)算機(jī)之間的交互關(guān)系.其中,使機(jī)器具有像人類一樣的閱讀理解能力,吸引了眾多研究者的關(guān)注.如果一臺機(jī)器具有優(yōu)秀的閱讀理解水平,那么在人類生活中,許多應(yīng)用顯示出的智能水平,就會更接近人類,從而更好地服務(wù)人類.機(jī)器閱讀理解有多種形式,其中片段抽取型是研究的熱點(diǎn).伴隨高質(zhì)量數(shù)據(jù)集的出現(xiàn),基于深度學(xué)習(xí)的各種性能優(yōu)異的模型也被相繼推出.在SQuAD數(shù)據(jù)集上,給定問題,答案限定為文本的一個片段,而現(xiàn)有模型的基本架構(gòu)都可以概括為嵌入層、編碼層、交互層和輸出層4個部分,其中在編碼層都使用循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行編碼,使上下文的語義信息融合進(jìn)文本和問題單詞的向量表示.本文嘗試使用卷積神經(jīng)網(wǎng)絡(luò)在編碼層對文本和問題進(jìn)行編碼.在實(shí)證分析部分,基于SQuAD數(shù)據(jù)集,首先實(shí)現(xiàn)一個包含循環(huán)神經(jīng)網(wǎng)絡(luò)編碼層的基線模型,其中在輸出層使用一個滑動窗口避免模型在預(yù)測時輸出為空.其次,依據(jù)對訓(xùn)練數(shù)據(jù)集的統(tǒng)計(jì)分析,實(shí)現(xiàn)一個基于多層卷積運(yùn)算的編碼層,替換基線模型的原始編碼層作為改進(jìn)模型.通過實(shí)驗(yàn)分析,改進(jìn)模型在給定評價指標(biāo)上的表現(xiàn)稍遜于基線模型,但在參數(shù)數(shù)量、迭代速度上占優(yōu),模... 

【文章來源】：華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：47 頁

【學(xué)位級別】：碩士

【部分圖文】：

前饋神經(jīng)網(wǎng)絡(luò)圖像

圖 2-2 Sigmoid 函數(shù)圖像還有雙曲正切函數(shù)[25]f ( x ) Tanh( x)：e eTanh( )e ex xx xx . 2-3 所示為 Tanh 函數(shù).圖 2-3 Tanh 函數(shù)圖像

9圖 2-3 Tanh 函數(shù)圖像數(shù)和 Tanh 函數(shù)具有明顯的擠壓作用, 因?yàn)槠湓诖蟛苛? 僅僅當(dāng) x 在0附近才有一個較高的梯度, 這會使困難.元[26]（Rectified Linear Unit, ReLU）是目前神經(jīng)網(wǎng)如下公式：f ( x ) max(0, x).


本文編號：3395523