面向高考志愿的問答技術(shù)研究
【文章頁數(shù)】:68 頁
【學(xué)位級別】:碩士
【部分圖文】:
圖2.2Word2Vec神經(jīng)網(wǎng)絡(luò)架構(gòu)
圖2.2Word2Vec神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)輸入語料為C,詞向量為m,從中逐個遍歷每個詞w,設(shè)n為的上下文長度,則Contex(t)就取前面的n1個詞,這樣一個二元對(Contex(t),)就構(gòu)成了一個訓(xùn)練樣本。語料,給定詞向量為m,則輸出層有....
圖2.5CNN模型結(jié)構(gòu)圖
Skip-Gram的目標(biāo)函數(shù)如下所示:(,)max(log(|ontext()))SkipGramwCwcDLpwCw(2-13)本文采用Word2Vec中的CBOW模型來訓(xùn)練詞向量。二、CNN模型介紹卷積神經(jīng)網(wǎng)絡(luò)剛開始時就....
圖2.6卷積神經(jīng)網(wǎng)絡(luò)基本流程圖
面向高考志愿問題分類層處理后得到很多個一維向量。假設(shè)有m個filter,那么在一層卷積、一層池化后可以得到一個長度mzR:12[,,...,]mzccc全連接層:圖2.5中最后部分為全連接層,全連接層通過使用Softma到各個分類的概率。....
圖2.7Dropout工作示意圖
面向高考志愿問題分類四、正則化方法Dropout方法[39](Hinton,2012年)是一種防止神經(jīng)網(wǎng)絡(luò)模型出現(xiàn)過擬合的正則化技術(shù)。為了防止過擬合,訓(xùn)練過程中在倒數(shù)第二層使用dropout技術(shù),它將隨機丟棄隱含層的某些節(jié)點使其不工作。Dropout的工作原理,如圖....
本文編號:3923228
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3923228.html