在信息過載的今天,人們可以通過互聯(lián)網(wǎng)擁有各式各樣的獲取信息的途徑與方式,但最需要人們花費(fèi)時(shí)間的是要在龐大的信息海洋中發(fā)現(xiàn)自己感興趣的信息。推薦系統(tǒng)就在這種條件下應(yīng)運(yùn)而生。對(duì)用戶而言,推薦系統(tǒng)能幫助決策,發(fā)現(xiàn)新鮮事物。對(duì)商家而言,推薦系統(tǒng)能提供個(gè)性化服務(wù),提高信任度和粘性,增加營收。傳統(tǒng)的推薦算法一般都是通過分析用戶對(duì)物品的評(píng)分?jǐn)?shù)據(jù),之后再進(jìn)行偏好推薦。然而如果用戶對(duì)項(xiàng)目的行為信息過少,使得評(píng)分?jǐn)?shù)據(jù)過于稀疏,推薦系統(tǒng)的推薦效果會(huì)變差。為了預(yù)測(cè)填補(bǔ)評(píng)分?jǐn)?shù)據(jù)中的空缺信息,研究者提出了評(píng)分預(yù)測(cè)算法。評(píng)分預(yù)測(cè)算法通過研究項(xiàng)目的屬性,構(gòu)建模型來對(duì)預(yù)測(cè)并補(bǔ)全用戶項(xiàng)目評(píng)分矩陣中的空缺項(xiàng)。常見的評(píng)分預(yù)測(cè)模型包括平均值法,矩陣分解模型等。但這些方法都存在深層特征提取困難,數(shù)據(jù)處理方式單一等問題,這些問題會(huì)導(dǎo)致預(yù)測(cè)精度低以及結(jié)果不夠合理。深度學(xué)習(xí)中的模型具有較強(qiáng)的適應(yīng)性,在很多領(lǐng)域都被廣泛使用。相對(duì)于嵌入方法而言,深度學(xué)習(xí)的模型對(duì)數(shù)據(jù)之間的聯(lián)系分析得更加充分,從數(shù)據(jù)中學(xué)習(xí)到的特征也更具代表性,從而可以間接地提高預(yù)測(cè)精度。針對(duì)上述問題,本文對(duì)基于特征嵌入的推薦算法（FE）進(jìn)行改進(jìn),利用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)... 

【文章來源】：吉林大學(xué)吉林省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：68 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

卷積神經(jīng)網(wǎng)絡(luò)提取語句特征

第2章相關(guān)理論知識(shí)介紹13疊加來實(shí)現(xiàn)對(duì)輸入數(shù)據(jù)的多次特征提取過程，之后再將處理后的特征信息傳到全連接層。全連接層的作用是對(duì)提取到的信息進(jìn)行整合，網(wǎng)絡(luò)最后的輸出層是一個(gè)分類器，可以采用邏輯回歸，Softmax回歸等多種方式對(duì)輸入的特征信息進(jìn)行分類。卷積層是整個(gè)網(wǎng)絡(luò)的核心的部分。網(wǎng)絡(luò)中每個(gè)卷積層都具有唯一的特征面，在每個(gè)特征面中都包含著多個(gè)神經(jīng)元。每個(gè)神經(jīng)元都通過卷積核與上一層的局部區(qū)域的神經(jīng)元相連接。卷積核一般情況下是一個(gè)權(quán)值矩陣。卷積核大小的具體設(shè)置情況會(huì)根據(jù)數(shù)據(jù)類型維度的改變而有所不同。卷積層的工作原理是利用卷積核的滑動(dòng)，對(duì)每個(gè)不同的卷積核進(jìn)行卷積運(yùn)算來實(shí)現(xiàn)對(duì)特征的提齲在對(duì)一個(gè)多層的網(wǎng)絡(luò)輸入數(shù)據(jù)后，第一個(gè)卷積層的輸出可以視為提取原始輸入數(shù)據(jù)中較低級(jí)的局部特征。第二個(gè)卷積層以第一層的輸出作為輸入，在第一層提取的特征的基礎(chǔ)上繼續(xù)提取更深層的特征，更深層的卷積層工作方式以此類推。卷積運(yùn)算如下所示：)(,,1jijiixijVVbWf…………………（2.1）其中ixV1指網(wǎng)絡(luò)中第i-1層的第x個(gè)特征。jiW,指第i層的第j個(gè)特征的權(quán)重矩陣。jib,指第i層第j個(gè)特征的偏置。f)(指激活函數(shù)。以4x4的矩陣為例，若設(shè)卷積核的維度為2x2.滑動(dòng)步長為2，則具體卷積過程如下圖所示：圖2.2卷積運(yùn)算過程從上圖卷積計(jì)算的過程中可以看出，卷積計(jì)算在提取特征的同時(shí)也降低了數(shù)

第2章相關(guān)理論知識(shí)介紹15圖2.3循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖若在t時(shí)刻的輸入為x，t-1時(shí)刻的隱含層輸出結(jié)果為t1s，則t時(shí)刻的第k個(gè)神經(jīng)元的輸出公式如下所示：JjjtkjIiitkikifsxbsUW111)(…………（2.2）其中kiW為輸入層第i個(gè)神經(jīng)元與隱含層第k個(gè)神經(jīng)單元的權(quán)重矩陣，kjU為t-1時(shí)刻的第j個(gè)神經(jīng)元與下一時(shí)刻第k個(gè)神經(jīng)元的權(quán)重矩陣，f)(指激活函數(shù)，b指偏置。2.4長短文本記憶網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)的特點(diǎn)就是隱含層的神經(jīng)元可以整合先前的信息到當(dāng)前的任務(wù)上。然而，如果序列中兩個(gè)元素的位置距離間隔很大，傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)就會(huì)無法學(xué)習(xí)到距離較長的信息，這就是長距離依賴問題（Long-TermDependencies)[27]。為了緩解這個(gè)問題，在1997年，研究者Hochreiter與Schmidhuber共同提出一種循環(huán)神經(jīng)網(wǎng)絡(luò)的改進(jìn)形式——長短文本記憶網(wǎng)絡(luò)(LongShort-Term


本文編號(hào)：3418258