基于循環(huán)神經(jīng)網(wǎng)絡(luò)的深度推薦模型研究
發(fā)布時(shí)間:2021-01-23 12:53
隨著在線信息量的快速增加,個(gè)性化推薦已逐漸成為克服信息過(guò)載的有效策略。盡管現(xiàn)有的推薦系統(tǒng)已經(jīng)非常成功并且產(chǎn)生了不錯(cuò)的推薦,但是它們?nèi)匀幻媾R諸如稀疏性問(wèn)題,可解釋性差以及在用戶剛剛訪問(wèn)的幾個(gè)項(xiàng)目中捕獲短期用戶興趣困難的挑戰(zhàn)。近幾年,深度神經(jīng)網(wǎng)絡(luò)已經(jīng)在學(xué)術(shù)界和工業(yè)界引起了極大的關(guān)注,并且廣泛的應(yīng)用在自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)等領(lǐng)域。同時(shí),已經(jīng)有研究表明將深度學(xué)習(xí)應(yīng)用到推薦中可以提高推薦質(zhì)量。在眾多的基于深度學(xué)習(xí)的推薦中,很少有文獻(xiàn)利用循環(huán)神經(jīng)網(wǎng)絡(luò)來(lái)建模序列數(shù)據(jù),從而提高推薦質(zhì)量。因此本文對(duì)基于循環(huán)神經(jīng)網(wǎng)絡(luò)的推薦系統(tǒng)進(jìn)行分析和研究,并提出了新的模型,具體如下:一、許多電子商務(wù)網(wǎng)站中存在用戶編寫(xiě)的大量評(píng)論信息,大部分推薦系統(tǒng)雖然利用了評(píng)論信息,但僅從單詞級(jí)別而不是評(píng)論級(jí)別來(lái)評(píng)估評(píng)論的重要性。如果只考慮評(píng)論中的重要單詞,而忽略了真正有用的評(píng)論,則會(huì)降低推薦模型的性能;诖,文中提出了一種基于雙層注意力機(jī)制的聯(lián)合深度推薦模型(DLALSTM)。該模型首先利用雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(BiLSTM)分別對(duì)用戶和項(xiàng)目評(píng)論進(jìn)行詞以及評(píng)論級(jí)別聯(lián)合建模,并通過(guò)兩層注意力機(jī)制聚合為評(píng)論表示和用戶/項(xiàng)目表示,然后把從...
【文章來(lái)源】:安徽大學(xué)安徽省 211工程院校
【文章頁(yè)數(shù)】:73 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
CF過(guò)程概述
安徽大學(xué)碩士學(xué)位論文9加權(quán)式:通過(guò)組合不同推薦方法的結(jié)果來(lái)生成推薦。切換式:根據(jù)當(dāng)前的情況,選擇不同的推薦算法以生成推薦;祀s式:同時(shí)采用多種推薦方法給出多種推薦結(jié)果供用戶參考。級(jí)聯(lián)式:一種推薦方法產(chǎn)生的輸入依賴于其他推薦方法的輸出。特征組合式:將不同推薦方法的特征組合在一起,并在單個(gè)算法中加以利用。特征補(bǔ)充式:一種推薦方法的特征輸入混合了另一種推薦方法產(chǎn)生的特征輸出。2.2循環(huán)神經(jīng)網(wǎng)絡(luò)RNN是一類利用序列信息來(lái)建模的人工神經(jīng)網(wǎng)絡(luò),RNN內(nèi)部的循環(huán)結(jié)構(gòu)決定了在每個(gè)時(shí)間步的隱藏狀態(tài)取決于當(dāng)前輸入和前一個(gè)時(shí)間步的隱藏狀態(tài),使得RNN可以有效的處理可變長(zhǎng)度的序列信息,RNN的結(jié)構(gòu)如圖2.2所示。圖2.2RNN結(jié)構(gòu)圖Figure2.2ThemodelofRNN具體來(lái)說(shuō),給定序列()12Tx=x,x,,x,RNN更新循環(huán)隱藏狀態(tài)th通過(guò)以下公式:tt-1tthh,xt0,0(),0(2.1)式中是一個(gè)非線性函數(shù),例如tanh、sigmoid函數(shù)等。具體來(lái)說(shuō)公式2.1中RNN的隱藏狀態(tài)更新通常由以下公式實(shí)現(xiàn):()ttt-1h=gWx+Uh(2.2)
安徽大學(xué)碩士學(xué)位論文13圖2.4基于AE的模型Figure2.4AE-basedmodel而協(xié)同去噪自動(dòng)編碼器(CDAE)[43]主要用于排名預(yù)測(cè)。CDAE的輸入是用戶的隱式反潰也可以將其視為反映用戶對(duì)項(xiàng)目興趣的偏好。例如,如果用戶喜歡這個(gè)商品,則值為1,否則為0。CDAE在所有訓(xùn)練數(shù)據(jù)中使用SGD更新其參數(shù)。但是在現(xiàn)實(shí)應(yīng)用中將所有評(píng)分都考慮進(jìn)去是不切實(shí)際的,因此提出了一種負(fù)采樣技術(shù)來(lái)采樣一部分負(fù)數(shù)據(jù)(用戶沒(méi)有交互過(guò)的),從而降低了時(shí)間復(fù)雜度,同時(shí)也不會(huì)降低排名質(zhì)量。2.4.2基于受限玻爾茲曼機(jī)的推薦模型受限玻爾茲曼機(jī)(RBM)結(jié)構(gòu)由可見(jiàn)層和隱藏層組成。它是較早的人工神經(jīng)網(wǎng)絡(luò)之一,能夠通過(guò)學(xué)習(xí)數(shù)據(jù)內(nèi)在的固有屬性來(lái)解決復(fù)雜的學(xué)習(xí)問(wèn)題。RBM同層之間相互沒(méi)有連接,因而模型的學(xué)習(xí)效率得到了很大的改善。Mnih等[44]提出了一種基于受限玻爾茲曼機(jī)的推薦模型。后來(lái)研究人員又進(jìn)一步探索使用RBM合并隱式反饋信息。由于RBM的可見(jiàn)單元的特殊限制,因此評(píng)分將使用one-hot的形式來(lái)對(duì)應(yīng)此要求。該模型的結(jié)構(gòu)如圖2.5所示。
【參考文獻(xiàn)】:
期刊論文
[1]引入漂移特性的用戶興趣模型優(yōu)化研究[J]. 南智敏,錢松榮. 微型電腦應(yīng)用. 2012(03)
碩士論文
[1]基于Web使用挖掘的個(gè)性化推薦系統(tǒng)[D]. 張海玉.西北大學(xué) 2006
本文編號(hào):2995246
【文章來(lái)源】:安徽大學(xué)安徽省 211工程院校
【文章頁(yè)數(shù)】:73 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
CF過(guò)程概述
安徽大學(xué)碩士學(xué)位論文9加權(quán)式:通過(guò)組合不同推薦方法的結(jié)果來(lái)生成推薦。切換式:根據(jù)當(dāng)前的情況,選擇不同的推薦算法以生成推薦;祀s式:同時(shí)采用多種推薦方法給出多種推薦結(jié)果供用戶參考。級(jí)聯(lián)式:一種推薦方法產(chǎn)生的輸入依賴于其他推薦方法的輸出。特征組合式:將不同推薦方法的特征組合在一起,并在單個(gè)算法中加以利用。特征補(bǔ)充式:一種推薦方法的特征輸入混合了另一種推薦方法產(chǎn)生的特征輸出。2.2循環(huán)神經(jīng)網(wǎng)絡(luò)RNN是一類利用序列信息來(lái)建模的人工神經(jīng)網(wǎng)絡(luò),RNN內(nèi)部的循環(huán)結(jié)構(gòu)決定了在每個(gè)時(shí)間步的隱藏狀態(tài)取決于當(dāng)前輸入和前一個(gè)時(shí)間步的隱藏狀態(tài),使得RNN可以有效的處理可變長(zhǎng)度的序列信息,RNN的結(jié)構(gòu)如圖2.2所示。圖2.2RNN結(jié)構(gòu)圖Figure2.2ThemodelofRNN具體來(lái)說(shuō),給定序列()12Tx=x,x,,x,RNN更新循環(huán)隱藏狀態(tài)th通過(guò)以下公式:tt-1tthh,xt0,0(),0(2.1)式中是一個(gè)非線性函數(shù),例如tanh、sigmoid函數(shù)等。具體來(lái)說(shuō)公式2.1中RNN的隱藏狀態(tài)更新通常由以下公式實(shí)現(xiàn):()ttt-1h=gWx+Uh(2.2)
安徽大學(xué)碩士學(xué)位論文13圖2.4基于AE的模型Figure2.4AE-basedmodel而協(xié)同去噪自動(dòng)編碼器(CDAE)[43]主要用于排名預(yù)測(cè)。CDAE的輸入是用戶的隱式反潰也可以將其視為反映用戶對(duì)項(xiàng)目興趣的偏好。例如,如果用戶喜歡這個(gè)商品,則值為1,否則為0。CDAE在所有訓(xùn)練數(shù)據(jù)中使用SGD更新其參數(shù)。但是在現(xiàn)實(shí)應(yīng)用中將所有評(píng)分都考慮進(jìn)去是不切實(shí)際的,因此提出了一種負(fù)采樣技術(shù)來(lái)采樣一部分負(fù)數(shù)據(jù)(用戶沒(méi)有交互過(guò)的),從而降低了時(shí)間復(fù)雜度,同時(shí)也不會(huì)降低排名質(zhì)量。2.4.2基于受限玻爾茲曼機(jī)的推薦模型受限玻爾茲曼機(jī)(RBM)結(jié)構(gòu)由可見(jiàn)層和隱藏層組成。它是較早的人工神經(jīng)網(wǎng)絡(luò)之一,能夠通過(guò)學(xué)習(xí)數(shù)據(jù)內(nèi)在的固有屬性來(lái)解決復(fù)雜的學(xué)習(xí)問(wèn)題。RBM同層之間相互沒(méi)有連接,因而模型的學(xué)習(xí)效率得到了很大的改善。Mnih等[44]提出了一種基于受限玻爾茲曼機(jī)的推薦模型。后來(lái)研究人員又進(jìn)一步探索使用RBM合并隱式反饋信息。由于RBM的可見(jiàn)單元的特殊限制,因此評(píng)分將使用one-hot的形式來(lái)對(duì)應(yīng)此要求。該模型的結(jié)構(gòu)如圖2.5所示。
【參考文獻(xiàn)】:
期刊論文
[1]引入漂移特性的用戶興趣模型優(yōu)化研究[J]. 南智敏,錢松榮. 微型電腦應(yīng)用. 2012(03)
碩士論文
[1]基于Web使用挖掘的個(gè)性化推薦系統(tǒng)[D]. 張海玉.西北大學(xué) 2006
本文編號(hào):2995246
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/2995246.html
最近更新
教材專著