基于深度學習的商品推薦系統(tǒng)的研究與實現(xiàn)
【學位單位】:北京郵電大學
【學位級別】:碩士
【學位年份】:2019
【中圖分類】:TP391.3;TP181
【部分圖文】:
的維度很大時,query和key點乘的結果通常會很大,其會對應到softmax函??數(shù)低梯度的區(qū)域,導致模型無法得到有效的訓練。??如圖2-2所示,Transformer模型在編解碼器中并不只采用單一的點乘注意??力。實驗表明在機器翻譯時,Transformer可以從并行跑多個點乘注意力中獲得較??高的收益,Transformer?qū)⑵浞Q為多頭注意力。多頭注意力首先將Q矩陣、K矩??陣與V矩陣進行多次線性映射;然后分別將每次映射后得到三個矩陣進行點乘??注意力操作;最后將多次點乘注意力的結果進行拼接后再進行線性映射,最終得??到多頭注意力的輸出,如公式2-2、2-3所示。??10??
t?t??Q?K?V??圖2-1點乘注意力示意圖??點乘注意力之所以在query和key點乘之后進行放縮,是因為當query和key??的維度很大時,query和key點乘的結果通常會很大,其會對應到softmax函??數(shù)低梯度的區(qū)域,導致模型無法得到有效的訓練。??如圖2-2所示,Transformer模型在編解碼器中并不只采用單一的點乘注意??力。實驗表明在機器翻譯時,Transformer可以從并行跑多個點乘注意力中獲得較??高的收益,Transformer?qū)⑵浞Q為多頭注意力。多頭注意力首先將Q矩陣、K矩??陣與V矩陣進行多次線性映射;然后分別將每次映射后得到三個矩陣進行點乘??注意力操作;最后將多次點乘注意力的結果進行拼接后再進行線性映射,最終得??到多頭注意力的輸出
?問題。??如圖2-5所示,LSTM模型主要以內(nèi)存塊(Memory?Block)結構為基礎構建;??每個內(nèi)存塊包含一個細胞狀態(tài)(Memory?Cell)和三個控制門。細胞狀態(tài)起著對??全局信息進行存儲的功能,它記憶了過去時間步長的歷史信息和當前時間步長的??輸入信息。三個控制門分別為輸入控制門(Input?Gate?)、遺忘控制門(Forget?Gate)??與輸出控制門(Output?Gate)。控制門起到了對相應編碼信息進行選擇的功能,??它們采用sigmoid函數(shù)作為控制門的激活函數(shù),因此激活后的取值范圍是[0,1]。??控制門是通過將激活函數(shù)作用到相關的信息值上,實現(xiàn)信息選擇的:當激活值為??1時,表示放行全部的信息;而當激活值為0時,表示阻塞全部的信息。??\f?/?,??V_^Output?Gate?a??\????\?“??V??'^^^^Forget?Gate??I??\?y??y?Input?Gate??I?r?)??Block??I?/\\ ̄ ̄??圖2-5?LSTM內(nèi)部結構示意圖??公式2-11、公式2-12、公式2-13分別是LSTM模型中輸入門、輸出門與遺??忘門的計算方式。而公式2-14是根據(jù)當前時間步長的輸入產(chǎn)生當前網(wǎng)絡節(jié)點信??息。公式2-15是通過輸入門來選擇當前網(wǎng)絡節(jié)點的信息,并通過遺忘門來過濾??細胞狀態(tài)中歷史過去信息
【相似文獻】
相關期刊論文 前10條
1 仲兆滿;管燕;胡云;李存華;;基于背景和內(nèi)容的微博用戶興趣挖掘[J];軟件學報;2017年02期
2 蘇惠明;;一種基于用戶興趣的個性化建模方法[J];內(nèi)燃機與配件;2017年04期
3 王占;林巖;;基于信任與用戶興趣變化的協(xié)同過濾方法研究[J];情報學報;2017年02期
4 鄧娟;;用戶興趣變化下的協(xié)同過濾最優(yōu)推薦仿真[J];計算機仿真;2016年08期
5 徐則陽;劉博;;百度貼吧用戶興趣分類[J];福建電腦;2014年11期
6 石偉杰;徐雅斌;;微博用戶興趣發(fā)現(xiàn)研究[J];現(xiàn)代圖書情報技術;2015年01期
7 楊絢然;;《解憂雜貨店》走進現(xiàn)實[J];時代報告;2016年12期
8 孫雨生;劉偉;仇蓉蓉;黃傳慧;;國內(nèi)用戶興趣建模研究進展[J];情報雜志;2013年05期
9 楊杰;陳恩紅;;面向個性化服務的用戶興趣偏移檢測及處理方法[J];電子技術;2009年11期
10 陳圣兵;李龍澍;紀霞;;多層次用戶興趣模式的動態(tài)捕捉[J];計算機工程與應用;2009年36期
相關博士學位論文 前10條
1 徐揚;基于用戶興趣挖掘的個性化推薦方法研究[D];山東大學;2018年
2 李鐵;面向大規(guī)模電商評論的情感分析與興趣挖掘研究[D];電子科技大學;2018年
3 郭巖;網(wǎng)絡日志中用戶興趣的挖掘及利用[D];中國科學院研究生院(計算技術研究所);2004年
4 吳麗輝;個性化的Web信息采集技術研究[D];中國科學院研究生院(計算技術研究所);2005年
5 馬力;基于聚類分析的網(wǎng)絡用戶興趣挖掘方法研究[D];西安電子科技大學;2012年
6 劉淇;基于用戶興趣建模的推薦方法及應用研究[D];中國科學技術大學;2013年
7 梁政;面向在線社交網(wǎng)絡輿情的信息傳播分析關鍵技術研究[D];國防科學技術大學;2014年
8 張召;在線論壇用戶興趣圖譜發(fā)現(xiàn)與個性化信息推薦[D];華東師范大學;2012年
9 陳浩;Web搜索的用戶興趣與智能優(yōu)化研究[D];中南大學;2012年
10 李洋;社會媒體信息推薦關鍵技術研究[D];哈爾濱工業(yè)大學;2017年
相關碩士學位論文 前10條
1 陳鵬達;基于深度學習的商品推薦系統(tǒng)的研究與實現(xiàn)[D];北京郵電大學;2019年
2 劉奇;基于信息擴展和信任感知的微博推薦方法[D];河北大學;2019年
3 張雄濤;融合用戶興趣和混合估計的微博檢索模型研究[D];河北大學;2019年
4 徐佳藝;基于用戶興趣主題模型的交友推薦系統(tǒng)的設計與實現(xiàn)[D];浙江工業(yè)大學;2019年
5 竇沖;基于用戶興趣和信任關系的機會網(wǎng)絡路由算法研究[D];陜西師范大學;2018年
6 李夢雪;基于交互的移動用戶興趣發(fā)現(xiàn)系統(tǒng)的設計與實現(xiàn)[D];北京交通大學;2018年
7 朱凱歌;面向個性化服務的用戶興趣挖掘方法研究與實現(xiàn)[D];北京交通大學;2018年
8 張靈菡;基于社會化標注的用戶興趣挖掘及其個性化推薦研究[D];杭州電子科技大學;2018年
9 李穎;基于微博用戶興趣的個性化廣告推薦系統(tǒng)的設計與實現(xiàn)[D];南京理工大學;2018年
10 胡建洪;基于上下文感知的移動新聞推薦研究與實現(xiàn)[D];南京理工大學;2018年
本文編號:2865789
本文鏈接:http://sikaile.net/jingjilunwen/dianzishangwulunwen/2865789.html