隨著信息技術(shù)和移動互聯(lián)網(wǎng)的迅速發(fā)展,信息過載問題越來越嚴重。由此產(chǎn)生了兩個突出的矛盾:信息消費者難以從海量信息里挖掘出有用的信息以及信息生產(chǎn)者難以將個性化的信息精準傳達到對其感興趣的用戶手上。推薦系統(tǒng)技術(shù)根據(jù)用戶興趣、行為、情景等多種信息,按照用戶感興趣程度對推薦目標進行排序并推送給用戶,有效地解決了信息過載的兩大矛盾。本文回顧了推薦系統(tǒng)的研究進展,總結(jié)了目前研究存在的一些問題:協(xié)同過濾是最經(jīng)典的推薦算法之一,然而在數(shù)據(jù)較為稀疏的場景,它對于數(shù)據(jù)的召回顯得特別乏力:邏輯回歸是經(jīng)典的排序算法,但當特征特別稀疏的時候其并不能對特征進行有效的交叉建模;FM模型能夠?qū)ΧA特征進行交叉組合,但對于高階特征卻無能為力;深度學習模型能夠?qū)Ω唠A特征建模,但嵌入維度固定不靈活,并且高階特征交叉時沒有體現(xiàn)原始特征值交叉項。本文采用傳統(tǒng)機器學習方法以及深度學習方法進行組合建模,提出了結(jié)合動態(tài)特征嵌入方法以及基于鉆石型神經(jīng)網(wǎng)絡的高階特征交叉組合方法的個性化推薦系統(tǒng)模型。該模型具有三大特點:第一,它是一個端到端模型,不需要人為構(gòu)建組合特征,可以自動進行特征交叉組合;第二,特征嵌入模塊根據(jù)域的屬性取值數(shù)量進行動態(tài)... 

【文章來源】：浙江大學浙江省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：77 頁

【學位級別】：碩士

【部分圖文】：

圖２．９?ＤＣＮ模型結(jié)構(gòu)圖??如圖２．９所示，模型的底層是原始的稀疏向量經(jīng)過嵌入堆疊層得到嵌入??

以一個簡單的例子說明計算流程，假設稀疏向量經(jīng)過嵌入層得到了一個??嵌入稠密向量〇１，巧３３，１４３５），經(jīng)過簡單的鉆石型網(wǎng)絡結(jié)構(gòu)得到輸出５３，示??意圖如圖５．３所示：??▲??ｉ?［??ｊ?＾Ｘ?ｊ?ｂｒｏａｄｃａｓｔ?ｌａｙｅｒ２??＝：：＞?丨??！?＊?ｒｅｄｕｃｅ＿ｓｕｍ?ｌａｙｅｒ？??ｉ?Ｉ?（ｈｘ＾?＾２Ｘ２ｓ－＾?（ｂ３ｘ３ｓ＾?（ｂ４ｘ４ｓ）＾?ｊｂ５ｘ５ｓ］］??Ｚ?３?Ｉ?ｂｒｏａｄｃａｓｔ?ｌａｙｅｒｓ??｜?｜?ｒｅｄｕｃｅ＿ｓｕｍ?ｌａｙｅｒ＾??圖５．３鉆石型神經(jīng)網(wǎng)絡結(jié)構(gòu)特征交叉示意圖??其中Ｓｉ?＝?＋?ａ２ｘ２?＋?ａ３ｘ３?＋?ａ４ｘ４?＋?ａ５ｘ５，這是一個加權(quán)求和的過程。??然后將該中間結(jié)果ｈ加權(quán)廣播到原始嵌入向量的每一個特??征得到新的向量（ＡＸＡ?由于Ｓｉ包含所有一階??４０??

ｍｍｍ?ｔｅｓｔｉｎｇ?ｌｏｓｓ??圖６．１靜態(tài)與動態(tài)特征嵌入訓練時間及測試誤差??從圖６．１可以看出，隨著嵌入維度的增加，網(wǎng)絡的參數(shù)越多，訓練時間??越長。嵌入維度對推薦系統(tǒng)的排序效果具有一定影響，嵌入特征維度過小會??使得原始特征表達不足，模型測試誤差較高；嵌入特征維度越高特征表達越??充分，模型測試誤差越小。但是當嵌入維度過高，模型容易造成過擬合，過??擬合模型的測試誤差是五個訓練模型中最大的。動態(tài)嵌入方法相對比靜態(tài)嵌??入方法，更容易找到模型誤差最小的嵌入維度，既兼顧了模型的訓練時長不??會過長也保證了模型的測試誤差較小。另外，由于加權(quán)動態(tài)特征嵌入方法考??慮了系統(tǒng)中的特征強度，相比于普通動態(tài)特征嵌入方法表現(xiàn)更好。??６．４．２離散型推薦系統(tǒng)的ＡＵＣ比較??ＡＵＣ是離散型二分類推薦系統(tǒng)排序結(jié)果的重要指標，衡量系統(tǒng)對正負樣??本排序的能力。ＡＵＣ越高表明系統(tǒng)的分類能力越強


本文編號：3265236