協(xié)同過濾模型作為推薦算法的一個分支,主要以基于模型的協(xié)同過濾推薦為核心。其中基于矩陣分解模型的協(xié)同過濾推薦的影響最深遠。在傳統(tǒng)的矩陣分解模型基礎(chǔ)上,近年來提出了諸多改進方法綜合利用評分矩陣與輔助信息對用戶與項目建立基于矩陣分解的模型,提高推薦效果并挖掘有效的推薦依據(jù)。然而,輔助信息與評分矩陣數(shù)據(jù)類型不同且評分矩陣數(shù)據(jù)隱含大量潛在信息。當(dāng)前對深層次挖掘評分矩陣潛在數(shù)據(jù)的類型與關(guān)聯(lián)過程的研究較少,更少有模型關(guān)注矩陣分解會導(dǎo)致信息損失。針對上述問題本文提出一種基于特征重構(gòu)的用戶-項目交替反饋分解模型。該模型利用特征重構(gòu)的思想,深層次的挖掘用戶與項目之間的顯性與隱性特征及其關(guān)聯(lián),并補償矩陣分解數(shù)據(jù)損失問題。矩陣分解模型實現(xiàn)預(yù)測能力需要對模型的參數(shù)進行學(xué)習(xí),矩陣分解模型的參數(shù)更新普遍采用基于梯度下降法的迭代學(xué)習(xí)法。然而,梯度下降法存在迭代效率低,導(dǎo)致矩陣分解模型的參數(shù)學(xué)習(xí)時間過長的問題。根據(jù)梯度下降法性質(zhì)可知其誤差曲線存在梯度逐漸變小的問題,會引發(fā)損失函數(shù)逼近最小誤差時收斂速度放緩,且當(dāng)誤差越來越小時其收斂速度變得越來越緩慢。牛頓法相比梯度下降法因其二階導(dǎo)數(shù)決定了梯度的下降方向,在收斂速度上存在... 

【文章來源】：山東理工大學(xué)山東省

【文章頁數(shù)】：65 頁

【學(xué)位級別】：碩士

【部分圖文】：

凸函數(shù)與非凸函數(shù)Fig.2.1Convexandnon-convexfunctions

162.2.2梯度下降梯度下降的定義是：考慮一個無約束的，平滑的凸優(yōu)化問題。目標(biāo)為：min()(2.22)其中函數(shù)()為凸函數(shù)，且在定義域()=上是可微的。則梯度下降算法需要選擇一個初始點，初始點(0)∈。則梯度下降按照公式：()=(1)((1)),=1,2,3…(2.23)根據(jù)公式2.23重復(fù)計算直到達到需要的閾值點后停止。梯度下降法的本質(zhì)就是沿梯度減小的方向前進，每次前進一定的步長，直到達到最優(yōu)值點為止。在每一次梯度計算的迭代過程中，若對當(dāng)前點做二階泰勒展開式：()=()+()()+12‖‖2(2.24)這里用(1)代替了二次項系數(shù)海森矩陣2()。在選擇下一個點=+用以最小化該二次近似值可以得到+=()。則梯度下降相當(dāng)于在函數(shù)的每個點出做二次近似，然后求解最小點的位置。示例如下：圖2.3梯度下降過程Fig.2.3Gradientdescentprocess梯度下降的每次迭代需要一個步長，這個步長的選擇方法有多種。一種是簡單的固定方法，即每次更新都移動常數(shù)距離。例如=,=1,2,3…。但這樣的取值方式存在的問題是如果過大，梯度下降會發(fā)散而無法收斂，如果過小，梯度下降的收斂速度會很緩慢。只有的選擇剛好時，才能兼顧收斂性與收斂速度�；谝陨蠁栴}，提出了一種可以自適應(yīng)的調(diào)整步長的方法，即回溯線性搜索。在回溯線性搜索中，首先需要固定兩個參數(shù)為0<<1和0<≤12。之后再每次迭代中，給步長先設(shè)置一個初始化參數(shù)為,使得=。然后將以上參數(shù)帶入?yún)?shù)更新公式：(())>()‖()‖2(2.25)更新完成后，將步長更新為=。重復(fù)以上步驟直到滿足得到目標(biāo)閾值。在山東理工大學(xué)碩士學(xué)位論文

17具體應(yīng)用中為了方便計算，的值可以直接設(shè)為12�；厮菥�性搜索的示例圖如下：圖2.4回溯線性搜索過程Fig.2.4Backtrackinglinearsearchprocess梯度下降的收斂性是梯度下降是否收斂的判斷指標(biāo)。若已知()是凸函數(shù)，且在定義域()上是可微的。而且()是關(guān)于常數(shù)>0的利普希茨連續(xù)條件（或者滿足二次微分條件：2()）。則收斂公式如下：‖()()‖2≤‖‖2,(2.26)那么，梯度下降有(1)的收斂率，其中k為迭代次數(shù)。即當(dāng)完成(1)次迭代后，可以找到誤差的次收斂點。如果函數(shù)()是嚴(yán)格凸函數(shù)。即存在>0,使得()(2)‖‖2是凸函數(shù)（或者滿足二次微分條件2()）時，則收斂率將會達到指數(shù)收斂率()，其中0<<1。即在完成[(1)]次迭代后，可以找到誤差的次收斂點。梯度下降法的優(yōu)點也很突出。由于梯度的計算簡單因此迭代速度比較快，且對于嚴(yán)格凸函數(shù)有非常快的收斂速度。缺點也非常明顯，在實際問題中的目標(biāo)函數(shù)往往并不是嚴(yán)格凸函數(shù)或者凸函數(shù)，因此梯度下降需要迭代很多次才能達到收斂點，且存在無法收斂的風(fēng)險，同時若目標(biāo)函數(shù)不可微則一定無法收斂。2.3牛頓法與擬牛頓法2.3.1牛頓法牛頓法是求解無約束最優(yōu)化的常用方法。有收斂速度快的優(yōu)勢。牛頓法與梯度下降法都屬于迭代算法，而牛頓法的每一步都需要求解目標(biāo)函數(shù)的海森矩陣的逆矩陣，因此其算法復(fù)雜度相比梯度下降法高出許多。首先考慮一個無約束的最優(yōu)化問題：min∈()(2.27)設(shè)為目標(biāo)函數(shù)()的極小值。假設(shè)()具有二階連續(xù)偏導(dǎo)數(shù)，若第次迭代值山東理工大學(xué)碩士學(xué)位論文

【參考文獻】：
期刊論文
[1]一種基于協(xié)同上下文關(guān)系學(xué)習(xí)的同城活動推薦算法[J]. 賴奕安,張玉潔,杜雨露,孟祥武.  軟件學(xué)報. 2020(02)
[2]基于LU分解和交替最小二乘法的分布式奇異值分解推薦算法[J]. 李琳,王培培,谷鵬,解慶.  模式識別與人工智能. 2020(01)
[3]融合商品潛在互補性發(fā)現(xiàn)的個性化推薦方法[J]. 邵英瑋,張敏,馬為之,王晨陽,劉奕群,馬少平.  軟件學(xué)報. 2020(04)
[4]基于注意力機制的規(guī)范化矩陣分解推薦算法[J]. 張青博,王斌,崔寧寧,宋曉旭,秦婧.  軟件學(xué)報. 2020(03)
[5]融合顯式反饋與隱式反饋的協(xié)同過濾推薦算法[J]. 陳碧毅,黃玲,王昌棟,景麗萍.  軟件學(xué)報. 2020(03)
[6]一種潛在特征同步學(xué)習(xí)和偏好引導(dǎo)的推薦方法[J]. 李琳,朱閣,解慶,蘇暢,楊征路.  軟件學(xué)報. 2019(11)
[7]一種基于兩階段深度學(xué)習(xí)的集成推薦模型[J]. 王瑞琴,吳宗大,蔣云良,樓俊鋼.  計算機研究與發(fā)展. 2019(08)
[8]融合SOM功能聚類與DeepFM質(zhì)量預(yù)測的API服務(wù)推薦方法[J]. 曹步清,肖巧翔,張祥平,劉建勛.  計算機學(xué)報. 2019(06)
[9]基于網(wǎng)絡(luò)表示學(xué)習(xí)的個性化商品推薦[J]. 李宇琦,陳維政,閆宏飛,李曉明.  計算機學(xué)報. 2019(08)
[10]一種基于矩陣分解的上下文感知POI推薦算法[J]. 彭宏偉,靳遠遠,呂曉強,王曉玲.  計算機學(xué)報. 2019(08)



本文編號：3061414