本文關(guān)鍵詞：推薦系統(tǒng)中矩陣分解算法研究　出處：《中國(guó)科學(xué)技術(shù)大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 矩陣分解 隨機(jī)梯度下降算法 自適應(yīng)學(xué)習(xí)速率 并行化 文本上下文

【摘要】：隨著在線服務(wù)的快速發(fā)展,互聯(lián)網(wǎng)上擁有的信息量呈現(xiàn)爆炸性增長(zhǎng)趨勢(shì),導(dǎo)致人們很難有效地獲取感興趣的內(nèi)容。推薦系統(tǒng)是幫助用戶發(fā)現(xiàn)符合其興趣偏好的物品,緩解信息過載問題的有效工具之一。矩陣分解算法是目前推薦系統(tǒng)領(lǐng)域研究的前沿之一。該算法將用戶對(duì)物品的評(píng)分矩陣分解為隱因子空間上用戶、物品隱因子矩陣,具有理論基礎(chǔ)好、預(yù)測(cè)準(zhǔn)確性高等諸多優(yōu)點(diǎn)。目前,矩陣分解算法仍存在學(xué)習(xí)速率調(diào)參耗時(shí)、傾斜數(shù)據(jù)集上并行效果差和稀疏評(píng)分?jǐn)?shù)據(jù)集上推薦效果不理想等問題。本文圍繞矩陣分解算法,深入分析其存在的三個(gè)問題,并提出了相應(yīng)的改進(jìn)方案。本文的主要內(nèi)容和貢獻(xiàn)如下:我們提出了一個(gè)求解矩陣分解模型的自適應(yīng)學(xué)習(xí)速率算法。隨機(jī)梯度下降算法是求解矩陣分解模型的有效算法之一,其性能很大程度上依賴于訓(xùn)練過程中學(xué)習(xí)速率的調(diào)整方案。在優(yōu)化矩陣分解算法的目標(biāo)函數(shù)時(shí),由于學(xué)習(xí)速率選取的不合適,目標(biāo)函數(shù)會(huì)出現(xiàn)收斂速度慢、收斂結(jié)果不理想等問題。本文在分析各種學(xué)習(xí)速率方案缺點(diǎn)的基礎(chǔ)上,提出了一個(gè)求解矩陣分解模型的自適應(yīng)學(xué)習(xí)速率算法AALRSMF。該算法來源于ADADELTA算法,不需要手動(dòng)設(shè)置全局學(xué)習(xí)速率,并且表現(xiàn)出對(duì)超參數(shù)選擇的魯棒性。和ADADELTA算法相比,AALRSMF算法將空間復(fù)雜度從O(k(m+ n))降低為O(m + n),將每次迭代的計(jì)算代價(jià)減少了 O(10k)。實(shí)驗(yàn)結(jié)果表明,AALRSMF算法能夠顯著地減少目標(biāo)函數(shù)收斂的迭代次數(shù)。我們提出了一個(gè)并行矩陣分解算法。矩陣分解算法的并行化一直是一個(gè)研究熱點(diǎn),但是當(dāng)用戶評(píng)分矩陣傾斜時(shí),已有的并行矩陣分解算法會(huì)導(dǎo)致目標(biāo)函數(shù)出現(xiàn)收斂速度慢、收斂結(jié)果不理想等問題。本文在分析已有的并行算法在分解傾斜評(píng)分矩陣缺點(diǎn)的基礎(chǔ)上,提出了一個(gè)基于KD樹的并行矩陣分解算法KDMF。該算法利用KD樹對(duì)用戶評(píng)分矩陣進(jìn)行劃分,使得每個(gè)分區(qū)塊中的評(píng)分?jǐn)?shù)目盡可能相近,然后基于部分匹配查詢,設(shè)計(jì)出一個(gè)異步調(diào)度算法,最小化調(diào)度分區(qū)塊的時(shí)間花費(fèi)。實(shí)驗(yàn)結(jié)果表明,KDMF算法能夠顯著地減少目標(biāo)函數(shù)收斂所需要的時(shí)間,并且收斂結(jié)果好于其他并行算法。我們提出了一個(gè)基于文本上下文的矩陣分解算法。在實(shí)際應(yīng)用中,用戶評(píng)分矩陣往往是極度稀疏的。在這樣的數(shù)據(jù)集上,傳統(tǒng)的矩陣分解算法學(xué)習(xí)效果往往不理想。研究人員考慮將一些輔助信息加入到矩陣分解模型中,來提高推薦算法的性能。本文基于前人的工作,并針對(duì)他們工作中存在的問題,提出了一個(gè)基于字符表征信息的矩陣分解算法CharConvMF。該算法將物品的文本內(nèi)容作為輔助信息,利用深度卷積神經(jīng)網(wǎng)絡(luò)從字符的角度提取文本內(nèi)容的表征信息,然后將提取到的表征信息集成到基于鄰居的矩陣分解算法中。實(shí)驗(yàn)結(jié)果表明,即使是在用戶評(píng)分矩陣極度稀疏的情況下,CharConvMF算法評(píng)分預(yù)測(cè)的準(zhǔn)確性依然好于其他矩陣分解算法。
[Abstract]:With the rapid development of online services, the amount of information on the Internet have explosive growth trend, so it is hard to effectively acquire the content of interest. Recommendation system is to help users find consistent with its preference items, one of the effective tools to alleviate the information overload problem. Matrix decomposition algorithm is one of the forefront of research in the field of recommender system. The algorithm will score matrix of the user on the items of the decomposition for the user implicit factor space, implicit item factor matrix has good theoretical basis and predictive accuracy advantages. At present, there are still learning rate matrix decomposition algorithm to adjust the parameters of time, the inclination of data sets in parallel effect and sparse data sets on the recommendation results score is not ideal. This paper focuses on the matrix decomposition algorithm, in-depth analysis of the three existing problems, and puts forward the corresponding improvement scheme. The main contents of this paper And the contributions are as follows: we propose an adaptive matrix decomposition model learning rate algorithm. The stochastic gradient descent algorithm is one of the most effective algorithms to solve the matrix decomposition model, its performance depends largely on the training process of learning rate adjustment scheme. The optimization objective function matrix decomposition algorithm, the learning rate is selected not appropriate, the objective function will appear slow convergence speed, convergence result is not ideal. The learning rate based on the analysis of various disadvantages, the adaptive learning rate AALRSMF. algorithm this algorithm derived from a ADADELTA algorithm for solving matrix decomposition model, do not need to manually set the global learning rate, and showed the the robustness of parameter selection. Compared with ADADELTA algorithm, AALRSMF algorithm, the space complexity from O (K (m+ n)) decreased to O (M + n), each iteration The computational cost is reduced by O (10K). The experimental results show that AALRSMF algorithm can significantly reduce the number of iterations. The convergence of the objective function we propose a parallel matrix decomposition algorithm. The parallel matrix decomposition algorithm is a hotspot, but when the user score matrix tilt, parallel matrix decomposition algorithm will the target function appeared slow convergence speed and the convergence result is not ideal. Based on the analysis of the existing parallel algorithms in the decomposition of tilt score matrix defects, we propose a parallel matrix decomposition algorithm KDMF. the algorithm uses KD tree to classify user rating matrix based on the KD tree, the number of scores for each partition in the block as close as possible, and then partial match query based on the design of an asynchronous scheduling algorithm, scheduling to minimize the time spent in blocks. The experimental results show that KDMF algorithm Method can significantly reduce the time required for convergence of objective function, and the convergence results are better than other parallel algorithm. We propose a matrix decomposition algorithm based on the context of the text. In practical application, the user score matrix is often very sparse. In this data set, the traditional matrix decomposition algorithm learning effect is often not ideal. The researchers consider some auxiliary information into the matrix decomposition model, to improve the performance of the recommendation algorithm. In this paper, based on the previous work, aiming at the existing problems in their work, proposed a matrix based on the character of the characterization information of the decomposition algorithm of CharConvMF. algorithm the text content items as auxiliary information. Characterization of information extraction of text from the perspective of characters by using the depth of convolutional neural network, and then to extract the characterization of information integration to neighbors based on matrix In the decomposition algorithm, experimental results show that even if the user rating matrix is extremely sparse, the prediction accuracy of CharConvMF algorithm is still better than that of other matrix decomposition algorithms.

【學(xué)位授予單位】：中國(guó)科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP391.3

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李宇光,朱志德;矩陣分解法分析及其應(yīng)用研究[J];哈爾濱船舶工程學(xué)院學(xué)報(bào);1989年04期

2 史加榮;鄭秀云;周水生;;矩陣補(bǔ)全算法研究進(jìn)展[J];計(jì)算機(jī)科學(xué);2014年04期

3 李聰;駱志剛;;用于魯棒協(xié)同推薦的元信息增強(qiáng)變分貝葉斯矩陣分解模型[J];自動(dòng)化學(xué)報(bào);2011年09期

4 袁運(yùn)祥;基于矩陣分解的子結(jié)構(gòu)法求解介紹[J];計(jì)算機(jī)應(yīng)用通訊;1981年00期

5 張海建;;分布式矩陣分解算法在推薦系統(tǒng)中的研究與應(yīng)用[J];科技通報(bào);2013年12期

6 何朕,趙文斌,于達(dá)仁;攝動(dòng)矩陣的分解[J];電機(jī)與控制學(xué)報(bào);2004年03期

7 李華云;;F范數(shù)及矩陣分解實(shí)例研究[J];現(xiàn)代情報(bào);2008年10期

8 鄒理和;;系數(shù)矩陣分解二維譜估值[J];信號(hào)處理;1985年03期

9 陳伯倫;陳];鄒盛榮;徐秀蓮;;基于矩陣分解的二分網(wǎng)絡(luò)社區(qū)挖掘算法[J];計(jì)算機(jī)科學(xué);2014年02期

10 王鋒;趙志文;牟盛;;整數(shù)提升小波多相矩陣分解系數(shù)的快速提取算法[J];中國(guó)圖象圖形學(xué)報(bào);2012年03期

相關(guān)會(huì)議論文 前2條

1 王春江;錢若軍;王人鵬;楊聯(lián)萍;;矩陣分解在張力集成體系模態(tài)分析中的應(yīng)用[A];第九屆全國(guó)結(jié)構(gòu)工程學(xué)術(shù)會(huì)議論文集第Ⅰ卷[C];2000年

2 王春江;王人鵬;錢若軍;王穎;;矩陣分解技術(shù)在體系性態(tài)綜合分析中的初步應(yīng)用[A];“力學(xué)2000”學(xué)術(shù)大會(huì)論文集[C];2000年

相關(guān)博士學(xué)位論文 前10條

1 王中卿;基于文本信息的社會(huì)關(guān)系分析與研究[D];蘇州大學(xué);2016年

2 王嘯;基于生成模型和矩陣分解的社區(qū)發(fā)現(xiàn)算法研究[D];天津大學(xué);2015年

3 王科強(qiáng);基于矩陣分解的個(gè)性化推薦系統(tǒng)[D];華東師范大學(xué);2017年

4 李英明;矩陣分解在數(shù)據(jù)挖掘中的應(yīng)用[D];浙江大學(xué);2014年

5 趙科科;低秩矩陣分解的正則化方法與應(yīng)用[D];浙江大學(xué);2012年

6 郭亦鴻;利用穆勒矩陣分解定量測(cè)量各向異性介質(zhì)微觀結(jié)構(gòu)[D];清華大學(xué);2014年

7 徐振興;基于地理標(biāo)注照片的景點(diǎn)推薦方法研究[D];浙江大學(xué);2017年

8 胡惠軼;基于分解的系統(tǒng)辨識(shí)方法研究[D];江南大學(xué);2014年

9 陳根浪;基于社交媒體的推薦技術(shù)若干問題研究[D];浙江大學(xué);2012年

10 杜世強(qiáng);基于維數(shù)約簡(jiǎn)的無監(jiān)督聚類算法研究[D];蘭州大學(xué);2017年

相關(guān)碩士學(xué)位論文 前10條

1 秦曉暉;個(gè)性化微博推薦方法研究[D];華南理工大學(xué);2015年

2 劉鳳林;基于矩陣分解的協(xié)同過濾推薦算法研究[D];南京理工大學(xué);2015年

3 李源鑫;基于提升的信任融合矩陣分解推薦算法[D];福建師范大學(xué);2015年

4 陳洪濤;基于矩陣分解的常規(guī)與長(zhǎng)尾捆綁推薦的博弈研究[D];福建師范大學(xué);2015年

5 張濟(jì)龍;基于概率矩陣分解的推薦算法研究[D];燕山大學(xué);2015年

6 鄧志豪;基于物品相似度和主題回歸的矩陣分解推薦算法[D];浙江大學(xué);2015年

7 余露;利用矩陣分解算法建模數(shù)據(jù)稀疏環(huán)境下用戶協(xié)同行為[D];杭州師范大學(xué);2015年

8 倪澤明;混合用戶行為建模的概率矩陣分解推薦算法[D];浙江大學(xué);2015年

9 丁浩;基于協(xié)同矩陣分解的藥物靶標(biāo)相互作用關(guān)系預(yù)測(cè)[D];復(fù)旦大學(xué);2014年

10 吳世偉;社會(huì)網(wǎng)絡(luò)中的鏈接分析[D];復(fù)旦大學(xué);2014年

，

本文編號(hào)：1380869