【摘要】：伴隨著移動互聯(lián)網,電子商務以及物聯(lián)網的爆發(fā)式發(fā)展,產生了海量的數(shù)據(jù),產生了信息超載(information overload)問題。當前,此類問題的解決方法之一是使用推薦系統(tǒng)。傳統(tǒng)的推薦系統(tǒng)大多基于非實時的Hadoop處理框架,以“批”方式進行處理,無法滿足數(shù)據(jù)的實時處理要求。而Storm對數(shù)據(jù)以“流”方式進行處理,基于內存進行運算,可以保證數(shù)據(jù)信息被快速處理,且實時更新并寫入數(shù)據(jù)庫。本文基于實時的、分布式的流數(shù)據(jù)處理框架Storm進行推薦系統(tǒng)相關研究,進行了以下工作:第一:對Storm框架進行學習。了解消息可靠處理機制(ACK);掌握了核心組件Spout、Bolt的功能以及實現(xiàn)方法;能夠設計Topology結構,基于Storm Trident的高級抽象進行開發(fā)。第二:基于Storm的推薦系統(tǒng)常規(guī)采用基于SVD的k-means協(xié)同過濾算法。SVD先將評分矩陣中的缺失值補全,然后將其分解成3個低階矩陣,最后用計算得到的用戶預測評分來更新評分矩陣的缺失項,在矩陣項達到數(shù)百萬的情況下,上述過程時間消耗代價巨大。為了進一步提升計算效率,本文提出了基于改進SVD的k-means協(xié)同過濾算法,改進SVD引入損失函數(shù)的概念,建立均方差最小化函數(shù),通過梯度下降法迭代對其進行優(yōu)化求解,簡化了矩陣分解運算。在MovieLens-10m數(shù)據(jù)集上進行實驗,與傳統(tǒng)SVD算法相比,本文提出算法在推薦時間效率方面得到了提升。第三:實現(xiàn)了基于Storm的實時推薦系統(tǒng),首先,增加了Flume日志采集過濾子系統(tǒng),該系統(tǒng)用于接收多種類型的用戶消息數(shù)據(jù)并進行過濾;其次,設計了Kafka數(shù)據(jù)緩沖隊列模塊,防止數(shù)據(jù)丟失,確保系統(tǒng)可靠;最后,對Storm集群進行部署,設計了算法拓撲邏輯結構,經過測試已達到設計要求,并實際上線成功應用于電影推薦中。
[Abstract]:With the explosive development of mobile internet, electronic commerce and Internet of things, massive data and information overload (information overload) are produced. Currently, one of the solutions to such problems is to use recommendation systems. Most of the traditional recommendation systems are based on the non-real-time Hadoop processing framework, which can not meet the requirements of real-time data processing because of the "batch" processing. Storm processes the data in a "stream" mode and computes the data based on memory, which ensures that the data information can be processed quickly, and the data can be updated and written to the database in real time. In this paper, based on the real-time, distributed streaming data processing framework (Storm), the recommendation system is studied. The following work is done: first, the Storm framework is studied. (ACK); has grasped the function and the implementation method of the core component Spout,Bolt, and can design the Topology structure and develop it based on the advanced abstraction of Storm Trident. Second, the recommendation system based on Storm adopts k-means collaborative filtering algorithm based on SVD. SVD first complements the missing value in the score matrix and then decomposes it into three low-order matrices. Finally, the missing items of the scoring matrix are updated with the calculated user prediction scores. When the matrix items reach millions, the cost of the process time is enormous. In order to further improve the computational efficiency, this paper proposes a k-means collaborative filtering algorithm based on improved SVD. The concept of loss function is introduced into the improved SVD, and the mean-variance minimization function is established. The matrix decomposition operation is simplified. Compared with the traditional SVD algorithm, the proposed algorithm is more efficient in recommending time than the traditional SVD algorithm. Third, a real-time recommendation system based on Storm is implemented. Firstly, the Flume log collection and filtering subsystem is added, which is used to receive and filter various types of user message data. Secondly, the Kafka data buffer queue module is designed. Finally, the Storm cluster is deployed and the algorithm topology logic structure is designed. The algorithm has been tested to meet the design requirements, and in fact, the line has been successfully applied in the movie recommendation.
【學位授予單位】：中北大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP391.3

【相似文獻】

相關期刊論文 前10條

1 米可菲;張勇;邢春曉;蔚欣;;面向大數(shù)據(jù)的開源推薦系統(tǒng)分析[J];計算機與數(shù)字工程;2013年10期

2 脫建勇;王嵩;李秀;劉文煌;;精品課共享中的推薦系統(tǒng)框架與實現(xiàn)[J];計算機工程與設計;2006年17期

3 蘇冠賢;張麗霞;林丕源;劉吉平;;生物信息學推薦系統(tǒng)的設計與實現(xiàn)[J];計算機應用研究;2007年05期

4 王改芬;;推薦系統(tǒng)研究綜述[J];軟件導刊;2007年23期

5 葉群來;;營銷與網絡推薦系統(tǒng)[J];電子商務;2007年10期

6 李媚;;個性化網絡學習資源推薦系統(tǒng)研究[J];福建電腦;2008年12期

7 潘冉;姜麗紅;;基于經濟學模型的推薦系統(tǒng)的研究[J];計算機應用與軟件;2008年03期

8 劉魯;任曉麗;;推薦系統(tǒng)研究進展及展望[J];信息系統(tǒng)學報;2008年01期

9 劉小燕;陳艷麗;賈宗璞;沈記全;;基于增強學習的旅行計劃推薦系統(tǒng)[J];計算機工程;2010年21期

10 曹畋;;智能推薦系統(tǒng)在知識瀏覽領域的應用[J];硅谷;2011年21期

相關會議論文 前8條

1 張燕;李燕萍;;基于內容分析和點擊率記錄的混合音樂推薦系統(tǒng)[A];2009年通信理論與信號處理學術年會論文集[C];2009年

2 趙欣;寇綱;鄔文帥;盧艷群;;基于時間密集性的推薦系統(tǒng)攻擊檢測[A];第六屆（2011）中國管理學年會論文摘要集[C];2011年

3 張玉連;張波;張敏;;改進的個性化信息推薦系統(tǒng)的設計與實現(xiàn)[A];2005年全國理論計算機科學學術年會論文集[C];2005年

4 王君;許潔萍;;層次音樂推薦系統(tǒng)的研究[A];第18屆全國多媒體學術會議（NCMT2009）、第5屆全國人機交互學術會議（CHCI2009）、第5屆全國普適計算學術會議（PCC2009）論文集[C];2009年

5 潘宇;林鴻飛;楊志豪;;基于用戶聚類的電子商務推薦系統(tǒng)[A];第三屆學生計算語言學研討會論文集[C];2006年

6 尤忠彬;陳越;張英;朱揚勇;;基于Web服務的技術轉移平臺推薦系統(tǒng)研究[A];第二十二屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2005年

7 王國霞;劉賀平;李擎;;二部圖影射及其在推薦系統(tǒng)中的應用[A];第25屆中國控制與決策會議論文集[C];2013年

8 王雪;董愛華;吳怡之;;基于RFID技術的智能服裝推薦系統(tǒng)設計[A];2011年全國電子信息技術與應用學術會議論文集[C];2011年

相關重要報紙文章 前2條

1 ;大數(shù)據(jù)如何“落地”[N];中國新聞出版報;2014年

2 本報記者 鄒大斌;大數(shù)據(jù)：電商新武器[N];計算機世界;2012年

相關博士學位論文 前10條

1 周魏;推薦系統(tǒng)中基于目標項目分析的托攻擊檢測研究[D];重慶大學;2015年

2 田剛;融合維基知識的情境感知Web服務發(fā)現(xiàn)方法研究[D];武漢大學;2015年

3 胡亮;集成多元信息的推薦系統(tǒng)建模方法的研究[D];上海交通大學;2015年

4 孫麗梅;Web-based推薦系統(tǒng)中若干關鍵問題研究[D];東北大學;2013年

5 鄭麟;基于屬性提升與偏好集成的上下文感知推薦[D];武漢大學;2017年

6 王宏宇;商務推薦系統(tǒng)的設計研究[D];中國科學技術大學;2007年

7 楊東輝;基于情感相似度的社會化推薦系統(tǒng)研究[D];哈爾濱工業(yè)大學;2014年

8 曹渝昆;基于神經網絡和模糊邏輯的智能推薦系統(tǒng)研究[D];重慶大學;2006年

9 王立才;上下文感知推薦系統(tǒng)若干關鍵技術研究[D];北京郵電大學;2012年

10 劉龍;一個能實現(xiàn)個性化實時路徑推薦服務的推薦系統(tǒng)框架[D];中國科學技術大學;2014年

相關碩士學位論文 前10條

1 朱孔真;基于云計算的電子商務智能推薦系統(tǒng)研究[D];武漢理工大學;2014年

2 郭敬澤;基于賦權評分和Dpark的分布式推薦系統(tǒng)研究與實現(xiàn)[D];天津理工大學;2015年

3 周俊宇;信息推薦系統(tǒng)的研究與設計[D];江南大學;2015年

4 李煒;基于電子商務平臺的保險推薦系統(tǒng)的設計與實現(xiàn)[D];復旦大學;2013年

5 車豐;基于排序主題模型的論文推薦系統(tǒng)[D];大連海事大學;2015年

6 秦大路;基于因式分解機模型的上下文感知推薦系統(tǒng)研究[D];鄭州大學;2015年

7 徐霞婷;動態(tài)路網監(jiān)控與導航推薦系統(tǒng)的設計與實現(xiàn)[D];蘇州大學;2015年

8 黃學峰;基于Hadoop的電影推薦系統(tǒng)研究與實現(xiàn)[D];南京師范大學;2015年

9 路小瑞;基于Hadoop平臺的職位推薦系統(tǒng)的設計與實現(xiàn)[D];上海交通大學;2015年

10 李愛寶;基于組合消費行為分析的團購推薦系統(tǒng)的設計與實現(xiàn)[D];哈爾濱工業(yè)大學;2015年

，

本文編號：2282347