得益于電子商務和移動互聯(lián)網(wǎng)的快速發(fā)展,買家在電商平臺中可以隨時隨地購買任何的商品,同時電商平臺中海量的商品為買家?guī)砹恕吧唐愤^載”的困擾。在買家嚴格條件篩選下,呈現(xiàn)給買家的商品仍然令買家目不暇接。所以電子商務迫切的需要一個“導購員”,推薦系統(tǒng)通過挖掘買家與商品之間的二元關系,為買家提供個性化推薦服務。電子商務是推薦系統(tǒng)重要應用領域之一,電商推薦系統(tǒng)是一個復雜的系統(tǒng)工程,需要綜合考慮運行環(huán)境、系統(tǒng)架構(gòu)和算法模型。本論文的主要貢獻以及優(yōu)化創(chuàng)新工作為如下幾點:（1）分析了當前大數(shù)據(jù)技術下的分布式存儲和資源管理,介紹了當前HDFS的主節(jié)點單點隱患問題,HDFS的高可用改進方案,并詳細介紹了如何對計算資源進行彈性管理。（2）對當前主流推薦系統(tǒng)架構(gòu)和觸發(fā)流程進行了研究,分析并指出傳統(tǒng)推薦系統(tǒng)架構(gòu)和觸發(fā)流程存在的諸多缺陷,并提出一種改進的推薦系統(tǒng)架構(gòu)和觸發(fā)流程來提高推薦服務的性能。（3）針對傳統(tǒng)的矩陣分解模型忽略負向反饋數(shù)據(jù),導致推薦準確率無法繼續(xù)提高的問題,提出了一種利用負向反饋數(shù)據(jù)集的矩陣分解模型。該模型通過使用AB Testing方法度量隱式反饋評分構(gòu)建隱式反饋評分矩陣,并在數(shù)據(jù)集中加入了負向... 

【文章來源】：山東科技大學山東省

【文章頁數(shù)】：63 頁

【學位級別】：碩士

【部分圖文】：

圖２．１ＨＤＦＳ架構(gòu)圖??Ｆｉｇ２．ｆ?Ｔｈｅ?ａｒｃｈｉｔｅｃｔｕｒｅ?ｏｆ?ＨＤＦＳ??，

?＼ｊａ＾Ｂ??Ｊ４＂＾?ｒＨ?ＩＫＩ??圖２．１ＨＤＦＳ架構(gòu)圖??Ｆｉｇ２．ｆ?Ｔｈｅ?ａｒｃｈｉｔｅｃｔｕｒｅ?ｏｆ?ＨＤＦＳ??ｒｏＦＳ通過從節(jié)點之間的數(shù)據(jù)塊相互復制保證了數(shù)據(jù)的容錯性，即使出現(xiàn)從??節(jié)點異常也不會導致數(shù)據(jù)丟失。但ＨＤＦＳ的主節(jié)點卻存在單節(jié)點隱患，ＴＯＦＳ的設??計者提供了?ＳｅｃｏｎｄａｒｙＮａｍｅＮｏｄｅ機制為主節(jié)點的內(nèi)存狀態(tài)保存磁盤備份，ＨＤＦＳ??通過將主節(jié)點的內(nèi)存狀態(tài)實時的復制到ＳｅｃｏｎｄａｒｙＮａｍｅＮｏｄｅ節(jié)點的物理磁盤上??進行持久化，在主節(jié)點異常后運維人員通過讀取磁盤中的日志記錄恢復主節(jié)點??的狀態(tài)。這種方案存在明顯的弊端，那就是運維人員可能無法及時的發(fā)現(xiàn)主節(jié)??點異常并且恢復主節(jié)點狀態(tài)需要一定時間，Ｈａｄｏｏｐ生態(tài)系統(tǒng)幾乎都依賴于ＨＤＦＳ，??包括ＭａｐＲｅｄｕｃｅ？、Ｓｐａｒｋ、Ｈｉｖｅ、Ｐｉｇ以及ＨＢａｓｅ等在這段時間都無法使用，??影響業(yè)務進度。??２．?１．２高可用ＨＤＦＳ架構(gòu)??為了解決ＨＤＦＳ的主節(jié)點單點隱患

高可用的彈性大數(shù)據(jù)生產(chǎn)環(huán)境??ＳｅｃｏｎｄａｒｙＮａｍｅＮｏｄｅ中進行漫長的狀態(tài)恢復，架構(gòu)可以自動進行主備切換減少了??運維人員的工作量［１３］，自動修復過程過程圖２．?３所示：???▼???監(jiān)視泛點發(fā)煺討常Ｗ戍???????是???Ｙ???從備川打點中選夠新的ｎ辦???ｙ???Ｉ－：備ｗ換??ｉ３ｉ５３：２！ｏｏｋ？ｐｅｒ史新?Ｖ？點地Ｊ�。剩�???Ｉ??????ＤｒＺｏｏｋｅｅｐｅｒｆｉｉ斜匕節(jié)點地???Ｈ．????５???通知代砰??＜????ｊｒ???（、）??圖２．３ＨＤＦＳ異常自動修復過程??Ｆｉｇ?２．３?ＨＤＦＳ?ａｕｔｏｍａｔｉｃ?ｒｅｓｔｏｒａｔｉｏｎ?ｐｒｏｃｅｓｓ??２．?２彈性計算資源管理??ＣＰＵ內(nèi)存等計算資源一直是大數(shù)據(jù)平臺中最為珍貴的資源，因為他們價格昂??貴。在大數(shù)據(jù)平臺中有效的資源管理可以最大化的利用好這些計算資源，本節(jié)??將介紹大數(shù)據(jù)平臺下計算資源管理出現(xiàn)的問題以及如何進行彈性計算資源管??理。??２．?２．?１大數(shù)據(jù)平臺資源管理面臨的難題??電商平臺中推薦系統(tǒng)是典型的密集數(shù)據(jù)計算、功能復雜多變的場景，推薦??７??

【參考文獻】：
期刊論文
[1]面向隱式反饋的推薦系統(tǒng)研究現(xiàn)狀與趨勢[J]. 陸藝,曹健.  計算機科學. 2016(04)
[2]大數(shù)據(jù)環(huán)境下的推薦系統(tǒng)[J]. 孟祥武,紀威宇,張玉潔.  北京郵電大學學報. 2015(02)
[3]一種基于Hadoop的個性化推薦系統(tǒng)架構(gòu)[J]. 張永霞,王洪波,程時端.  新型工業(yè)化. 2012(08)
[4]基于矩陣分解的協(xié)同過濾算法[J]. 李改,李磊.  計算機工程與應用. 2011(30)
[5]一種改進的Slope One協(xié)同過濾算法[J]. 王毅,樓恒越.  計算機科學. 2011(S1)
[6]推薦系統(tǒng)中顯式評分輸入的用戶聚類方法研究[J]. 崔春生.  計算機應用研究. 2011(08)
[7]基于推薦完整性的電子商務推薦系統(tǒng)架構(gòu)的設計[J]. 黃宏寅,徐德華.  計算機應用研究. 2010(12)
[8]關聯(lián)規(guī)則挖掘Apriori算法的研究與改進[J]. 劉華婷,郭仁祥,姜浩.  計算機應用與軟件. 2009(01)
[9]最小二乘法的創(chuàng)立及其思想方法[J]. 賈小勇,徐傳勝,白欣.  西北大學學報(自然科學版). 2006(03)
[10]用初等變換進行矩陣的QR分解[J]. 燕列雅,于育民.  數(shù)學通報. 1998(09)

博士論文
[1]面向推薦系統(tǒng)的關鍵問題研究及應用[D]. 劉士琛.中國科學技術大學 2014
[2]推薦系統(tǒng)關鍵技術研究[D]. 任磊.華東師范大學 2012
[3]電子商務推薦系統(tǒng)關鍵技術研究[D]. 鄧愛林.復旦大學 2003

碩士論文
[1]基于Hive的離線數(shù)據(jù)處理方法與實現(xiàn)[D]. 朱燕燕.東南大學 2016
[2]Hadoop平臺運維關鍵技術研究與實現(xiàn)[D]. 萬家雪.北京郵電大學 2015
[3]基于分布式平臺Spark和YARN的數(shù)據(jù)挖掘算法的并行化研究[D]. 梁彥.中山大學 2014
[4]基于Web服務可信性的用戶反饋度量研究[D]. 高楊.北京郵電大學 2014
[5]基于Slope One改進算法推薦模型的設計與實現(xiàn)[D]. 林德軍.北京郵電大學 2013
[6]基于反饋的動態(tài)負載平衡調(diào)度算法在Hadoop異構(gòu)環(huán)境中的設計與實現(xiàn)[D]. 李元洪.南京理工大學 2012



本文編號：3247694