電子商務(wù)的興起不僅為消費(fèi)者提供了更多選擇,而且還導(dǎo)致了信息超過(guò)人們所能處理的范圍。為了從大量資源中快速找到喜歡的物品,用戶希望出現(xiàn)可以為他們進(jìn)行推薦自己可能感興趣的物品的技術(shù)。因此,為了解決人們的問(wèn)題出現(xiàn)了個(gè)性化的推薦系統(tǒng)。協(xié)同過(guò)濾推薦算法作為推薦系統(tǒng)最成功的算法之一,發(fā)揮了關(guān)鍵作用。盡管協(xié)同過(guò)濾算法已成功應(yīng)用于許多商業(yè)領(lǐng)域,但是協(xié)同過(guò)濾算法的一些缺陷,例如數(shù)據(jù)的稀疏性等。面對(duì)當(dāng)今信息社會(huì)海量信息數(shù)據(jù)的增長(zhǎng),對(duì)算法的準(zhǔn)確性和通用性等方面都提出了更高的要求。在推薦系統(tǒng)中,推薦算法的準(zhǔn)確性要求總是難以實(shí)現(xiàn)。用戶的興趣隨著時(shí)間的改變也會(huì)發(fā)生變化,在大數(shù)據(jù)背景下,傳統(tǒng)的協(xié)同過(guò)濾推薦算法無(wú)法為用戶提供精準(zhǔn)的推薦服務(wù),使得用戶數(shù)據(jù)的稀疏性在復(fù)雜的社交網(wǎng)絡(luò)環(huán)境中成為影響推薦準(zhǔn)確性的重要因素。本文提出在傳統(tǒng)推薦算法相似度計(jì)算的基礎(chǔ)上,結(jié)合用戶的興趣,不僅對(duì)用戶與項(xiàng)目之間的相似度進(jìn)行計(jì)算,還對(duì)用戶興趣的相似度進(jìn)行計(jì)算,將用戶的評(píng)分和興趣度結(jié)合起來(lái)。本文改進(jìn)的算法解決用戶的興趣問(wèn)題,用計(jì)算實(shí)際的評(píng)分與推薦評(píng)價(jià)算法對(duì)比得到的結(jié)果來(lái)預(yù)測(cè)實(shí)際評(píng)分與推薦值之間的差值以及平均絕對(duì)偏差,推薦算法的準(zhǔn)確性用MAE作為評(píng)... 

【文章來(lái)源】：沈陽(yáng)工業(yè)大學(xué)遼寧省

【文章頁(yè)數(shù)】：60 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

Hadoop生態(tài)系統(tǒng)組件Fig.2.1HadoopEcosystemComponents

沈陽(yáng)工業(yè)大學(xué)碩士學(xué)位論文8圖2.2Hadoop分布式文件系統(tǒng)架構(gòu)圖Fig.2.2HadoopDistributedFileSystemArchitectureDiagramHDFS由一個(gè)名稱節(jié)點(diǎn)(NameNode)[14]和多個(gè)數(shù)據(jù)節(jié)點(diǎn)(DataNode)[15]組成，在集群中，NameNode是主節(jié)點(diǎn)，主要承擔(dān)的是對(duì)客戶端的請(qǐng)求進(jìn)行響應(yīng)、對(duì)元數(shù)據(jù)進(jìn)行管理的功能。DataNode是從節(jié)點(diǎn)，它承擔(dān)的是對(duì)文件塊數(shù)據(jù)存放、通過(guò)心跳機(jī)制向主節(jié)點(diǎn)按期進(jìn)行報(bào)告的任務(wù)。NameNode節(jié)點(diǎn)的角色相當(dāng)于集群的管理者，主要管理HDFS文件系統(tǒng)、數(shù)據(jù)塊(Block)、處理客戶端請(qǐng)求等。DataNode的角色相當(dāng)于集群的工作者，當(dāng)客戶端發(fā)出命令時(shí)，DataNode負(fù)責(zé)執(zhí)行。SecondaryNameNode起到監(jiān)控作用，設(shè)置檢查點(diǎn)幫助NameNode工作。當(dāng)NameNode掛起時(shí)，集群并不能夠立刻替換NameNode，這時(shí)SecondaryNameNode就會(huì)準(zhǔn)時(shí)將元數(shù)據(jù)的映像文件進(jìn)行同步操作，隨后將修改日志發(fā)送給NameNode。HDFS提供多副本策略[16]，這樣可以使數(shù)據(jù)存儲(chǔ)時(shí)更加可靠。高可用性(HA，HighAvailability)也是HDFS的特征之一，高可用性在集群中設(shè)置有兩個(gè)NameNode。這樣的部署允許處于集群中的計(jì)算機(jī)在故障的時(shí)候，能夠向另一個(gè)NameNode快速轉(zhuǎn)移。一個(gè)具有高可用性的集群，集群內(nèi)的節(jié)點(diǎn)分別處于活躍和待機(jī)狀態(tài)�；钴S狀態(tài)的NameNode節(jié)點(diǎn)，處理集群中客戶端的具體操作，待命狀態(tài)的NameNode對(duì)Active狀態(tài)NameNode數(shù)據(jù)的進(jìn)行數(shù)據(jù)同步工作，當(dāng)活躍的節(jié)點(diǎn)故障時(shí)以便進(jìn)行狀態(tài)的轉(zhuǎn)換工作。如圖2.3所示。

第2章Hadoop相關(guān)技術(shù)9圖2.3HDFS高可用性架構(gòu)圖Fig.2.3HDFShighavailabilityarchitecturediagram集群?jiǎn)?dòng)之后，其中的一個(gè)NameNode通過(guò)選舉處于活躍狀態(tài)，負(fù)責(zé)處理客戶端與數(shù)據(jù)節(jié)點(diǎn)之間的請(qǐng)求，另一個(gè)NameNode處于待機(jī)狀態(tài)，以便提供快速的故障轉(zhuǎn)移。為了實(shí)現(xiàn)StandbyNameNode在ActiveNameNode掛掉之后，能迅速的再提供服務(wù)，需要數(shù)據(jù)節(jié)點(diǎn)不僅需要向活躍狀態(tài)的NameNode匯報(bào)，同時(shí)還要向待機(jī)狀態(tài)的NameNode匯報(bào)，這樣就能保證數(shù)據(jù)塊在數(shù)據(jù)節(jié)點(diǎn)上的位置信息保存在待機(jī)的NameNode上。FailoverController負(fù)責(zé)通過(guò)心跳這一方式與ZK保持時(shí)刻通信，通過(guò)ZK來(lái)選舉活躍狀態(tài)的NameNode，一旦處于活躍狀態(tài)的主節(jié)點(diǎn)處于掛起狀態(tài)，就會(huì)選擇待機(jī)狀態(tài)的節(jié)點(diǎn)來(lái)作為新的主節(jié)點(diǎn)，轉(zhuǎn)換成活躍狀態(tài)，這樣能夠使系統(tǒng)正常運(yùn)行得到良好的保障。ZookeeperFailoverController故障切換控制器時(shí)刻監(jiān)控主節(jié)點(diǎn)狀態(tài)的，向ZK定期發(fā)送心跳，以便進(jìn)行故障節(jié)點(diǎn)的切換。當(dāng)自己被選為主節(jié)點(diǎn)(Active)的時(shí)候，就會(huì)通過(guò)RPC使相應(yīng)NameNode轉(zhuǎn)變成為Active狀態(tài)�；诖朔N特性，所以當(dāng)集群中某個(gè)單節(jié)點(diǎn)發(fā)生故障的時(shí)候，允許集群中的處于活躍狀態(tài)的主節(jié)點(diǎn)快速轉(zhuǎn)移到另一個(gè)NameNode，這樣就能夠保障系統(tǒng)的正常運(yùn)行。HDFS的高可用性特性使集群在某個(gè)節(jié)點(diǎn)發(fā)生故障時(shí)仍能夠正常運(yùn)行，更好地保障了系統(tǒng)的運(yùn)行。2.3分布式編程模型MapReduceMapReduce編程模型是將程序運(yùn)行在分布式系統(tǒng)上，并行計(jì)算大規(guī)模數(shù)據(jù)集從而進(jìn)行數(shù)據(jù)處理。MapReduce是map思想和reduce的思想因而得名。MapReduce應(yīng)用到

【參考文獻(xiàn)】：
期刊論文
[1]基于知識(shí)圖譜和協(xié)同過(guò)濾的電影推薦算法研究[J]. 袁泉,成振華,江洋.  計(jì)算機(jī)工程與科學(xué). 2020(04)
[2]基于時(shí)間權(quán)重和用戶興趣變化的協(xié)同過(guò)濾算法[J]. 王娜娜.  皖西學(xué)院學(xué)報(bào). 2020(02)
[3]大數(shù)據(jù)安全技術(shù)研究進(jìn)展[J]. 陳性元,高元照,唐慧林,杜學(xué)繪.  中國(guó)科學(xué):信息科學(xué). 2020(01)
[4]基于內(nèi)容和協(xié)同過(guò)濾的科技文獻(xiàn)個(gè)性化推薦[J]. 楊凱,王利,周志平,趙衛(wèi)東.  信息技術(shù). 2019(12)
[5]協(xié)同過(guò)濾算法在推薦系統(tǒng)中的應(yīng)用[J]. 柳宇,蔡欣華,申小玲,梁琨,劉松.  信息與電腦(理論版). 2019(21)
[6]基于Pearson系數(shù)的計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)課程體系相關(guān)性研究[J]. 王曉莉,石剛,楊晴雯,張銘閱.  無(wú)線互聯(lián)科技. 2019(21)
[7]分布式計(jì)算框架下的大數(shù)據(jù)機(jī)器學(xué)習(xí)[J]. 田彬.  電子技術(shù)與軟件工程. 2019(20)
[8]基于懲罰因子的協(xié)同過(guò)濾算法的改進(jìn)與研究[J]. 徐立民,李涵.  物聯(lián)網(wǎng)技術(shù). 2019(10)
[9]基于專家信任的協(xié)同過(guò)濾推薦算法改進(jìn)研究[J]. 劉國(guó)麗,白曉霞,廉孟杰,張斌.  計(jì)算機(jī)工程與科學(xué). 2019(10)
[10]基于Hive的高可用雙引擎數(shù)據(jù)倉(cāng)庫(kù)[J]. 李翀,張彤彤,杜偉靜,劉學(xué)敏.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2019(09)



本文編號(hào)：3613591