隨著信息技術(shù)和網(wǎng)絡技術(shù)的高速發(fā)展，互聯(lián)網(wǎng)已經(jīng)邁入了“Web2.0時代”�！癢eb2.0時代”的互聯(lián)網(wǎng)朝著更加智能化、個性化和社會化的方向發(fā)展，影響并改變著人們的生活方式，其中最典型的例子便是社交網(wǎng)絡（SNS，Social Networking Services）。由于社交網(wǎng)絡擁有龐大的用戶群體，并且用戶頻繁地更新微博，造成社交網(wǎng)絡每天都會產(chǎn)生大量的用戶數(shù)據(jù)。如何從這些用戶數(shù)據(jù)中發(fā)現(xiàn)深層次的有用信息，并據(jù)此為用戶提供個性化的服務推薦成為社交網(wǎng)絡重點關(guān)注的方向。但是，社交網(wǎng)絡產(chǎn)生的往往都是超大規(guī)模的數(shù)據(jù)集，如何處理這種大規(guī)模的數(shù)據(jù)集成為一個較為嚴峻的挑戰(zhàn)。Hadoop是Google云計算平臺的開源實現(xiàn)，它是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架，具有高效性、高可靠性、高可伸縮性、經(jīng)濟廉價性等諸多優(yōu)點，在工業(yè)界和學術(shù)界得到廣泛應用。為了能夠高效地處理海量數(shù)據(jù)，并保證可擴展性，利用一個分布式平臺實現(xiàn)社交網(wǎng)絡服務推薦算法是不二選擇。鑒于Hadoop固有的大規(guī)模數(shù)據(jù)存儲和處理能力可以有效地解決海量數(shù)據(jù)的安全存儲和高效處理難題，同時可以保證數(shù)據(jù)的可靠性、有效性和安全性，本文提出在Hadoop云平... 

【文章來源】：吉林大學吉林省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：65 頁

【學位級別】：碩士

【部分圖文】：

中國社交網(wǎng)絡的市場規(guī)模和發(fā)展趨勢

[45]。Hadoop有多種元素構(gòu)成（如圖3.1），本文中主要用到HDFS（Hadoop Distributed File System）、并行編程模型MapReduce和分布式數(shù)據(jù)庫HBase，下面將分別進行介紹。3.1 分布式文件系統(tǒng) HDFSHDFS是Hadoop的文件系統(tǒng)，用于可靠地存儲海量的數(shù)據(jù)集。HDFS是主從式的系統(tǒng)架構(gòu)，一個集群由一個NameNode節(jié)點和多個DataNode節(jié)點組成。HDFS將元數(shù)據(jù)和應用數(shù)據(jù)分開存儲[46]，其中，元數(shù)據(jù)由NameNode節(jié)點管理，實際應用數(shù)據(jù)存儲在DataNode節(jié)點中�？蛻舳藦腘ameNode節(jié)點獲得文件的元數(shù)據(jù)，然后找到存儲應用數(shù)據(jù)的DataNode節(jié)點直接交互。NameNode是一個集群中的主控服務器

相關(guān)的研究，其中，文獻[50-52]在MapReduce上進行社交網(wǎng)絡數(shù)據(jù)分析，文獻[53]在Hadoop平臺上實現(xiàn)了基于用戶的協(xié)同過濾推薦算法。借鑒以上的研究基礎，本論文在開源云平臺Hadoop上進行社交網(wǎng)絡服務推薦的研究，其系統(tǒng)框架如圖4.1所示，該系統(tǒng)主要包括數(shù)據(jù)采集模塊、數(shù)據(jù)預處理模塊、數(shù)據(jù)存儲模塊和服務推薦模塊四部分。

【參考文獻】：
博士論文
[1]商務推薦系統(tǒng)的設計研究[D]. 王宏宇.中國科學技術(shù)大學 2007

碩士論文
[1]社會網(wǎng)絡分析工具中的分布式最小生成樹算法[D]. 楊寅.北京郵電大學 2011
[2]中文關(guān)鍵詞提取技術(shù)[D]. 梁偉明.上海交通大學 2010



本文編號：3402835