本文關(guān)鍵詞：基于Hadoop社交網(wǎng)絡(luò)分析平臺的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 數(shù)據(jù)挖掘 分布式計(jì)算 Hadoop社交網(wǎng)絡(luò) 大數(shù)據(jù)

【摘要】：隨著社交網(wǎng)絡(luò)的快速發(fā)展,海量社交網(wǎng)絡(luò)的數(shù)據(jù)挖掘成為一個重要課題;針對海量數(shù)據(jù)的社交網(wǎng)絡(luò)分析方法進(jìn)行研究,以Hadoop的分布式文件系統(tǒng)和Map/Reduce并行方法設(shè)計(jì)基于Hadoop的分布式數(shù)據(jù)挖掘框架,在此基礎(chǔ)上,通過Map/Reduce的并行方法,將傳統(tǒng)數(shù)據(jù)挖掘算法并行化,以譜聚類的并行為例,闡述轉(zhuǎn)化的過程并對在大數(shù)據(jù)條件下所面臨的內(nèi)存不足的問題給出相應(yīng)的算法優(yōu)化;最后對3個不同量級的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),驗(yàn)證基于Hadoop的社交網(wǎng)絡(luò)分析平臺的框架的合理性和算法并行化的有效性。
【作者單位】： 寧波大紅鷹學(xué)院信息工程學(xué)院;
【分類號】：TP311.13;TP393.09
【正文快照】： 0引言大數(shù)據(jù)的挑戰(zhàn)隨著云技術(shù)的發(fā)展云開月朗。利用分布式的框架,使用多臺機(jī)器同時并行工作,橫向擴(kuò)展了計(jì)算機(jī)的存儲和計(jì)算能力,以Hadoop[1]為例,它正在有效地為Facebook、Yahoo的海量數(shù)據(jù)存儲和大規(guī)模高性能搜索要求提供服務(wù)和支持。大規(guī)模的數(shù)據(jù)挖掘帶來了不可度量的價值和

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 秦洋;王立宏;武栓虎;宋宜斌;;基于拉普拉斯矩陣的DNA序列集相似性分析[J];北京交通大學(xué)學(xué)報;2009年06期

2 徐天順;;譜聚類算法研究[J];電腦知識與技術(shù);2012年16期

3 陳姿羽;黃靖;李偉鵬;;一種改進(jìn)的自適應(yīng)譜聚類圖像分割算法[J];南方醫(yī)科大學(xué)學(xué)報;2012年05期

4 孔萬增;孫志海;楊燦;戴國駿;孫昌思核;;基于本征間隙與正交特征向量的自動譜聚類[J];電子學(xué)報;2010年08期

5 錢鵬江;王士同;鄧趙紅;徐華;;基于最小包含球的大數(shù)據(jù)集快速譜聚類算法[J];電子學(xué)報;2010年09期

6 程學(xué)旗;沈華偉;;復(fù)雜網(wǎng)絡(luò)的社區(qū)結(jié)構(gòu)[J];復(fù)雜系統(tǒng)與復(fù)雜性科學(xué);2011年01期

7 彭艷斌;艾解清;;基于譜聚類波段選擇的高光譜圖像分類[J];光電工程;2012年02期

8 盧志茂;徐森;劉遠(yuǎn)超;顧國昌;;使用“分裂-合并"策略改進(jìn)文本聚類集成算法的研究[J];高技術(shù)通訊;2010年07期

9 葛芳;王年;郭秀麗;;一種改進(jìn)的譜聚類算法及其在基因表達(dá)譜分析中的應(yīng)用[J];安徽大學(xué)學(xué)報(自然科學(xué)版);2012年05期

10 施曉篩;徐森;曹瑞;;文本譜聚類算法研究[J];電子設(shè)計(jì)工程;2012年22期

中國重要會議論文全文數(shù)據(jù)庫 前3條

1 王小磊;張瑾;許洪波;;基于交互增強(qiáng)原理的多文檔自動文摘算法[A];第四屆全國學(xué)生計(jì)算語言學(xué)研討會會議論文集[C];2008年

2 司煒;;IT支撐系統(tǒng)云計(jì)算資源池實(shí)現(xiàn)研究[A];2013年中國通信學(xué)會信息通信網(wǎng)絡(luò)技術(shù)委員會年會論文集[C];2013年

3 司煒;;IT支撐系統(tǒng)云計(jì)算資源池實(shí)現(xiàn)研究[A];中國通信學(xué)會信息通信網(wǎng)絡(luò)技術(shù)委員會2013年年會論文集[C];2013年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 徐森;文本聚類集成關(guān)鍵技術(shù)研究[D];哈爾濱工程大學(xué);2010年

2 宋軍;水交換模型的理論方法及應(yīng)用研究[D];中國海洋大學(xué);2010年

3 陳偉;基于時序文本挖掘的新聞內(nèi)容理解與推薦技術(shù)研究[D];浙江大學(xué);2010年

4 錢鵬江;大規(guī)模數(shù)據(jù)集聚類方法研究及應(yīng)用[D];江南大學(xué);2011年

5 呂紹高;統(tǒng)計(jì)學(xué)習(xí)中回歸與正則化譜聚類算法的研究[D];中國科學(xué)技術(shù)大學(xué);2011年

6 林古立;互聯(lián)網(wǎng)信息檢索中的多樣化排序研究及應(yīng)用[D];華南理工大學(xué);2011年

7 張大明;基于圖理論的圖像分割和分類算法研究[D];安徽大學(xué);2011年

8 楊鵬;離群檢測及其優(yōu)化算法研究[D];重慶大學(xué);2010年

9 陳瀟;圖像目標(biāo)三維幾何不變量特征構(gòu)造與應(yīng)用[D];上海交通大學(xué);2011年

10 李博;基于場景外觀建模的移動機(jī)器人視覺閉環(huán)檢測研究[D];重慶大學(xué);2011年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 李靜偉;基于共享近鄰的自適應(yīng)譜聚類算法[D];大連理工大學(xué);2010年

2 孫玉俠;數(shù)據(jù)挖掘中的譜聚類算法研究[D];中國海洋大學(xué);2010年

3 溫程;并行聚類算法在MapReduce上的實(shí)現(xiàn)[D];浙江大學(xué);2011年

4 毛菥;基于文本分析技術(shù)的新聞閱讀平臺的研究與實(shí)現(xiàn)[D];浙江大學(xué);2011年

5 張漢珍;譜劃分算法中特征向量選取方法的研究[D];西安電子科技大學(xué);2010年

6 王蓓金;蛋白質(zhì)網(wǎng)絡(luò)模塊分解的密度聚類算法研究[D];西安電子科技大學(xué);2010年

7 雷玲;離散正則化方法在草場檢測上的研究與應(yīng)用[D];吉林大學(xué);2011年

8 錢新宇;基于實(shí)例推理的虛擬裝配序列規(guī)劃研究[D];大連海事大學(xué);2011年

9 黃旭;群智能優(yōu)化算法及其在PPI網(wǎng)絡(luò)中的應(yīng)用研究[D];陜西師范大學(xué);2011年

10 李俊英;譜聚類方法在圖像分割中的應(yīng)用研究[D];陜西師范大學(xué);2011年

【二級參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前2條

1 解(亻芻);汪小帆;;復(fù)雜網(wǎng)絡(luò)中的社團(tuán)結(jié)構(gòu)分析算法研究綜述[J];復(fù)雜系統(tǒng)與復(fù)雜性科學(xué);2005年03期

2 劉繼敏,史忠植;一種基于形狀的圖像信息檢索方法[J];軟件學(xué)報;2000年01期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 楊強(qiáng);支持向量機(jī)的模型及其在圖像分割中的應(yīng)用[D];重慶大學(xué);2004年

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 李林容;;社交網(wǎng)絡(luò)的特性及其發(fā)展趨勢[J];新聞界;2010年05期

2 陳琛;沙昊;;社交網(wǎng)絡(luò)的開放融合圖譜[J];通信世界;2010年48期

3 楊宇良;;網(wǎng)絡(luò)讓我們更遠(yuǎn)還是更近[J];互聯(lián)網(wǎng)天地;2011年01期

4 陳昱;;社交網(wǎng)絡(luò)革命與國家安全關(guān)系[J];情報雜志;2011年S2期

5 勞倫·考克斯;;請?jiān)诠ぷ鲿r更新你的狀態(tài)[J];科技創(chuàng)業(yè);2011年05期

6 斯蒂芬·卡斯;;在線社區(qū)能否解決隱私問題[J];科技創(chuàng)業(yè);2011年08期

7 陳云鵬;;電子商務(wù)引領(lǐng)社交網(wǎng)絡(luò)走進(jìn)2.0時代[J];上海信息化;2012年01期

8 馬文剛;;智慧的物聯(lián)社交網(wǎng)絡(luò)[J];上海信息化;2012年03期

9 朱乾龍;張倩;杜娟;;我國社交網(wǎng)絡(luò)繁榮背后面臨深層次問題困擾[J];世界電信;2012年06期

10 劉華;;社交網(wǎng)絡(luò)的融合之路[J];軟件工程師;2012年07期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 趙云龍;李艷兵;;社交網(wǎng)絡(luò)用戶的人格預(yù)測與關(guān)系強(qiáng)度研究[A];第七屆（2012）中國管理學(xué)年會商務(wù)智能分會場論文集（選編）[C];2012年

2 宮廣宇;李開軍;;對社交網(wǎng)絡(luò)中信息傳播的分析和思考——以人人網(wǎng)為例[A];首屆華中地區(qū)新聞與傳播學(xué)科研究生學(xué)術(shù)論壇獲獎?wù)撐腫C];2010年

3 楊子鵬;喬麗娟;王夢思;楊雪迎;孟子冰;張禹;;社交網(wǎng)絡(luò)與大學(xué)生焦慮緩解[A];心理學(xué)與創(chuàng)新能力提升——第十六屆全國心理學(xué)學(xué)術(shù)會議論文集[C];2013年

4 畢雪梅;;體育虛擬社區(qū)中的體育社交網(wǎng)絡(luò)解析[A];第九屆全國體育科學(xué)大會論文摘要匯編(4)[C];2011年

5 杜p，

本文編號：1284904