本文選題：大數(shù)據(jù) + 分布式計(jì)算�。� 參考：《實(shí)驗(yàn)室研究與探索》2015年11期

【摘要】：隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展,數(shù)據(jù)量成爆炸性增長(zhǎng)趨勢(shì),單機(jī)難以存儲(chǔ)、組織和分析這些海量數(shù)據(jù)。面對(duì)單機(jī)難以處理海量數(shù)據(jù)的現(xiàn)狀,建立分布式計(jì)算平臺(tái)對(duì)于今后科研工作和實(shí)驗(yàn)教學(xué)具有重要的意義。就如何在實(shí)驗(yàn)室環(huán)境下搭建分布式計(jì)算平臺(tái)做了詳細(xì)說(shuō)明并對(duì)hadoop和spark的性能進(jìn)行比較,包括Hadoop和Spark集群的安裝和部署,Spark集成開發(fā)環(huán)境的建立,同一組數(shù)據(jù)集在兩個(gè)平臺(tái)上進(jìn)行Kmeans聚類的時(shí)間對(duì)比。對(duì)于建設(shè)分布式計(jì)算平臺(tái)具有一定的指導(dǎo)意義。
[Abstract]:With the development of Internet technology, the amount of data is increasing explosively, and it is difficult to store, organize and analyze the huge amount of data on a single computer. In the face of the current situation that it is difficult to deal with massive data on a single computer, it is of great significance to establish a distributed computing platform for scientific research and experimental teaching in the future. This paper describes how to build a distributed computing platform in laboratory environment and compares the performance of hadoop and spark, including the installation and deployment of Hadoop and Spark clusters and the establishment of an integrated development environment for Spark. The Kmeans clustering time of the same data set is compared on two platforms. It has certain guiding significance for the construction of distributed computing platform.
【作者單位】： 南京信息工程大學(xué)電子與信息工程學(xué)院;
【基金】：國(guó)家自然科學(xué)基金項(xiàng)目(61203273) 江蘇省自然科學(xué)基金項(xiàng)目(BK20141004) 南京信息工程大學(xué)大學(xué)生實(shí)踐創(chuàng)新訓(xùn)練計(jì)劃項(xiàng)目(201410300175)
【分類號(hào)】：TP338.8

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 陳慧芬;盧慶武;;云計(jì)算在高校機(jī)房管理中的應(yīng)用[J];實(shí)驗(yàn)室研究與探索;2013年07期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李琳;;基于云計(jì)算的高校機(jī)房管理方法探究[J];電腦知識(shí)與技術(shù);2013年36期

2 王孟;廖云;;高校機(jī)房管理策略及創(chuàng)新[J];廣東化工;2014年16期

3 徐輝;趙敏;;開源云計(jì)算平臺(tái)構(gòu)建機(jī)房虛擬云桌面的實(shí)現(xiàn)[J];廣東技術(shù)師范學(xué)院學(xué)報(bào);2014年11期

4 程冉;;虛擬桌面技術(shù)在實(shí)驗(yàn)室管理中的應(yīng)用[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2015年01期

5 陳小君;蘇寶璽;;基于開放式的高校機(jī)房管理現(xiàn)狀、問(wèn)題及對(duì)策分析[J];赤峰學(xué)院學(xué)報(bào)(自然科學(xué)版);2015年13期

6 姚燦輝;;云計(jì)算技術(shù)在高校機(jī)房實(shí)驗(yàn)室管理中的應(yīng)用[J];信息通信;2014年11期

7 陸剛蘭;;云計(jì)算技術(shù)在高校實(shí)驗(yàn)室管理中的應(yīng)用[J];科技與創(chuàng)新;2015年03期

8 郭少輝;;云環(huán)境下公共計(jì)算機(jī)機(jī)房信息安全策略研究[J];軟件導(dǎo)刊(教育技術(shù));2014年08期

9 董啟貴;;云計(jì)算技術(shù)在高校機(jī)房管理中的應(yīng)用[J];通訊世界;2015年01期

10 肖濤;何懷文;梁瑞仕;;桌面云在高校計(jì)算機(jī)實(shí)驗(yàn)室中的應(yīng)用[J];實(shí)驗(yàn)室科學(xué);2015年01期

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鄔曉明;丁怡;;新型還原卡在高校機(jī)房的應(yīng)用[J];電腦知識(shí)與技術(shù);2010年33期

2 汪來(lái)富;沈軍;金華敏;;云計(jì)算應(yīng)用安全研究[J];電信科學(xué);2010年06期

3 盧植衡;劉蘭淇;;機(jī)房硬盤保護(hù)卡系統(tǒng)維護(hù)的技術(shù)實(shí)踐[J];煤炭技術(shù);2012年01期

4 郜激揚(yáng);;穿透硬盤還原卡的病毒分析與預(yù)防[J];實(shí)驗(yàn)技術(shù)與管理;2009年08期

5 王玉芬;郭曉娟;;云計(jì)算對(duì)高校教學(xué)資源影響解析[J];實(shí)驗(yàn)技術(shù)與管理;2010年05期

6 許克勤;;硬盤保護(hù)卡的破解測(cè)試及對(duì)策[J];實(shí)驗(yàn)技術(shù)與管理;2010年06期

7 鄒利民;;幾種硬盤還原卡的性能比較[J];實(shí)驗(yàn)室研究與探索;2006年08期

8 林瑜華;;云計(jì)算環(huán)境下高校實(shí)驗(yàn)教學(xué)模式的創(chuàng)新與實(shí)踐[J];實(shí)驗(yàn)室研究與探索;2011年08期

9 魏建琳;;還原卡的原理解讀與漏洞分析[J];西安文理學(xué)院學(xué)報(bào)(自然科學(xué)版);2010年04期

10 韋華昌;;論云計(jì)算環(huán)境下民族高校圖書館特色資源建設(shè)[J];西南民族大學(xué)學(xué)報(bào)(人文社會(huì)科學(xué)版);2012年02期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 逄利華;張錦春;;基于Hadoop的分布式數(shù)據(jù)庫(kù)系統(tǒng)[J];辦公自動(dòng)化;2014年05期

2 鄭瑋;;Hadoop釋放大數(shù)據(jù)潛能[J];軟件和信息服務(wù);2012年10期

3 劉爾凱;崔振東;;基于HADOOP技術(shù) 實(shí)現(xiàn)銀行歷史數(shù)據(jù)線上化研究[J];金融電子化;2014年01期

4 鄒群;;一種基于Hadoop的數(shù)字圖書存儲(chǔ)系統(tǒng)設(shè)計(jì)方案[J];黑龍江史志;2014年01期

5 諶章義;畢偉;向萬(wàn)紅;王國(guó)安;吳愛國(guó);;基于Hadoop的海量電費(fèi)數(shù)據(jù)處理模型[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2014年05期

6 ;大數(shù)據(jù)不等于Hadoop[J];辦公自動(dòng)化;2014年06期

7 ;保障Hadoop數(shù)據(jù)安全的十大措施[J];計(jì)算機(jī)與網(wǎng)絡(luò);2013年08期

8 王峰;雷葆華;;Hadoop分布式文件系統(tǒng)的模型分析[J];電信科學(xué);2010年12期

9 蘇小會(huì);何婧媛;;Hadoop中任務(wù)調(diào)度算法的改進(jìn)[J];電子設(shè)計(jì)工程;2012年22期

10 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年01期

相關(guān)重要報(bào)紙文章 前8條

1 本報(bào)記者 郭濤;機(jī)器大數(shù)據(jù)也離不開Hadoop[N];中國(guó)計(jì)算機(jī)報(bào);2013年

2 本報(bào)記者 王星;Hadoop引發(fā)大數(shù)據(jù)之戰(zhàn)[N];電腦報(bào);2012年

3 本報(bào)記者 鄒大斌;Hadoop一體機(jī)降低大數(shù)據(jù)門檻[N];計(jì)算機(jī)世界;2012年

4 孫定;云計(jì)算、大數(shù)據(jù)與Hadoop[N];計(jì)算機(jī)世界;2011年

5 樂天　編譯;Hadoop：打開大數(shù)據(jù)之門的金鑰匙[N];計(jì)算機(jī)世界;2012年

6 范范　編譯;Hadoop用戶可以使用多種搜索引擎[N];網(wǎng)絡(luò)世界;2013年

7 波波　編譯;Hadoop、Web 2.0為磁帶帶來(lái)新商機(jī)[N];網(wǎng)絡(luò)世界;2013年

8 本報(bào)記者 郭濤;讓更多人能夠使用Hadoop[N];中國(guó)計(jì)算機(jī)報(bào);2012年

相關(guān)碩士學(xué)位論文 前10條

1 劉君;基于Hadoop技術(shù)的氣象數(shù)據(jù)采集及數(shù)據(jù)挖掘平臺(tái)的研究[D];天津理工大學(xué);2015年

2 譚旭;基于物流數(shù)據(jù)的快遞網(wǎng)絡(luò)分析與建模[D];浙江大學(xué);2015年

3 趙偉;基于Hadoop的數(shù)據(jù)挖掘算法并行化研究[D];西南交通大學(xué);2015年

4 趙振崇;基于Hadoop的決策樹挖掘算法的研究[D];蘭州大學(xué);2015年

5 郭凱振;基于Hadoop的分布式計(jì)算系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];大連海事大學(xué);2015年

6 高仲峰;基于Hadoop平臺(tái)的橋梁結(jié)構(gòu)健康監(jiān)測(cè)系統(tǒng)的應(yīng)用[D];西安科技大學(xué);2012年

7 張麗云;基于Hadoop的企業(yè)知識(shí)管理系統(tǒng)的主要功能的研究與實(shí)現(xiàn)[D];東北師范大學(xué);2014年

8 夏志剛;基于Hadoop的數(shù)字大棚云系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[D];大連理工大學(xué);2014年

9 楊寧;基于Hadoop平臺(tái)的廣告檢測(cè)系統(tǒng)研究與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2012年

10 張興平;基于Hadoop的微博用戶情感分類研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

，

本文編號(hào)：1990621