發(fā)布時間：2018-06-07 09:02

  本文選題：大數(shù)據(jù) + 分布式計算��； 參考：《實驗室研究與探索》2015年11期

【摘要】：隨著互聯(lián)網(wǎng)技術的發(fā)展,數(shù)據(jù)量成爆炸性增長趨勢,單機難以存儲、組織和分析這些海量數(shù)據(jù)。面對單機難以處理海量數(shù)據(jù)的現(xiàn)狀,建立分布式計算平臺對于今后科研工作和實驗教學具有重要的意義。就如何在實驗室環(huán)境下搭建分布式計算平臺做了詳細說明并對hadoop和spark的性能進行比較,包括Hadoop和Spark集群的安裝和部署,Spark集成開發(fā)環(huán)境的建立,同一組數(shù)據(jù)集在兩個平臺上進行Kmeans聚類的時間對比。對于建設分布式計算平臺具有一定的指導意義。
[Abstract]:With the development of Internet technology, the amount of data is increasing explosively, and it is difficult to store, organize and analyze the huge amount of data on a single computer. In the face of the current situation that it is difficult to deal with massive data on a single computer, it is of great significance to establish a distributed computing platform for scientific research and experimental teaching in the future. This paper describes how to build a distributed computing platform in laboratory environment and compares the performance of hadoop and spark, including the installation and deployment of Hadoop and Spark clusters and the establishment of an integrated development environment for Spark. The Kmeans clustering time of the same data set is compared on two platforms. It has certain guiding significance for the construction of distributed computing platform.
【作者單位】： 南京信息工程大學電子與信息工程學院;
【基金】：國家自然科學基金項目(61203273) 江蘇省自然科學基金項目(BK20141004) 南京信息工程大學大學生實踐創(chuàng)新訓練計劃項目(201410300175)
【分類號】：TP338.8

【參考文獻】

相關期刊論文 前1條

1 陳慧芬;盧慶武;;云計算在高校機房管理中的應用[J];實驗室研究與探索;2013年07期

【共引文獻】

相關期刊論文 前10條

1 李琳;;基于云計算的高校機房管理方法探究[J];電腦知識與技術;2013年36期

2 王孟;廖云;;高校機房管理策略及創(chuàng)新[J];廣東化工;2014年16期

3 徐輝;趙敏;;開源云計算平臺構建機房虛擬云桌面的實現(xiàn)[J];廣東技術師范學院學報;2014年11期

4 程冉;;虛擬桌面技術在實驗室管理中的應用[J];計算機光盤軟件與應用;2015年01期

5 陳小君;蘇寶璽;;基于開放式的高校機房管理現(xiàn)狀、問題及對策分析[J];赤峰學院學報(自然科學版);2015年13期

6 姚燦輝;;云計算技術在高校機房實驗室管理中的應用[J];信息通信;2014年11期

7 陸剛蘭;;云計算技術在高校實驗室管理中的應用[J];科技與創(chuàng)新;2015年03期

8 郭少輝;;云環(huán)境下公共計算機機房信息安全策略研究[J];軟件導刊(教育技術);2014年08期

9 董啟貴;;云計算技術在高校機房管理中的應用[J];通訊世界;2015年01期

10 肖濤;何懷文;梁瑞仕;;桌面云在高校計算機實驗室中的應用[J];實驗室科學;2015年01期

【二級參考文獻】

相關期刊論文 前10條

1 鄔曉明;丁怡;;新型還原卡在高校機房的應用[J];電腦知識與技術;2010年33期

2 汪來富;沈軍;金華敏;;云計算應用安全研究[J];電信科學;2010年06期

3 盧植衡;劉蘭淇;;機房硬盤保護卡系統(tǒng)維護的技術實踐[J];煤炭技術;2012年01期

4 郜激揚;;穿透硬盤還原卡的病毒分析與預防[J];實驗技術與管理;2009年08期

5 王玉芬;郭曉娟;;云計算對高校教學資源影響解析[J];實驗技術與管理;2010年05期

6 許克勤;;硬盤保護卡的破解測試及對策[J];實驗技術與管理;2010年06期

7 鄒利民;;幾種硬盤還原卡的性能比較[J];實驗室研究與探索;2006年08期

8 林瑜華;;云計算環(huán)境下高校實驗教學模式的創(chuàng)新與實踐[J];實驗室研究與探索;2011年08期

9 魏建琳;;還原卡的原理解讀與漏洞分析[J];西安文理學院學報(自然科學版);2010年04期

10 韋華昌;;論云計算環(huán)境下民族高校圖書館特色資源建設[J];西南民族大學學報(人文社會科學版);2012年02期

【相似文獻】

相關期刊論文 前10條

1 逄利華;張錦春;;基于Hadoop的分布式數(shù)據(jù)庫系統(tǒng)[J];辦公自動化;2014年05期

2 鄭瑋;;Hadoop釋放大數(shù)據(jù)潛能[J];軟件和信息服務;2012年10期

3 劉爾凱;崔振東;;基于HADOOP技術 實現(xiàn)銀行歷史數(shù)據(jù)線上化研究[J];金融電子化;2014年01期

4 鄒群;;一種基于Hadoop的數(shù)字圖書存儲系統(tǒng)設計方案[J];黑龍江史志;2014年01期

5 諶章義;畢偉;向萬紅;王國安;吳愛國;;基于Hadoop的海量電費數(shù)據(jù)處理模型[J];計算機系統(tǒng)應用;2014年05期

6 ;大數(shù)據(jù)不等于Hadoop[J];辦公自動化;2014年06期

7 ;保障Hadoop數(shù)據(jù)安全的十大措施[J];計算機與網(wǎng)絡;2013年08期

8 王峰;雷葆華;;Hadoop分布式文件系統(tǒng)的模型分析[J];電信科學;2010年12期

9 蘇小會;何婧媛;;Hadoop中任務調度算法的改進[J];電子設計工程;2012年22期

10 林偉偉;;一種改進的Hadoop數(shù)據(jù)放置策略[J];華南理工大學學報(自然科學版);2012年01期

相關重要報紙文章 前8條

1 本報記者 郭濤;機器大數(shù)據(jù)也離不開Hadoop[N];中國計算機報;2013年

2 本報記者 王星;Hadoop引發(fā)大數(shù)據(jù)之戰(zhàn)[N];電腦報;2012年

3 本報記者 鄒大斌;Hadoop一體機降低大數(shù)據(jù)門檻[N];計算機世界;2012年

4 孫定;云計算、大數(shù)據(jù)與Hadoop[N];計算機世界;2011年

5 樂天　編譯;Hadoop：打開大數(shù)據(jù)之門的金鑰匙[N];計算機世界;2012年

6 范范　編譯;Hadoop用戶可以使用多種搜索引擎[N];網(wǎng)絡世界;2013年

7 波波　編譯;Hadoop、Web 2.0為磁帶帶來新商機[N];網(wǎng)絡世界;2013年

8 本報記者 郭濤;讓更多人能夠使用Hadoop[N];中國計算機報;2012年

相關碩士學位論文 前10條

1 劉君;基于Hadoop技術的氣象數(shù)據(jù)采集及數(shù)據(jù)挖掘平臺的研究[D];天津理工大學;2015年

2 譚旭;基于物流數(shù)據(jù)的快遞網(wǎng)絡分析與建模[D];浙江大學;2015年

3 趙偉;基于Hadoop的數(shù)據(jù)挖掘算法并行化研究[D];西南交通大學;2015年

4 趙振崇;基于Hadoop的決策樹挖掘算法的研究[D];蘭州大學;2015年

5 郭凱振;基于Hadoop的分布式計算系統(tǒng)的設計與實現(xiàn)[D];大連海事大學;2015年

6 高仲峰;基于Hadoop平臺的橋梁結構健康監(jiān)測系統(tǒng)的應用[D];西安科技大學;2012年

7 張麗云;基于Hadoop的企業(yè)知識管理系統(tǒng)的主要功能的研究與實現(xiàn)[D];東北師范大學;2014年

8 夏志剛;基于Hadoop的數(shù)字大棚云系統(tǒng)的設計和實現(xiàn)[D];大連理工大學;2014年

9 楊寧;基于Hadoop平臺的廣告檢測系統(tǒng)研究與實現(xiàn)[D];復旦大學;2012年

10 張興平;基于Hadoop的微博用戶情感分類研究與實現(xiàn)[D];西安電子科技大學;2014年

，

本文編號：1990621