本文選題：云計算 + MapReduce　； 參考：《計算機科學》2015年05期

【摘要】：隨著云計算技術的發(fā)展,許多MapReduce運行系統(tǒng)被開發(fā)出來,如Hadoop、Phoenix和Twister等。直觀上,Hadoop具有很強的可擴展性、穩(wěn)定性,適合處理大規(guī)模離線應用;Phoenix具有運行速度快等優(yōu)點,適合處理數(shù)據(jù)密集型任務;Twister是輕量級的迭代系統(tǒng),非常適合迭代式的應用。不同的應用在不同的MapReduce運行系統(tǒng)中有著不同的性能。通過測試不同應用在這些運行系統(tǒng)上的性能,給出了實驗比較和性能分析,從而為大數(shù)據(jù)處理時選擇合適的并行編程模型提供依據(jù)。
[Abstract]:With the development of cloud computing technology, many MapReduce operating systems, such as Hadoop Phoenix and Twister, have been developed. Hadoop is intuitively scalable and stable. Phoenix is suitable for dealing with large scale off-line applications and has the advantages of high speed. Twister is a lightweight iterative system suitable for data-intensive tasks and is very suitable for iterative applications. Different applications have different performance in different MapReduce running systems. By testing the performance of different applications on these running systems, the experimental comparison and performance analysis are given, thus providing the basis for big data to select an appropriate parallel programming model.
【作者單位】： 西南交通大學信息科學與技術學院;
【基金】：國家自然科學基金(61175047,61202043),國家自然科學基金聯(lián)合基金(U1230117) 四川省科技支撐計劃項目(2012RZ0009) 中央高校基本科研業(yè)務費專項資金(SWJTU11ZT08)資助
【分類號】：TP338.6;TP311.1

【參考文獻】

相關期刊論文 前2條

1 李建江;崔健;王聃;嚴林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學報;2011年11期

2 亢麗蕓;王效岳;白如江;;MapReduce原理及其主要實現(xiàn)平臺分析[J];現(xiàn)代圖書情報技術;2012年02期

【共引文獻】

相關期刊論文 前10條

1 李建敦;彭俊杰;張武;;云存儲中一種基于布局的虛擬磁盤節(jié)能調(diào)度方法[J];電子學報;2012年11期

2 吳建軍;;網(wǎng)絡輿情的云計算監(jiān)測模式分析與實現(xiàn)[J];電訊技術;2013年04期

3 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺關鍵技術[J];信息技術與標準化;2013年10期

4 邵景峰;崔尊民;王進富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

5 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學學報;2013年03期

6 黃上星;周凌云;;基于GAE的云計算應用開發(fā)[J];大眾科技;2013年10期

7 王曉華;;一種新型的Hadoop本地化測試模型[J];赤峰學院學報(自然科學版);2013年19期

8 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺下緩存敏感的星型聯(lián)接算法[J];電信科學;2013年10期

9 鄭哲;;一種物流云系統(tǒng)的架構(gòu)方法[J];電腦編程技巧與維護;2013年22期

10 錢晨;張鵬飛;;中國云計算建設及技術開發(fā)方向分析[J];福建電腦;2013年12期

相關會議論文 前10條

1 陳德華;解維;李悅;;面向大規(guī)模圖數(shù)據(jù)的分布式并行聚類算法研究[A];第29屆中國數(shù)據(jù)庫學術會議論文集（B輯）（NDBC2012）[C];2012年

2 張瑋;牛正浩;史慧玲;孫萌;唐紹炬;;多目標優(yōu)化的云計算虛擬集群動態(tài)調(diào)整方法[A];山東計算機學會2013學術年會論文集[C];2013年

3 孫英華;郭振波;吳哲輝;杜樂樂;;基于混合云市場的計算資源交易模型的研究[A];山東計算機學會2013學術年會論文集[C];2013年

4 潘送軍;周沿東;;淺談開發(fā)測試資源池的建設及應用[A];電力行業(yè)信息化優(yōu)秀論文集2013[C];2013年

5 周宇光;陳振義;盛中華;;探索云計算技術在企業(yè)信息化建設中的應用[A];第十六屆中國科協(xié)年會——分7綠色設計與制造信息技術創(chuàng)新論壇論文集[C];2014年

6 喬媛媛;劉芳;凌艷;尹勁松;;云計算環(huán)境下MapReduce的資源建模與性能預測[A];2013年全國通信軟件學術會議論文集[C];2013年

7 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26屆中國控制與決策會議論文集[C];2014年

8 陳佐旗;余柏蒗;吳健平;;基于GPU通用計算的遙感數(shù)據(jù)處理——以計算地表太陽輻射值為例[A];第十八屆中國環(huán)境遙感應用技術論壇論文集[C];2014年

9 白永超;付偉;辛陽;;基于Hadoop和Nutch的分布式搜索引擎研究與仿真[A];第十九屆全國青年通信學術年會論文集[C];2014年

10 付偉;白永超;辛陽;;一種基于Hadoop和K-means的Web日志分析方案的設計[A];第十九屆全國青年通信學術年會論文集[C];2014年

相關博士學位論文 前10條

1 李煜;基于雙邊市場理論的軟件平臺運營機制研究[D];北京郵電大學;2013年

2 李健;云計算環(huán)境下最小化運營開銷的調(diào)度技術研究[D];北京郵電大學;2013年

3 張帆;認知可重構(gòu)的高效能Web服務體系結(jié)構(gòu)研究[D];解放軍信息工程大學;2013年

4 韓晶;大數(shù)據(jù)服務若干關鍵技術研究[D];北京郵電大學;2013年

5 程祥;高效可靠的虛擬網(wǎng)絡映射技術研究[D];北京郵電大學;2013年

6 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關鍵技術研究[D];重慶大學;2013年

7 卿蘇德;網(wǎng)絡虛擬化映射算法研究[D];北京郵電大學;2013年

8 史佩昌;云服務的高效傳遞技術研究[D];國防科學技術大學;2012年

9 盧風順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計算關鍵技術研究[D];國防科學技術大學;2012年

10 劉雪峰;隱私安全協(xié)議研究[D];西安電子科技大學;2013年

相關碩士學位論文 前10條

1 儲超塵;面向SaaS的IT資源綜合監(jiān)控系統(tǒng)及其關鍵技術的研究[D];中南大學;2012年

2 解維;分布式圖聚類及其在電子商務數(shù)據(jù)挖掘中的應用[D];東華大學;2013年

3 敖杰剛;分布式并行計算下GML空間數(shù)據(jù)復制同步更新機制研究[D];江西理工大學;2012年

4 王家惠;移動云計算下位置服務數(shù)據(jù)管理與應用研究[D];大連海事大學;2013年

5 謝磊;基于Bl-PaaS平臺的界面定制技術的研究與實現(xiàn)[D];北京郵電大學;2013年

6 楊叢聿;基于MapReduce模型的圖像相似度分析[D];北京郵電大學;2013年

7 朱朝鵬;基于云計算的遠程診斷關鍵技術研究[D];鄭州大學;2013年

8 吳崇正;基于MapReduce的分布式搜索引擎研究[D];蘭州理工大學;2013年

9 郭德鋒;基于Hadoop的云平臺模型的性能研究與優(yōu)化[D];西北大學;2013年

10 王軍;云計算系統(tǒng)資源調(diào)度及安全性研究[D];武漢理工大學;2013年

【二級參考文獻】

相關期刊論文 前5條

1 寧煥生;張瑜;劉芳麗;劉文明;渠慎豐;;中國物聯(lián)網(wǎng)信息服務系統(tǒng)研究[J];電子學報;2006年S1期

2 廖名學;范植華;;MPI程序同步通信基本模型死鎖檢測[J];電子學報;2008年02期

3 寧煥生;徐群玉;;全球物聯(lián)網(wǎng)發(fā)展及中國物聯(lián)網(wǎng)建設若干思考[J];電子學報;2010年11期

4 李建江;崔健;王聃;嚴林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學報;2011年11期

5 陳康;鄭緯民;;云計算:系統(tǒng)實例與研究現(xiàn)狀[J];軟件學報;2009年05期

【相似文獻】

相關期刊論文 前10條

1 吳邦雄;;250系統(tǒng)的運行系統(tǒng)[J];通訊裝備;1978年03期

2 趙知友;市場經(jīng)濟的系統(tǒng)性及其宣傳要求[J];新疆新聞界;1993年04期

3 張小飛;;針對社區(qū)環(huán)境的軟件網(wǎng)絡化運行系統(tǒng)的設計與實現(xiàn)[J];微計算機信息;2010年36期

4 劉文華;黃東軍;;航空公司現(xiàn)場運行系統(tǒng)的設計與實現(xiàn)[J];現(xiàn)代計算機;2006年11期

5 張磊;師衛(wèi);;軟PLC運行系統(tǒng)的研究與實現(xiàn)[J];科技情報開發(fā)與經(jīng)濟;2008年11期

6 王亞男;陳嬋娟;;軟PLC運行系統(tǒng)的研究與實現(xiàn)[J];煤炭技術;2012年02期

7 王平，，唐元;中國國民經(jīng)濟運行系統(tǒng)的設計與實現(xiàn)[J];微型電腦應用;1996年03期

8 趙萬杰,羅慧;;對遠距離教育運行系統(tǒng)的探討[J];中國電化教育;1998年10期

9 賀桂香;;北京紫金橋?qū)崟r數(shù)據(jù)運行系統(tǒng)在煉油廠的應用[J];自動化應用;2011年07期

10 林偉璐,錢宇,李秀喜,鄭秀玉;化工過程集成運行系統(tǒng)的研究[J];化工自動化及儀表;2000年01期

相關會議論文 前5條

1 李秀喜;錢宇;黃啟明;林偉璐;;化工過程集成運行系統(tǒng)平臺的研究與開發(fā)[A];過程系統(tǒng)工程2001年會論文集[C];2001年

2 芮鈞;徐潔;李永紅;鄭健兵;趙宇;高磊;;基于一體化管控平臺的智能水電廠經(jīng)濟運行系統(tǒng)構(gòu)建[A];2013年電力系統(tǒng)自動化專委會年會論文[C];2013年

3 沈永春;張功鍍;;可編程控制器運行系統(tǒng)的設計和實現(xiàn)[A];中國儀器儀表學會2007學術年會智能檢測控制技術及儀表裝置發(fā)展研討會論文集[C];2007年

4 戚明浩;沈?qū)W軍;;優(yōu)化運行系統(tǒng)對鍋爐節(jié)能調(diào)節(jié)的指導作用分析和探討[A];第七屆電力工業(yè)節(jié)能減排學術研討會論文集[C];2012年

5 曹春華;;對城市規(guī)劃運行機制的思考[A];中國城市規(guī)劃學會2002年年會論文集[C];2002年

相關重要報紙文章 前10條

1 通訊員 許萍萍;煉油與化工運行系統(tǒng)落戶遼河石化[N];中國石油報;2009年

2 記者 王正喜;徐州經(jīng)濟技術開發(fā)區(qū)行政權力網(wǎng)上公開運行系統(tǒng)開通[N];徐州日報;2010年

3 吳建榮;大慶政務公開運行系統(tǒng)全面開通[N];中國紀檢監(jiān)察報;2006年

4 曲先中 唐毓;鍵盤一敲效率高 鼠標一點成本減[N];中國石化報;2007年

5 記者 馮作文;蘭州石化MES系統(tǒng)上線運行[N];中國石油報;2007年

6 肖紅軍 山西高平市建寧煤礦礦長;培育憂患意識 建設安全文化[N];雞西日報;2008年

7 記者 馮燕平;IT小企業(yè)撬動農(nóng)業(yè)信息化大市場[N];呼和浩特日報(漢);2011年

8 黃靜;我區(qū)率全市之先建立網(wǎng)上政務大廳[N];溫州日報;2011年

9 邰季;為群眾辦事提供便捷優(yōu)質(zhì)服務[N];中國紀檢監(jiān)察報;2012年

10 本報記者 張中寶　實習生 李艾穎;乘客為何不買公交卡的賬[N];海南日報;2011年

相關博士學位論文 前1條

1 吳志輝;化工過程計算機集成運行系統(tǒng)及實驗平臺的研究與開發(fā)[D];華南理工大學;2007年

相關碩士學位論文 前10條

1 張羽;總部級煉油與化工生產(chǎn)運行系統(tǒng)的設計與實現(xiàn)[D];北京交通大學;2009年

2 王亞男;開放式數(shù)控系統(tǒng)軟PLC運行系統(tǒng)的研究與開發(fā)[D];陜西科技大學;2012年

3 張磊;基于PC的軟PLC運行系統(tǒng)研究與實現(xiàn)[D];太原理工大學;2008年

4 周建香;基于ARM的嵌入式軟PLC運行系統(tǒng)設計[D];華南理工大學;2010年

5 伊曉峰;編譯型PLC運行系統(tǒng)的設計與實現(xiàn)[D];山東輕工業(yè)學院;2010年

6 田釗;基于一類混合Petri網(wǎng)的列車運行系統(tǒng)中沖突因素的分析[D];鄭州大學;2011年

7 高進;軟PLC運行系統(tǒng)的研究[D];西華大學;2010年

8 周清;基于混合Petri網(wǎng)的列車運行系統(tǒng)中時間推理問題的研究[D];鄭州大學;2010年

9 侯一波;自適應人機界面在生產(chǎn)運行系統(tǒng)中的應用[D];天津大學;2009年

10 王靜思;基于語言轉(zhuǎn)換的嵌入式軟PLC系統(tǒng)的研究與設計[D];華中科技大學;2011年

本文編號：1781834