本文選題：云計(jì)算 + MapReduce��； 參考：《計(jì)算機(jī)科學(xué)》2015年05期

【摘要】：隨著云計(jì)算技術(shù)的發(fā)展,許多MapReduce運(yùn)行系統(tǒng)被開發(fā)出來(lái),如Hadoop、Phoenix和Twister等。直觀上,Hadoop具有很強(qiáng)的可擴(kuò)展性、穩(wěn)定性,適合處理大規(guī)模離線應(yīng)用;Phoenix具有運(yùn)行速度快等優(yōu)點(diǎn),適合處理數(shù)據(jù)密集型任務(wù);Twister是輕量級(jí)的迭代系統(tǒng),非常適合迭代式的應(yīng)用。不同的應(yīng)用在不同的MapReduce運(yùn)行系統(tǒng)中有著不同的性能。通過(guò)測(cè)試不同應(yīng)用在這些運(yùn)行系統(tǒng)上的性能,給出了實(shí)驗(yàn)比較和性能分析,從而為大數(shù)據(jù)處理時(shí)選擇合適的并行編程模型提供依據(jù)。
[Abstract]:With the development of cloud computing technology, many MapReduce operating systems, such as Hadoop Phoenix and Twister, have been developed. Hadoop is intuitively scalable and stable. Phoenix is suitable for dealing with large scale off-line applications and has the advantages of high speed. Twister is a lightweight iterative system suitable for data-intensive tasks and is very suitable for iterative applications. Different applications have different performance in different MapReduce running systems. By testing the performance of different applications on these running systems, the experimental comparison and performance analysis are given, thus providing the basis for big data to select an appropriate parallel programming model.
【作者單位】： 西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院;
【基金】：國(guó)家自然科學(xué)基金(61175047,61202043),國(guó)家自然科學(xué)基金聯(lián)合基金(U1230117) 四川省科技支撐計(jì)劃項(xiàng)目(2012RZ0009) 中央高�；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金(SWJTU11ZT08)資助
【分類號(hào)】：TP338.6;TP311.1

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 李建江;崔健;王聃;嚴(yán)林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學(xué)報(bào);2011年11期

2 亢麗蕓;王效岳;白如江;;MapReduce原理及其主要實(shí)現(xiàn)平臺(tái)分析[J];現(xiàn)代圖書情報(bào)技術(shù);2012年02期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李建敦;彭俊杰;張武;;云存儲(chǔ)中一種基于布局的虛擬磁盤節(jié)能調(diào)度方法[J];電子學(xué)報(bào);2012年11期

2 吳建軍;;網(wǎng)絡(luò)輿情的云計(jì)算監(jiān)測(cè)模式分析與實(shí)現(xiàn)[J];電訊技術(shù);2013年04期

3 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺(tái)關(guān)鍵技術(shù)[J];信息技術(shù)與標(biāo)準(zhǔn)化;2013年10期

4 邵景峰;崔尊民;王進(jìn)富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

5 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學(xué)學(xué)報(bào);2013年03期

6 黃上星;周凌云;;基于GAE的云計(jì)算應(yīng)用開發(fā)[J];大眾科技;2013年10期

7 王曉華;;一種新型的Hadoop本地化測(cè)試模型[J];赤峰學(xué)院學(xué)報(bào)(自然科學(xué)版);2013年19期

8 周國(guó)亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺(tái)下緩存敏感的星型聯(lián)接算法[J];電信科學(xué);2013年10期

9 鄭哲;;一種物流云系統(tǒng)的架構(gòu)方法[J];電腦編程技巧與維護(hù);2013年22期

10 錢晨;張鵬飛;;中國(guó)云計(jì)算建設(shè)及技術(shù)開發(fā)方向分析[J];福建電腦;2013年12期

相關(guān)會(huì)議論文 前10條

1 陳德華;解維;李悅;;面向大規(guī)模圖數(shù)據(jù)的分布式并行聚類算法研究[A];第29屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（B輯）（NDBC2012）[C];2012年

2 張瑋;牛正浩;史慧玲;孫萌;唐紹炬;;多目標(biāo)優(yōu)化的云計(jì)算虛擬集群動(dòng)態(tài)調(diào)整方法[A];山東計(jì)算機(jī)學(xué)會(huì)2013學(xué)術(shù)年會(huì)論文集[C];2013年

3 孫英華;郭振波;吳哲輝;杜樂(lè)樂(lè);;基于混合云市場(chǎng)的計(jì)算資源交易模型的研究[A];山東計(jì)算機(jī)學(xué)會(huì)2013學(xué)術(shù)年會(huì)論文集[C];2013年

4 潘送軍;周沿東;;淺談開發(fā)測(cè)試資源池的建設(shè)及應(yīng)用[A];電力行業(yè)信息化優(yōu)秀論文集2013[C];2013年

5 周宇光;陳振義;盛中華;;探索云計(jì)算技術(shù)在企業(yè)信息化建設(shè)中的應(yīng)用[A];第十六屆中國(guó)科協(xié)年會(huì)——分7綠色設(shè)計(jì)與制造信息技術(shù)創(chuàng)新論壇論文集[C];2014年

6 喬媛媛;劉芳;凌艷;尹勁松;;云計(jì)算環(huán)境下MapReduce的資源建模與性能預(yù)測(cè)[A];2013年全國(guó)通信軟件學(xué)術(shù)會(huì)議論文集[C];2013年

7 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26屆中國(guó)控制與決策會(huì)議論文集[C];2014年

8 陳佐旗;余柏蒗;吳健平;;基于GPU通用計(jì)算的遙感數(shù)據(jù)處理——以計(jì)算地表太陽(yáng)輻射值為例[A];第十八屆中國(guó)環(huán)境遙感應(yīng)用技術(shù)論壇論文集[C];2014年

9 白永超;付偉;辛陽(yáng);;基于Hadoop和Nutch的分布式搜索引擎研究與仿真[A];第十九屆全國(guó)青年通信學(xué)術(shù)年會(huì)論文集[C];2014年

10 付偉;白永超;辛陽(yáng);;一種基于Hadoop和K-means的Web日志分析方案的設(shè)計(jì)[A];第十九屆全國(guó)青年通信學(xué)術(shù)年會(huì)論文集[C];2014年

相關(guān)博士學(xué)位論文 前10條

1 李煜;基于雙邊市場(chǎng)理論的軟件平臺(tái)運(yùn)營(yíng)機(jī)制研究[D];北京郵電大學(xué);2013年

2 李健;云計(jì)算環(huán)境下最小化運(yùn)營(yíng)開銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

3 張帆;認(rèn)知可重構(gòu)的高效能Web服務(wù)體系結(jié)構(gòu)研究[D];解放軍信息工程大學(xué);2013年

4 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

5 程祥;高效可靠的虛擬網(wǎng)絡(luò)映射技術(shù)研究[D];北京郵電大學(xué);2013年

6 李韌;基于Hadoop的大規(guī)模語(yǔ)義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

7 卿蘇德;網(wǎng)絡(luò)虛擬化映射算法研究[D];北京郵電大學(xué);2013年

8 史佩昌;云服務(wù)的高效傳遞技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2012年

9 盧風(fēng)順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計(jì)算關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2012年

10 劉雪峰;隱私安全協(xié)議研究[D];西安電子科技大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 儲(chǔ)超塵;面向SaaS的IT資源綜合監(jiān)控系統(tǒng)及其關(guān)鍵技術(shù)的研究[D];中南大學(xué);2012年

2 解維;分布式圖聚類及其在電子商務(wù)數(shù)據(jù)挖掘中的應(yīng)用[D];東華大學(xué);2013年

3 敖杰剛;分布式并行計(jì)算下GML空間數(shù)據(jù)復(fù)制同步更新機(jī)制研究[D];江西理工大學(xué);2012年

4 王家惠;移動(dòng)云計(jì)算下位置服務(wù)數(shù)據(jù)管理與應(yīng)用研究[D];大連海事大學(xué);2013年

5 謝磊;基于Bl-PaaS平臺(tái)的界面定制技術(shù)的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2013年

6 楊叢聿;基于MapReduce模型的圖像相似度分析[D];北京郵電大學(xué);2013年

7 朱朝鵬;基于云計(jì)算的遠(yuǎn)程診斷關(guān)鍵技術(shù)研究[D];鄭州大學(xué);2013年

8 吳崇正;基于MapReduce的分布式搜索引擎研究[D];蘭州理工大學(xué);2013年

9 郭德鋒;基于Hadoop的云平臺(tái)模型的性能研究與優(yōu)化[D];西北大學(xué);2013年

10 王軍;云計(jì)算系統(tǒng)資源調(diào)度及安全性研究[D];武漢理工大學(xué);2013年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前5條

1 寧煥生;張瑜;劉芳麗;劉文明;渠慎豐;;中國(guó)物聯(lián)網(wǎng)信息服務(wù)系統(tǒng)研究[J];電子學(xué)報(bào);2006年S1期

2 廖名學(xué);范植華;;MPI程序同步通信基本模型死鎖檢測(cè)[J];電子學(xué)報(bào);2008年02期

3 寧煥生;徐群玉;;全球物聯(lián)網(wǎng)發(fā)展及中國(guó)物聯(lián)網(wǎng)建設(shè)若干思考[J];電子學(xué)報(bào);2010年11期

4 李建江;崔健;王聃;嚴(yán)林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學(xué)報(bào);2011年11期

5 陳康;鄭緯民;;云計(jì)算:系統(tǒng)實(shí)例與研究現(xiàn)狀[J];軟件學(xué)報(bào);2009年05期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 吳邦雄;;250系統(tǒng)的運(yùn)行系統(tǒng)[J];通訊裝備;1978年03期

2 趙知友;市場(chǎng)經(jīng)濟(jì)的系統(tǒng)性及其宣傳要求[J];新疆新聞界;1993年04期

3 張小飛;;針對(duì)社區(qū)環(huán)境的軟件網(wǎng)絡(luò)化運(yùn)行系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];微計(jì)算機(jī)信息;2010年36期

4 劉文華;黃東軍;;航空公司現(xiàn)場(chǎng)運(yùn)行系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];現(xiàn)代計(jì)算機(jī);2006年11期

5 張磊;師衛(wèi);;軟PLC運(yùn)行系統(tǒng)的研究與實(shí)現(xiàn)[J];科技情報(bào)開發(fā)與經(jīng)濟(jì);2008年11期

6 王亞男;陳嬋娟;;軟PLC運(yùn)行系統(tǒng)的研究與實(shí)現(xiàn)[J];煤炭技術(shù);2012年02期

7 王平，，唐元;中國(guó)國(guó)民經(jīng)濟(jì)運(yùn)行系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];微型電腦應(yīng)用;1996年03期

8 趙萬(wàn)杰,羅慧;;對(duì)遠(yuǎn)距離教育運(yùn)行系統(tǒng)的探討[J];中國(guó)電化教育;1998年10期

9 賀桂香;;北京紫金橋?qū)崟r(shí)數(shù)據(jù)運(yùn)行系統(tǒng)在煉油廠的應(yīng)用[J];自動(dòng)化應(yīng)用;2011年07期

10 林偉璐,錢宇,李秀喜,鄭秀玉;化工過(guò)程集成運(yùn)行系統(tǒng)的研究[J];化工自動(dòng)化及儀表;2000年01期

相關(guān)會(huì)議論文 前5條

1 李秀喜;錢宇;黃啟明;林偉璐;;化工過(guò)程集成運(yùn)行系統(tǒng)平臺(tái)的研究與開發(fā)[A];過(guò)程系統(tǒng)工程2001年會(huì)論文集[C];2001年

2 芮鈞;徐潔;李永紅;鄭健兵;趙宇;高磊;;基于一體化管控平臺(tái)的智能水電廠經(jīng)濟(jì)運(yùn)行系統(tǒng)構(gòu)建[A];2013年電力系統(tǒng)自動(dòng)化專委會(huì)年會(huì)論文[C];2013年

3 沈永春;張功鍍;;可編程控制器運(yùn)行系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[A];中國(guó)儀器儀表學(xué)會(huì)2007學(xué)術(shù)年會(huì)智能檢測(cè)控制技術(shù)及儀表裝置發(fā)展研討會(huì)論文集[C];2007年

4 戚明浩;沈?qū)W軍;;優(yōu)化運(yùn)行系統(tǒng)對(duì)鍋爐節(jié)能調(diào)節(jié)的指導(dǎo)作用分析和探討[A];第七屆電力工業(yè)節(jié)能減排學(xué)術(shù)研討會(huì)論文集[C];2012年

5 曹春華;;對(duì)城市規(guī)劃運(yùn)行機(jī)制的思考[A];中國(guó)城市規(guī)劃學(xué)會(huì)2002年年會(huì)論文集[C];2002年

相關(guān)重要報(bào)紙文章 前10條

1 通訊員 許萍萍;煉油與化工運(yùn)行系統(tǒng)落戶遼河石化[N];中國(guó)石油報(bào);2009年

2 記者 王正喜;徐州經(jīng)濟(jì)技術(shù)開發(fā)區(qū)行政權(quán)力網(wǎng)上公開運(yùn)行系統(tǒng)開通[N];徐州日?qǐng)?bào);2010年

3 吳建榮;大慶政務(wù)公開運(yùn)行系統(tǒng)全面開通[N];中國(guó)紀(jì)檢監(jiān)察報(bào);2006年

4 曲先中 唐毓;鍵盤一敲效率高 鼠標(biāo)一點(diǎn)成本減[N];中國(guó)石化報(bào);2007年

5 記者 馮作文;蘭州石化MES系統(tǒng)上線運(yùn)行[N];中國(guó)石油報(bào);2007年

6 肖紅軍 山西高平市建寧煤礦礦長(zhǎng);培育憂患意識(shí) 建設(shè)安全文化[N];雞西日?qǐng)?bào);2008年

7 記者 馮燕平;IT小企業(yè)撬動(dòng)農(nóng)業(yè)信息化大市場(chǎng)[N];呼和浩特日?qǐng)?bào)(漢);2011年

8 黃靜;我區(qū)率全市之先建立網(wǎng)上政務(wù)大廳[N];溫州日?qǐng)?bào);2011年

9 邰季;為群眾辦事提供便捷優(yōu)質(zhì)服務(wù)[N];中國(guó)紀(jì)檢監(jiān)察報(bào);2012年

10 本報(bào)記者 張中寶　實(shí)習(xí)生 李艾穎;乘客為何不買公交卡的賬[N];海南日?qǐng)?bào);2011年

相關(guān)博士學(xué)位論文 前1條

1 吳志輝;化工過(guò)程計(jì)算機(jī)集成運(yùn)行系統(tǒng)及實(shí)驗(yàn)平臺(tái)的研究與開發(fā)[D];華南理工大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 張羽;總部級(jí)煉油與化工生產(chǎn)運(yùn)行系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京交通大學(xué);2009年

2 王亞男;開放式數(shù)控系統(tǒng)軟PLC運(yùn)行系統(tǒng)的研究與開發(fā)[D];陜西科技大學(xué);2012年

3 張磊;基于PC的軟PLC運(yùn)行系統(tǒng)研究與實(shí)現(xiàn)[D];太原理工大學(xué);2008年

4 周建香;基于ARM的嵌入式軟PLC運(yùn)行系統(tǒng)設(shè)計(jì)[D];華南理工大學(xué);2010年

5 伊?xí)苑?編譯型PLC運(yùn)行系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東輕工業(yè)學(xué)院;2010年

6 田釗;基于一類混合Petri網(wǎng)的列車運(yùn)行系統(tǒng)中沖突因素的分析[D];鄭州大學(xué);2011年

7 高進(jìn);軟PLC運(yùn)行系統(tǒng)的研究[D];西華大學(xué);2010年

8 周清;基于混合Petri網(wǎng)的列車運(yùn)行系統(tǒng)中時(shí)間推理問(wèn)題的研究[D];鄭州大學(xué);2010年

9 侯一波;自適應(yīng)人機(jī)界面在生產(chǎn)運(yùn)行系統(tǒng)中的應(yīng)用[D];天津大學(xué);2009年

10 王靜思;基于語(yǔ)言轉(zhuǎn)換的嵌入式軟PLC系統(tǒng)的研究與設(shè)計(jì)[D];華中科技大學(xué);2011年

本文編號(hào)：1781834