【摘要】：近幾年來,大數(shù)據(jù)的浪潮席卷全球,這給信息科學(xué)帶來了新的挑戰(zhàn)和機(jī)遇.傳統(tǒng)的工具逐漸難以滿足目前企業(yè)的需求,如何有效地存儲(chǔ)與分析大規(guī)模的數(shù)據(jù),是當(dāng)今研究的熱點(diǎn)與重點(diǎn).首先闡述大數(shù)據(jù)的基本概念、4V特征,介紹了大數(shù)據(jù)的生命周期,并列舉了幾種數(shù)據(jù)處理模式與數(shù)據(jù)結(jié)構(gòu).文中歸納總結(jié)了目前針對(duì)大數(shù)據(jù)分析的硬件支持,介紹了幾種典型的大數(shù)據(jù)分析的系統(tǒng)技術(shù),例如Hadoop、Spark、Storm、Petuum等,并對(duì)這些典型的系統(tǒng)技術(shù)進(jìn)行了對(duì)比分析.最后簡(jiǎn)述了大數(shù)據(jù)分析在政府、教育、交通、醫(yī)療中的典型應(yīng)用.
[Abstract]:In recent years, big data's wave swept the world, which brought new challenges and opportunities to information science. Traditional tools are gradually difficult to meet the needs of enterprises. How to store and analyze large scale data effectively is the focus and focus of current research. Firstly, the basic concept of big data, the 4V characteristic, the life cycle of big data are introduced, and several data processing modes and data structures are listed. In this paper, the hardware support for big data analysis is summarized, and several typical system techniques of big data analysis, such as Hadoop,Spark,Storm,Petuum, are introduced, and these typical system techniques are compared and analyzed. At last, the typical application of big data analysis in government, education, transportation and medical treatment is briefly described.
【作者單位】： 華東師范大學(xué)計(jì)算機(jī)科學(xué)技術(shù)系;
【基金】：國(guó)家自然科學(xué)基金項(xiàng)目(61370175)資助 上海高校知識(shí)服務(wù)平臺(tái)基金項(xiàng)目(ZF1213)資助
【分類號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張文霖;;數(shù)據(jù)分析初體驗(yàn)[J];數(shù)據(jù);2013年05期

2 古福;;讓大數(shù)據(jù)分析更快速、更簡(jiǎn)化[J];互聯(lián)網(wǎng)周刊;2013年11期

3 于宗民;;數(shù)據(jù)分析應(yīng)用的最大障礙[J];中國(guó)金融電腦;2007年08期

4 魏巍巍;;論數(shù)據(jù)分析在企業(yè)經(jīng)營(yíng)管理中的重要性[J];產(chǎn)業(yè)與科技論壇;2012年12期

5 張文霖;;數(shù)據(jù)分析六步曲[J];數(shù)據(jù);2013年06期

6 戴未琰;;大數(shù)據(jù)分析概要[J];物聯(lián)網(wǎng)技術(shù);2013年08期

7 王海蘊(yùn);;大數(shù)據(jù)分析 市場(chǎng)成倍增長(zhǎng) 深耕空間巨大[J];財(cái)經(jīng)界;2013年10期

8 ;大數(shù)據(jù)分析系列3:大數(shù)據(jù)分析如何權(quán)衡存儲(chǔ)[J];電腦與電信;2013年10期

9 馬_";;對(duì)大數(shù)據(jù)分析相關(guān)問題的思考[J];信息通信技術(shù);2013年06期

10 ;數(shù)據(jù)分析3.0[J];董事會(huì);2014年01期

相關(guān)會(huì)議論文 前10條

1 申敏;;數(shù)據(jù)分析的原則和一般方法[A];2010年云南電力技術(shù)論壇論文集（文摘部分）[C];2010年

2 劉剛;;小學(xué)生數(shù)據(jù)分析觀念的培養(yǎng)[A];中華教育理論與實(shí)踐科研論文成果選編(第五卷)[C];2013年

3 石勇;;在銀行和金融數(shù)據(jù)分析中的評(píng)分方法[A];Data Analysis, Econo-physics and Risk Management--Proceedings of CCAST (World Laboratory) Workshop[C];2001年

4 吳一平;;基于數(shù)據(jù)分析的離校工作改進(jìn)[A];中國(guó)高等教育學(xué)會(huì)教育信息化分會(huì)第十二次學(xué)術(shù)年會(huì)論文集[C];2014年

5 呂大青;;送變電施工企業(yè)中數(shù)據(jù)分析的運(yùn)用[A];第二屆浙江中西部科技論壇論文集（第一卷）[C];2005年

6 李小花;李姝;;大數(shù)據(jù)分析在指揮信息系統(tǒng)中的應(yīng)用[A];2014第二屆中國(guó)指揮控制大會(huì)論文集（下）[C];2014年

7 范麗偉;唐煥文;唐一源;;空間獨(dú)立成分分析在fMRⅠ數(shù)據(jù)分析中的應(yīng)用[A];第九次全國(guó)生物物理大會(huì)學(xué)術(shù)會(huì)議論文摘要集[C];2002年

8 張軍;李婕;;中國(guó)國(guó)民休閑狀態(tài)變化研究——基于網(wǎng)上數(shù)據(jù)分析[A];第十五屆全國(guó)區(qū)域旅游學(xué)術(shù)開發(fā)研討會(huì)暨度假旅游論壇論文冊(cè)[C];2010年

9 徐小龍;王汝傳;姜波;;一種新的基于P2P的電信海量數(shù)據(jù)分析業(yè)務(wù)模式[A];普適計(jì)算及其軟件新技術(shù)——第三屆長(zhǎng)三角計(jì)算機(jī)科技論壇文集[C];2006年

10 邵東華;;高速公路的平面控制復(fù)測(cè)與數(shù)據(jù)分析[A];第四屆“測(cè)繪科學(xué)前沿技術(shù)論壇”論文精選[C];2012年

相關(guān)重要報(bào)紙文章 前10條

1 匿銘;數(shù)據(jù)分析的“磨刀階段”[N];中華讀書報(bào);2013年

2 胡英;澳發(fā)布政府可信數(shù)據(jù)分析指導(dǎo)草案[N];人民郵電;2014年

3 鄭愛民;陜西加強(qiáng)消費(fèi)維權(quán)數(shù)據(jù)分析利用[N];中國(guó)工商報(bào);2014年

4 本報(bào)駐美國(guó)記者 吳成良;“數(shù)據(jù)分析”成了“金飯碗”[N];人民日?qǐng)?bào);2014年

5 本報(bào)記者 楊群;大數(shù)據(jù)分析亮出專家的“自貿(mào)研判”[N];解放日?qǐng)?bào);2014年

6 周桂生　湯建國(guó);數(shù)據(jù)分析行業(yè)登陸湖南,帶來巨大商機(jī)[N];中國(guó)企業(yè)報(bào);2008年

7 朱文明 甫瀚公司咨詢專家;數(shù)據(jù)分析提升決策智慧[N];中國(guó)審計(jì)報(bào);2009年

8 ;國(guó)采中心空調(diào)協(xié)議供貨數(shù)據(jù)分析[N];政府采購(gòu)信息報(bào);2010年

9 武虹 審計(jì)署駐沈陽(yáng)特派辦;以數(shù)據(jù)分析為統(tǒng)領(lǐng)開展數(shù)字化審計(jì)工作[N];中國(guó)審計(jì)報(bào);2012年

10 杰弗尼;行走在大數(shù)據(jù)分析誤區(qū)旁的零售商[N];中國(guó)商報(bào);2013年

相關(guān)博士學(xué)位論文 前6條

1 劉岳;區(qū)域地球化學(xué)數(shù)據(jù)分析及成礦信息融合模型研究[D];中國(guó)地質(zhì)大學(xué);2015年

2 董媛香;基于軟集合的不完備不一致數(shù)據(jù)分析及決策方法研究[D];重慶大學(xué);2014年

3 張睿;數(shù)據(jù)分析在污染控制領(lǐng)域的節(jié)能優(yōu)化應(yīng)用[D];中國(guó)科學(xué)技術(shù)大學(xué);2014年

4 陳宜治;函數(shù)型數(shù)據(jù)分析若干方法及應(yīng)用[D];浙江工商大學(xué);2011年

5 郭廣報(bào);基于并行統(tǒng)計(jì)計(jì)算的金融數(shù)據(jù)分析[D];山東大學(xué);2012年

6 孫建強(qiáng);生物磁共振數(shù)據(jù)分析中的幾個(gè)問題[D];中國(guó)科學(xué)院研究生院（武漢物理與數(shù)學(xué)研究所）;2014年

相關(guān)碩士學(xué)位論文 前10條

1 丁國(guó)輝;核磁共振數(shù)據(jù)分析中的兩個(gè)問題[D];中國(guó)科學(xué)院研究生院(武漢物理與數(shù)學(xué)研究所);2015年

2 張清;面向精準(zhǔn)廣告投放的數(shù)據(jù)分析與可視化系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2015年

3 周徐;基于分層采樣的DeepWeb數(shù)據(jù)分析方法研究[D];蘇州大學(xué);2015年

4 王佳琦;糾正性反饋對(duì)高中生英語(yǔ)冠詞習(xí)得的影響[D];內(nèi)蒙古師范大學(xué);2015年

5 顧星竹;基于Hadoop的PCF系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2014年

6 張海洋;大數(shù)據(jù)的統(tǒng)計(jì)分析技術(shù)比較研究[D];南京大學(xué);2014年

7 扎娟娟;銀保通管理系統(tǒng)的構(gòu)建與實(shí)施[D];電子科技大學(xué);2014年

8 關(guān)晨靜;高中生英語(yǔ)跨文化交際能力的調(diào)查研究[D];江西師范大學(xué);2015年

9 艾熙;銀行客戶關(guān)系管理系統(tǒng)的研究與分析[D];云南大學(xué);2015年

10 陳慶來;初中生數(shù)據(jù)分析觀念的培養(yǎng)策略研究[D];江蘇師范大學(xué);2014年

，

本文編號(hào)：2374541