【摘要】：近幾年來,大數據的浪潮席卷全球,這給信息科學帶來了新的挑戰(zhàn)和機遇.傳統的工具逐漸難以滿足目前企業(yè)的需求,如何有效地存儲與分析大規(guī)模的數據,是當今研究的熱點與重點.首先闡述大數據的基本概念、4V特征,介紹了大數據的生命周期,并列舉了幾種數據處理模式與數據結構.文中歸納總結了目前針對大數據分析的硬件支持,介紹了幾種典型的大數據分析的系統技術,例如Hadoop、Spark、Storm、Petuum等,并對這些典型的系統技術進行了對比分析.最后簡述了大數據分析在政府、教育、交通、醫(yī)療中的典型應用.
[Abstract]:In recent years, big data's wave swept the world, which brought new challenges and opportunities to information science. Traditional tools are gradually difficult to meet the needs of enterprises. How to store and analyze large scale data effectively is the focus and focus of current research. Firstly, the basic concept of big data, the 4V characteristic, the life cycle of big data are introduced, and several data processing modes and data structures are listed. In this paper, the hardware support for big data analysis is summarized, and several typical system techniques of big data analysis, such as Hadoop,Spark,Storm,Petuum, are introduced, and these typical system techniques are compared and analyzed. At last, the typical application of big data analysis in government, education, transportation and medical treatment is briefly described.
【作者單位】： 華東師范大學計算機科學技術系;
【基金】：國家自然科學基金項目(61370175)資助 上海高校知識服務平臺基金項目(ZF1213)資助
【分類號】：TP311.13

【相似文獻】

相關期刊論文 前10條

1 張文霖;;數據分析初體驗[J];數據;2013年05期

2 古福;;讓大數據分析更快速、更簡化[J];互聯網周刊;2013年11期

3 于宗民;;數據分析應用的最大障礙[J];中國金融電腦;2007年08期

4 魏巍巍;;論數據分析在企業(yè)經營管理中的重要性[J];產業(yè)與科技論壇;2012年12期

5 張文霖;;數據分析六步曲[J];數據;2013年06期

6 戴未琰;;大數據分析概要[J];物聯網技術;2013年08期

7 王海蘊;;大數據分析 市場成倍增長 深耕空間巨大[J];財經界;2013年10期

8 ;大數據分析系列3:大數據分析如何權衡存儲[J];電腦與電信;2013年10期

9 馬_";;對大數據分析相關問題的思考[J];信息通信技術;2013年06期

10 ;數據分析3.0[J];董事會;2014年01期

相關會議論文 前10條

1 申敏;;數據分析的原則和一般方法[A];2010年云南電力技術論壇論文集（文摘部分）[C];2010年

2 劉剛;;小學生數據分析觀念的培養(yǎng)[A];中華教育理論與實踐科研論文成果選編(第五卷)[C];2013年

3 石勇;;在銀行和金融數據分析中的評分方法[A];Data Analysis, Econo-physics and Risk Management--Proceedings of CCAST (World Laboratory) Workshop[C];2001年

4 吳一平;;基于數據分析的離校工作改進[A];中國高等教育學會教育信息化分會第十二次學術年會論文集[C];2014年

5 呂大青;;送變電施工企業(yè)中數據分析的運用[A];第二屆浙江中西部科技論壇論文集（第一卷）[C];2005年

6 李小花;李姝;;大數據分析在指揮信息系統中的應用[A];2014第二屆中國指揮控制大會論文集（下）[C];2014年

7 范麗偉;唐煥文;唐一源;;空間獨立成分分析在fMRⅠ數據分析中的應用[A];第九次全國生物物理大會學術會議論文摘要集[C];2002年

8 張軍;李婕;;中國國民休閑狀態(tài)變化研究——基于網上數據分析[A];第十五屆全國區(qū)域旅游學術開發(fā)研討會暨度假旅游論壇論文冊[C];2010年

9 徐小龍;王汝傳;姜波;;一種新的基于P2P的電信海量數據分析業(yè)務模式[A];普適計算及其軟件新技術——第三屆長三角計算機科技論壇文集[C];2006年

10 邵東華;;高速公路的平面控制復測與數據分析[A];第四屆“測繪科學前沿技術論壇”論文精選[C];2012年

相關重要報紙文章 前10條

1 匿銘;數據分析的“磨刀階段”[N];中華讀書報;2013年

2 胡英;澳發(fā)布政府可信數據分析指導草案[N];人民郵電;2014年

3 鄭愛民;陜西加強消費維權數據分析利用[N];中國工商報;2014年

4 本報駐美國記者 吳成良;“數據分析”成了“金飯碗”[N];人民日報;2014年

5 本報記者 楊群;大數據分析亮出專家的“自貿研判”[N];解放日報;2014年

6 周桂生　湯建國;數據分析行業(yè)登陸湖南,帶來巨大商機[N];中國企業(yè)報;2008年

7 朱文明 甫瀚公司咨詢專家;數據分析提升決策智慧[N];中國審計報;2009年

8 ;國采中心空調協議供貨數據分析[N];政府采購信息報;2010年

9 武虹 審計署駐沈陽特派辦;以數據分析為統領開展數字化審計工作[N];中國審計報;2012年

10 杰弗尼;行走在大數據分析誤區(qū)旁的零售商[N];中國商報;2013年

相關博士學位論文 前6條

1 劉岳;區(qū)域地球化學數據分析及成礦信息融合模型研究[D];中國地質大學;2015年

2 董媛香;基于軟集合的不完備不一致數據分析及決策方法研究[D];重慶大學;2014年

3 張睿;數據分析在污染控制領域的節(jié)能優(yōu)化應用[D];中國科學技術大學;2014年

4 陳宜治;函數型數據分析若干方法及應用[D];浙江工商大學;2011年

5 郭廣報;基于并行統計計算的金融數據分析[D];山東大學;2012年

6 孫建強;生物磁共振數據分析中的幾個問題[D];中國科學院研究生院（武漢物理與數學研究所）;2014年

相關碩士學位論文 前10條

1 丁國輝;核磁共振數據分析中的兩個問題[D];中國科學院研究生院(武漢物理與數學研究所);2015年

2 張清;面向精準廣告投放的數據分析與可視化系統設計與實現[D];山東大學;2015年

3 周徐;基于分層采樣的DeepWeb數據分析方法研究[D];蘇州大學;2015年

4 王佳琦;糾正性反饋對高中生英語冠詞習得的影響[D];內蒙古師范大學;2015年

5 顧星竹;基于Hadoop的PCF系統的設計與實現[D];南京大學;2014年

6 張海洋;大數據的統計分析技術比較研究[D];南京大學;2014年

7 扎娟娟;銀保通管理系統的構建與實施[D];電子科技大學;2014年

8 關晨靜;高中生英語跨文化交際能力的調查研究[D];江西師范大學;2015年

9 艾熙;銀行客戶關系管理系統的研究與分析[D];云南大學;2015年

10 陳慶來;初中生數據分析觀念的培養(yǎng)策略研究[D];江蘇師范大學;2014年

，

本文編號：2374541