本文選題：云計(jì)算 + 并行計(jì)算�。� 參考：《湖北工業(yè)大學(xué)》2017年碩士論文

【摘要】：大數(shù)據(jù)是互聯(lián)網(wǎng)時(shí)代產(chǎn)生的格式各異、結(jié)構(gòu)各不相同的數(shù)據(jù)的統(tǒng)稱,具有數(shù)據(jù)量極大的特點(diǎn)。隨著互聯(lián)網(wǎng)在各個(gè)領(lǐng)域的深入普及,大數(shù)據(jù)產(chǎn)生的速度越來越快,呈現(xiàn)指數(shù)增長。近年來,人們將目光投放到云計(jì)算技術(shù)上,通過將計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)技術(shù)結(jié)合,引入新的云計(jì)算技術(shù),解決大數(shù)據(jù)的處理問題。分布式計(jì)算(Distributed Computing)是將數(shù)量級大的工程數(shù)據(jù)劃分成若干個(gè)小分塊,由多個(gè)計(jì)算機(jī)即計(jì)算節(jié)點(diǎn)分別來計(jì)算后將運(yùn)算結(jié)果進(jìn)行上傳,最終把結(jié)果進(jìn)行合并從而得出統(tǒng)一的數(shù)據(jù)結(jié)論的計(jì)算過程。并行計(jì)算(Parallel Computing)指的是將一個(gè)總的計(jì)算任務(wù)劃分成多個(gè)子分塊,在具備了并行處理能力的計(jì)算節(jié)點(diǎn)上,分配給不同的處理器,各處理器之間遵循調(diào)配機(jī)制并行地執(zhí)行子分塊任務(wù),最終達(dá)到提升計(jì)算規(guī)�；蛘咛岣哂�(jì)算速度的目的。在本設(shè)計(jì)中利用的是Hadoop分布式架構(gòu),其主要由3個(gè)子項(xiàng)目組成:MapReduce(編程模型和軟件框架,用于在大規(guī)模計(jì)算機(jī)集群上編寫對大數(shù)據(jù)進(jìn)行快速處理的并行化程序)、HDFS(構(gòu)建于廉價(jià)計(jì)算機(jī)集群之上的分布式文件系統(tǒng))和Hadoop Common(為整體架構(gòu)提供基礎(chǔ)支撐功能)。著重研究了MapReduce處理框架并建立了一個(gè)能夠?qū)?shù)據(jù)進(jìn)行可靠處理的分布式系統(tǒng)平臺(tái),使其以分布式并行工作方式加快處理速度,從而體現(xiàn)出其在云計(jì)算應(yīng)用中處理大量數(shù)據(jù)時(shí)的優(yōu)勢。最終通過程序測試來了分析MapReduce框架在數(shù)據(jù)處理中的流程及特點(diǎn)。
[Abstract]:Big data is a general term for data with different formats and different structures in the Internet era, which has the characteristics of great amount of data. With the popularization of the Internet in various fields, big data is producing more and more quickly, showing exponential growth. In recent years, people focus on cloud computing technology, through the combination of computer technology and Internet technology, the introduction of new cloud computing technology, to solve the problem of big data processing. Distributed Computing is to divide the large order of magnitude engineering data into a number of small blocks, by a number of computers, that is, computing nodes to calculate, and then upload the results of the calculation. Finally, the process of combining the results to get a unified data conclusion. Parallel Computing refers to the division of a total computing task into multiple sub-blocks, which are assigned to different processors on computing nodes with parallel processing capabilities, and each processor performs sub-block tasks in parallel according to the deployment mechanism. Finally, the purpose of raising the scale of calculation or increasing the speed of calculation is achieved. In this design, Hadoop distributed architecture is used, which is composed of three sub-projects: MapReduce (programming model and software framework). Big data (distributed file system built on cheap computer cluster) and Hadoop Common (to provide basic supporting function for the whole architecture) are used to write parallelization programs for fast processing of big data on large scale computer clusters. In this paper, the MapReduce processing framework is studied and a distributed system platform is set up to process the data reliably, so that it can work in a distributed parallel way to speed up the processing. This reflects its advantage in cloud computing applications when dealing with a large number of data. Finally, the process and characteristics of MapReduce framework in data processing are analyzed by program test.
【學(xué)位授予單位】：湖北工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP338

【參考文獻(xiàn)】

相關(guān)期刊論文 前5條

1 吳昊;倪志偉;王會(huì)穎;;基于MapReduce的蟻群算法[J];計(jì)算機(jī)集成制造系統(tǒng);2012年07期

2 羅軍舟;金嘉暉;宋愛波;東方;;云計(jì)算:體系架構(gòu)與關(guān)鍵技術(shù)[J];通信學(xué)報(bào);2011年07期

3 ;Cloud Computing: Concept, Model, and Key Technologies[J];ZTE Communications;2010年04期

4 陳康;鄭緯民;;云計(jì)算:系統(tǒng)實(shí)例與研究現(xiàn)狀[J];軟件學(xué)報(bào);2009年05期

5 周鋒;李旭偉;;一種改進(jìn)的MapReduce并行編程模型[J];科協(xié)論壇(下半月);2009年02期

相關(guān)博士學(xué)位論文 前5條

1 王冰;人工蜂群算法的改進(jìn)及相關(guān)應(yīng)用的研究[D];北京理工大學(xué);2015年

2 駱濤;面向大數(shù)據(jù)處理的并行計(jì)算模型及性能優(yōu)化[D];中國科學(xué)技術(shù)大學(xué);2015年

3 熊霖;大數(shù)據(jù)下的數(shù)據(jù)選擇與學(xué)習(xí)算法研究[D];西安電子科技大學(xué);2015年

4 林文輝;基于Hadoop的海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺(tái)的關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2014年

5 吳昊;云計(jì)算環(huán)境下智能優(yōu)化算法及其在SaaS中的應(yīng)用研究[D];合肥工業(yè)大學(xué);2013年

相關(guān)碩士學(xué)位論文 前7條

1 楊文奇;基于MapRedcue的大規(guī)模柵格數(shù)據(jù)空間分析算法并行化研究[D];江西理工大學(xué);2013年

2 李勛;基于hilbert劃分的并行矢量數(shù)據(jù)索引算法研究[D];電子科技大學(xué);2013年

3 楊彬;基于Windows Phone的交通管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];江西理工大學(xué);2012年

4 張廣弟;分布式環(huán)境下海量空間數(shù)據(jù)的存儲(chǔ)和并行查詢技術(shù)研究[D];江西理工大學(xué);2012年

5 陳飛輪;基于MapReduce的VoR-Tree索引并行構(gòu)建技術(shù)研究[D];江西理工大學(xué);2012年

6 楊玲;面向云計(jì)算的MapReduce并行編程模式的研究與應(yīng)用[D];湖南大學(xué);2011年

7 鄭紹輝;硬件虛擬機(jī)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2008年

，

本文編號(hào)：2112367