發(fā)布時間：2022-01-15 08:09

　　當(dāng)前已是大數(shù)據(jù)時代。隨著電子科技的不斷發(fā)展革新,各種數(shù)字設(shè)備層出不窮,極大的提高了人類的生產(chǎn)能力、生活質(zhì)量。同時,在生產(chǎn)、生活過程中,人類把現(xiàn)實(shí)世界數(shù)據(jù)化、產(chǎn)生數(shù)據(jù)的能力也爆炸式提高。面對前所未有的如此巨大數(shù)據(jù)量,傳統(tǒng)計算機(jī)器和計算方法已經(jīng)無法有效處理或存儲數(shù)據(jù)。于是工業(yè)界想到了整合現(xiàn)有計算資源、改變數(shù)據(jù)處理方法以期達(dá)到高效處理數(shù)據(jù)的目的。這就是大數(shù)據(jù)處理技術(shù)。谷歌,作為世界最大的搜索引擎公司,始終走在分布式系統(tǒng)和并行計算的前列,其三大論文奠定了大數(shù)據(jù)處理的基礎(chǔ),從此開啟了大數(shù)據(jù)時代。目前,大數(shù)據(jù)處理系統(tǒng)分為批處理和實(shí)時處理系統(tǒng),開源代表分別是Apache Hadoop批處理框架和Apache Storm實(shí)時計算框架。Storm作為實(shí)時處理的典型代表擁有廣泛的客戶群體。本文總結(jié)大數(shù)據(jù)實(shí)時處理的各種技術(shù),在總結(jié)其規(guī)律的基礎(chǔ)上,分析設(shè)計了一套基于計算拓?fù)洳呗缘姆植际綄?shí)時計算框架。這個框架既具有一般分布式實(shí)時計算框架的特點(diǎn)和優(yōu)點(diǎn),又能根據(jù)用戶計算拓?fù)潇`活搭建計算環(huán)境,既滿足客戶分布式實(shí)時計算多樣性的需求,又提高了客戶開發(fā)、部署新應(yīng)用的效率和可靠性。本論文圍繞靈活搭建計算拓?fù)錇樽罱K目的,逐步推... 

【文章來源】：山東大學(xué)山東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：103 頁

【學(xué)位級別】：碩士

【部分圖文】：

代碼物理組織結(jié)構(gòu)


本文編號：3590248