當前已是大數(shù)據時代。隨著電子科技的不斷發(fā)展革新,各種數(shù)字設備層出不窮,極大的提高了人類的生產能力、生活質量。同時,在生產、生活過程中,人類把現(xiàn)實世界數(shù)據化、產生數(shù)據的能力也爆炸式提高。面對前所未有的如此巨大數(shù)據量,傳統(tǒng)計算機器和計算方法已經無法有效處理或存儲數(shù)據。于是工業(yè)界想到了整合現(xiàn)有計算資源、改變數(shù)據處理方法以期達到高效處理數(shù)據的目的。這就是大數(shù)據處理技術。谷歌,作為世界最大的搜索引擎公司,始終走在分布式系統(tǒng)和并行計算的前列,其三大論文奠定了大數(shù)據處理的基礎,從此開啟了大數(shù)據時代。目前,大數(shù)據處理系統(tǒng)分為批處理和實時處理系統(tǒng),開源代表分別是Apache Hadoop批處理框架和Apache Storm實時計算框架。Storm作為實時處理的典型代表擁有廣泛的客戶群體。本文總結大數(shù)據實時處理的各種技術,在總結其規(guī)律的基礎上,分析設計了一套基于計算拓撲策略的分布式實時計算框架。這個框架既具有一般分布式實時計算框架的特點和優(yōu)點,又能根據用戶計算拓撲靈活搭建計算環(huán)境,既滿足客戶分布式實時計算多樣性的需求,又提高了客戶開發(fā)、部署新應用的效率和可靠性。本論文圍繞靈活搭建計算拓撲為最終目的,逐步推... 

【文章來源】：山東大學山東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：103 頁

【學位級別】：碩士

【部分圖文】：

代碼物理組織結構


本文編號：3590248