用于大規(guī)模數(shù)據(jù)處理的流式計算平臺,可以實時、分布式的對數(shù)據(jù)進行處理,具有操作簡單、高效等特點,已應(yīng)用于各行各業(yè)。Apache Storm作為一款開源、分布式、實時處理的高容錯大數(shù)據(jù)流式計算平臺,存在高能耗問題。為了更好的解決Storm平臺在進行數(shù)據(jù)處理過程中的高能耗低效率問題,本文在Storm平臺基本構(gòu)架及處理模式的基礎(chǔ)上,對一系列概念進行了定義,提出了拓撲邏輯關(guān)系圖、關(guān)鍵路徑、關(guān)鍵路徑數(shù)據(jù)處理成本、性耗比及數(shù)據(jù)傳輸量與CPU使用率閾值選擇等模型。在此基礎(chǔ)上提出一種針對Storm平臺的工作節(jié)點節(jié)能調(diào)控策略,該策略針對拓撲執(zhí)行不同路徑上的工作節(jié)點實施不同的節(jié)能策略。針對拓撲執(zhí)行關(guān)鍵路徑工作節(jié)點,提出了工作節(jié)點內(nèi)存電壓調(diào)控策略（Energy-efficient Strategy by adjusting the DRAM voltage of work nodes in critical path,EACP）,在性耗比模型的約束下,對系統(tǒng)數(shù)據(jù)處理及CPU使用情況進行判斷,通過對工作節(jié)點內(nèi)存電壓進行調(diào)控達到節(jié)能的目的;針對拓撲執(zhí)行非關(guān)鍵路徑工作節(jié)點,提出了工作節(jié)點CPU電壓調(diào)控策略（Ener... 

【文章來源】：新疆大學新疆維吾爾自治區(qū) 211工程院校

【文章頁數(shù)】：52 頁

【學位級別】：碩士

【部分圖文】：

Storm系統(tǒng)架構(gòu)

圖 3-1 拓撲邏輯關(guān)系圖 3-2 拓撲執(zhí)行并行度。在 Storm 中可以通過設(shè)置組件的運行實執(zhí)行并行度。其中每個線程執(zhí)行一個實例，每個 Spout/Bolt 組個或多個線程。對于 vi∈Vp， Ei={ei1,ei2,…,eij,…,| |piVe }，其中 集合，線程集合中的每個元素均是組件 vi所運行的線程，eij為 vi。當組件所設(shè)置的運行實例數(shù)為 1 時，組件中只運行一個線程，即 所示，其中線程集合{ed1,ed2,ed3}是組件 vd的所有線程。

圖 3-1 拓撲邏輯關(guān)系圖 3-2 拓撲執(zhí)行并行度。在 Storm 中可以通過設(shè)置組件的運行實執(zhí)行并行度。其中每個線程執(zhí)行一個實例，每個 Spout/Bolt 組個或多個線程。對于 vi∈Vp， Ei={ei1,ei2,…,eij,…,| |piVe }，其中 集合，線程集合中的每個元素均是組件 vi所運行的線程，eij為 vi。當組件所設(shè)置的運行實例數(shù)為 1 時，組件中只運行一個線程，即 所示，其中線程集合{ed1,ed2,ed3}是組件 vd的所有線程。

【參考文獻】：
期刊論文
[1]大數(shù)據(jù)流式計算框架Heron環(huán)境下的流分類任務(wù)調(diào)度策略[J]. 張譯天,于炯,魯亮,李梓楊.  計算機應(yīng)用. 2019(04)
[2]Storm環(huán)境下基于拓撲結(jié)構(gòu)的任務(wù)調(diào)度策略[J]. 劉粟,于炯,魯亮,李梓楊.  計算機應(yīng)用. 2018(12)
[3]大數(shù)據(jù)流式計算框架Storm的任務(wù)遷移策略[J]. 魯亮,于炯,卞琛,劉月超,廖彬,李慧娟.  計算機研究與發(fā)展. 2018(01)
[4]MapReduce能耗建模及優(yōu)化分析[J]. 廖彬,張?zhí)?于炯,尹路通,郭剛,國冰磊.  計算機研究與發(fā)展. 2016(09)
[5]溫度感知的MapReduce節(jié)能任務(wù)調(diào)度策略[J]. 廖彬,張?zhí)?于炯,劉繼,尹路通,郭剛.  通信學報. 2016(01)
[6]適應(yīng)節(jié)能與異構(gòu)環(huán)境的MapReduce數(shù)據(jù)布局策略[J]. 廖彬,張?zhí)?于炯,劉繼,鐘磊,劉炎.  中山大學學報(自然科學版). 2015(06)
[7]大數(shù)據(jù)流式計算:關(guān)鍵技術(shù)及系統(tǒng)實例[J]. 孫大為,張廣艷,鄭緯民.  軟件學報. 2014(04)
[8]2013年數(shù)據(jù)中心能效現(xiàn)狀深度分析[J]. 呂天文.  電源世界. 2013(06)
[9]基于分布式文件系統(tǒng)HDFS的節(jié)能算法[J]. 廖彬,于炯,張?zhí)?楊興耀.  計算機學報. 2013(05)
[10]基于存儲結(jié)構(gòu)重配置的分布式存儲系統(tǒng)節(jié)能算法[J]. 廖彬,于炯,孫華,年梅.  計算機研究與發(fā)展. 2013(01)



本文編號：2954752