Hadoop通過MapReduce實現(xiàn)了一種分布式處理機制,成為處理大數(shù)據(jù)問題的首選工具。Hadoop平臺通過簡單的編程接口實現(xiàn)合理的作業(yè)調(diào)度。作業(yè)調(diào)度負(fù)責(zé)集群內(nèi)的計算資源以及作業(yè)的調(diào)度執(zhí)行。作業(yè)調(diào)度技術(shù)影響Hadoop平臺的性能以及系統(tǒng)中資源利用率。合理的調(diào)度算法能有效提高系統(tǒng)處理作業(yè)的效率。因此,本文重點研究作業(yè)調(diào)度算法,首先進行作業(yè)優(yōu)先級的優(yōu)化,并在此基礎(chǔ)上根據(jù)任務(wù)的負(fù)載情況進行合適的任務(wù)調(diào)度。為了滿足不同用戶的需求,搭建Hadoop集群對動態(tài)優(yōu)先級的混合任務(wù)調(diào)度策略進行改進,改進后的方法通過作業(yè)靜態(tài)優(yōu)先級,作業(yè)的任務(wù)價值以及作業(yè)的預(yù)計完成時間三個參數(shù),從多維度計算出作業(yè)的新的優(yōu)先級,按優(yōu)先級的高低進行資源分配,解決了資源分配不均導(dǎo)致緊急任務(wù)得不到處理的問題,提高系統(tǒng)性能。隨著時間的改變作業(yè)的優(yōu)先級會發(fā)生動態(tài)變化,一個作業(yè)運行完成后重新遍歷作業(yè)隊列選擇新的作業(yè)。針對Hadoop集群在默認(rèn)的任務(wù)調(diào)度策略下,產(chǎn)生大量的非本地任務(wù),增加網(wǎng)絡(luò)傳輸時間,影響作業(yè)的平均運行時間,降低Hadoop系統(tǒng)資源利用率的問題,提出一種負(fù)載均衡的任務(wù)調(diào)度策略。在該方法中,如若節(jié)點的本地任務(wù)預(yù)計完成時間小... 

【文章來源】：沈陽工業(yè)大學(xué)遼寧省

【文章頁數(shù)】：64 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖１．１云計算平臺??Ｆｉｇ．?１．１?Ｃｌｏｕｄ?ｃｏｍｐｕｔｉｎｇ?ｐｌａｔｆｏｒｍ??［３］

?沈陽工業(yè)大學(xué)碩士論文???服務(wù)，該服務(wù)需要得到管理系統(tǒng)的驗證，驗證通過后系統(tǒng)會找到相應(yīng)的服務(wù)資源，用??工具挖掘服務(wù)云中的資源返回給用戶。在用戶向云平臺發(fā)送請求服務(wù)之前需要配置正??確的服務(wù)站或者ｗｅｂ應(yīng)用。??根據(jù)當(dāng)前云計算方面的發(fā)展與研宄，可以構(gòu)造一個云計算基本體系結(jié)構(gòu)，如圖２．１??所示。??／＊??用戶訪問接口??Ｖ．?Ｊ??Ａ??｜?Ｉ?軟件即服務(wù)?｜?ｆ?Ｊ??Ｓｅｒｖｅｒ?１?Ｓｅｒｖｅｒ?ｎ?；?－１??ｉ?梭?Ｌ?Ｊ?ｉ??ｉ?心?Ｊ?、?ＶＩ??？：?Ｉ???｜??！?務(wù)廣?平臺即服務(wù)?＾＼ｉ??Ｉ?雲(yún)??！?丨?丨?｜??ｉ?ｒ＾ｎ?＾??！?ｖ?丨丨?Ｊ??ｊ?！??丨廠基礎(chǔ)設(shè)施即服務(wù)??虛擬化服務(wù)?Ｉ??［?１?■■?■；??管??Ｉ?｜網(wǎng)絡(luò)資源?計算節(jié)點—?ｍ??卜１?１１??Ｊ??圖２．１云計算體系架構(gòu)??Ｆｉｇ．?２．１?Ｃｌｏｕｄ?ｃｏｍｐｕｔｉｎｇ?ａｒｃｈｉｔｅｃｔｕｒｅ??云計算核心服務(wù)層的組成包括基礎(chǔ)設(shè)施即服務(wù)層，平臺即服務(wù)層和軟件即服務(wù)層??＿。??（１）基礎(chǔ)設(shè)施即服務(wù)層（ＩａａＳ）。用戶在特定的位置（如辦公室）或通過網(wǎng)站使??用企業(yè)的應(yīng)用，應(yīng)用需要購買服務(wù)器或硬件來控制，基礎(chǔ)設(shè)施即服務(wù)層的出現(xiàn)，用戶??可以租用服務(wù)器和硬件設(shè)施來獲得各種算資源，為用戶提供方便的同時還節(jié)約成本。??ＩａａＳ基礎(chǔ)設(shè)施即服務(wù)利用虛擬化技術(shù)合理分配資源，使服務(wù)具有高可靠性［４１］�；A(chǔ)設(shè)??施即服務(wù)最具代表性的服務(wù)是云存儲。同時基礎(chǔ)設(shè)施即服務(wù)可以支持系統(tǒng)分布式存儲，??關(guān)系數(shù)據(jù)庫等應(yīng)用程序。??（２）平臺即服務(wù)（ＰａａＳ）

?第２章云計算技術(shù)和Ｈａｄｏｏｐ平臺???作單元即任務(wù)，各個計算節(jié)點對分配的任務(wù)進行處理，可以把一個作業(yè)分成一個或者??多個任務(wù)。將處理完的任務(wù)存儲于分布式文件系統(tǒng)中。Ｈａｄｏｏｐ總體架構(gòu)如圖２．２所示。??ＮａｍｅＮｏｄｅ?）??二二二一??分塊選職??個?＼??Ｑｑ?ＬＨＵ?□?ｎ??ＥＪ＾Ｊ?ＬＪＵ＾ＬＪ??ｗｒｉｔｅ?ｗｒｉｔｅ??圖２．２?ＨＤＦＳ總體架構(gòu)示意圖??Ｆｉｇ．?２．２?Ｓｃｈｅｍａｔｉｃ?ｄｉａｇｒａｍ?ｏｆ?ｔｈｅ?ｏｖｅｒａｌｌ?ＨＤＦＳ?ａｒｃｈｉｔｅｃｔｕｒｅ??２．?３．?２?ＭａｐＲｅｄｕｃｅ?計算框架??規(guī)模性，多樣性和髙速性的特性促進大數(shù)據(jù)更加快速的發(fā)展。大數(shù)據(jù)的計算依賴??于批處理計算模型。谷歌提出的ＭａｐＲｅｄｕｃｅ編程框架支持髙效的大規(guī)模計算。Ｍａｐ??階段和Ｒｅｄｕｃｅ階段的連接依賴于Ｓｈｕｆｆｌｅ機制。Ｓｈｕｆｆｌｅ機制的工作原理是把在Ｍａｐ任??務(wù)中處理完的作業(yè)拉取到Ｒｅｄｕｃｅ任務(wù)執(zhí)行之前。Ｓｈｕｆｆｌｅ機制包括分塊，拷貝和排序代??三個不同的階段。ＭａｐＲｅｄｕｃｅ中的兩個重要功能是Ｍａｐ階段和Ｒｅｄｕｃｅ階段。輸入數(shù)??據(jù)集被分成默認(rèn)大小的獨立塊。Ｍａｐ函數(shù)將數(shù)據(jù)塊轉(zhuǎn)換為中間值，將中間值＜ｋｅｙ／Ｖａｌｕｅ＞??對存放在一個列表中。一個映射過程可以獨立地處理一個輸入數(shù)據(jù)塊。然后，按鍵收??集和排序總中間值＜ｋｅｙ／ｖａｌｕｅ＞對，Ｒｅｄｕｃｅ函數(shù)將相同的中間值匯集到一起，進行有效??的整合，使數(shù)據(jù)集達到最小化。大型集群可以通過ＭａｐＲｅｄｕｃｅ框架進行高效排序，同??時，利用ＭａｐＲｅｄｕｃｅ函數(shù)優(yōu)化了大數(shù)據(jù)處理系統(tǒng)的整體存儲性能，使大數(shù)據(jù)信息的

【參考文獻】：
期刊論文
[1]云計算系統(tǒng)可靠性研究綜述[J]. 段文雪,胡銘,周瓊,吳庭明,周俊龍,劉曉,魏同權(quán),陳銘松.  計算機研究與發(fā)展. 2020(01)
[2]構(gòu)建和維護多云安全的策略[J]. 胡立.  計算機與網(wǎng)絡(luò). 2019(20)
[3]深入淺出云計算[J]. 靳建平,李敏.  信息與電腦(理論版). 2019(16)
[4]大數(shù)據(jù)時代云計算關(guān)鍵技術(shù)研究[J]. 王瑞琦,李明明,宋志勇,閆姣,馮勇.  數(shù)字通信世界. 2018(09)
[5]云計算技術(shù)發(fā)展分析及其應(yīng)用[J]. 馬原.  電子技術(shù)與軟件工程. 2017(18)
[6]基于云計算的基礎(chǔ)設(shè)施云服務(wù)平臺設(shè)計和實現(xiàn)[J]. 潘正輝.  電子技術(shù)與軟件工程. 2017(15)
[7]云計算和云數(shù)據(jù)管理技術(shù)[J]. 楊雪梅,劉瑩.  信息系統(tǒng)工程. 2017(04)
[8]異構(gòu)Hadoop集群下的負(fù)載自適應(yīng)反饋調(diào)度策略[J]. 潘佳藝,王芳,楊靜怡,譚支鵬.  計算機工程與科學(xué). 2017(03)
[9]MapReduce大數(shù)據(jù)處理平臺與算法研究進展[J]. 宋杰,孫宗哲,毛克明,鮑玉斌,于戈.  軟件學(xué)報. 2017(03)
[10]面向云環(huán)境實時感知的服務(wù)選取及評估方法研究[J]. 肖剛,吳斐斐,徐俊,陸佳煒,張元鳴.  計算機科學(xué). 2016(11)



本文編號：3602567