Hadoop通過MapReduce實(shí)現(xiàn)了一種分布式處理機(jī)制,成為處理大數(shù)據(jù)問題的首選工具。Hadoop平臺(tái)通過簡單的編程接口實(shí)現(xiàn)合理的作業(yè)調(diào)度。作業(yè)調(diào)度負(fù)責(zé)集群內(nèi)的計(jì)算資源以及作業(yè)的調(diào)度執(zhí)行。作業(yè)調(diào)度技術(shù)影響Hadoop平臺(tái)的性能以及系統(tǒng)中資源利用率。合理的調(diào)度算法能有效提高系統(tǒng)處理作業(yè)的效率。因此,本文重點(diǎn)研究作業(yè)調(diào)度算法,首先進(jìn)行作業(yè)優(yōu)先級(jí)的優(yōu)化,并在此基礎(chǔ)上根據(jù)任務(wù)的負(fù)載情況進(jìn)行合適的任務(wù)調(diào)度。為了滿足不同用戶的需求,搭建Hadoop集群對(duì)動(dòng)態(tài)優(yōu)先級(jí)的混合任務(wù)調(diào)度策略進(jìn)行改進(jìn),改進(jìn)后的方法通過作業(yè)靜態(tài)優(yōu)先級(jí),作業(yè)的任務(wù)價(jià)值以及作業(yè)的預(yù)計(jì)完成時(shí)間三個(gè)參數(shù),從多維度計(jì)算出作業(yè)的新的優(yōu)先級(jí),按優(yōu)先級(jí)的高低進(jìn)行資源分配,解決了資源分配不均導(dǎo)致緊急任務(wù)得不到處理的問題,提高系統(tǒng)性能。隨著時(shí)間的改變作業(yè)的優(yōu)先級(jí)會(huì)發(fā)生動(dòng)態(tài)變化,一個(gè)作業(yè)運(yùn)行完成后重新遍歷作業(yè)隊(duì)列選擇新的作業(yè)。針對(duì)Hadoop集群在默認(rèn)的任務(wù)調(diào)度策略下,產(chǎn)生大量的非本地任務(wù),增加網(wǎng)絡(luò)傳輸時(shí)間,影響作業(yè)的平均運(yùn)行時(shí)間,降低Hadoop系統(tǒng)資源利用率的問題,提出一種負(fù)載均衡的任務(wù)調(diào)度策略。在該方法中,如若節(jié)點(diǎn)的本地任務(wù)預(yù)計(jì)完成時(shí)間小... 

【文章來源】：沈陽工業(yè)大學(xué)遼寧省

【文章頁數(shù)】：64 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖１．１云計(jì)算平臺(tái)??Ｆｉｇ．?１．１?Ｃｌｏｕｄ?ｃｏｍｐｕｔｉｎｇ?ｐｌａｔｆｏｒｍ??［３］

?沈陽工業(yè)大學(xué)碩士論文???服務(wù)，該服務(wù)需要得到管理系統(tǒng)的驗(yàn)證，驗(yàn)證通過后系統(tǒng)會(huì)找到相應(yīng)的服務(wù)資源，用??工具挖掘服務(wù)云中的資源返回給用戶。在用戶向云平臺(tái)發(fā)送請(qǐng)求服務(wù)之前需要配置正??確的服務(wù)站或者ｗｅｂ應(yīng)用。??根據(jù)當(dāng)前云計(jì)算方面的發(fā)展與研宄，可以構(gòu)造一個(gè)云計(jì)算基本體系結(jié)構(gòu)，如圖２．１??所示。??／＊??用戶訪問接口??Ｖ．?Ｊ??Ａ??｜?Ｉ?軟件即服務(wù)?｜?ｆ?Ｊ??Ｓｅｒｖｅｒ?１?Ｓｅｒｖｅｒ?ｎ?；?－１??ｉ?梭?Ｌ?Ｊ?ｉ??ｉ?心?Ｊ?、?ＶＩ??？：?Ｉ???｜??！?務(wù)廣?平臺(tái)即服務(wù)?＾＼ｉ??Ｉ?雲(yún)??！?丨?丨?｜??ｉ?ｒ＾ｎ?＾??！?ｖ?丨丨?Ｊ??ｊ?！??丨廠基礎(chǔ)設(shè)施即服務(wù)??虛擬化服務(wù)?Ｉ??［?１?■■?■；??管??Ｉ?｜網(wǎng)絡(luò)資源?計(jì)算節(jié)點(diǎn)—?ｍ??卜１?１１??Ｊ??圖２．１云計(jì)算體系架構(gòu)??Ｆｉｇ．?２．１?Ｃｌｏｕｄ?ｃｏｍｐｕｔｉｎｇ?ａｒｃｈｉｔｅｃｔｕｒｅ??云計(jì)算核心服務(wù)層的組成包括基礎(chǔ)設(shè)施即服務(wù)層，平臺(tái)即服務(wù)層和軟件即服務(wù)層??＿。??（１）基礎(chǔ)設(shè)施即服務(wù)層（ＩａａＳ）。用戶在特定的位置（如辦公室）或通過網(wǎng)站使??用企業(yè)的應(yīng)用，應(yīng)用需要購買服務(wù)器或硬件來控制，基礎(chǔ)設(shè)施即服務(wù)層的出現(xiàn)，用戶??可以租用服務(wù)器和硬件設(shè)施來獲得各種算資源，為用戶提供方便的同時(shí)還節(jié)約成本。??ＩａａＳ基礎(chǔ)設(shè)施即服務(wù)利用虛擬化技術(shù)合理分配資源，使服務(wù)具有高可靠性［４１］�；A(chǔ)設(shè)??施即服務(wù)最具代表性的服務(wù)是云存儲(chǔ)。同時(shí)基礎(chǔ)設(shè)施即服務(wù)可以支持系統(tǒng)分布式存儲(chǔ)，??關(guān)系數(shù)據(jù)庫等應(yīng)用程序。??（２）平臺(tái)即服務(wù)（ＰａａＳ）

?第２章云計(jì)算技術(shù)和Ｈａｄｏｏｐ平臺(tái)???作單元即任務(wù)，各個(gè)計(jì)算節(jié)點(diǎn)對(duì)分配的任務(wù)進(jìn)行處理，可以把一個(gè)作業(yè)分成一個(gè)或者??多個(gè)任務(wù)。將處理完的任務(wù)存儲(chǔ)于分布式文件系統(tǒng)中。Ｈａｄｏｏｐ總體架構(gòu)如圖２．２所示。??ＮａｍｅＮｏｄｅ?）??二二二一??分塊選職??個(gè)?＼??Ｑｑ?ＬＨＵ?□?ｎ??ＥＪ＾Ｊ?ＬＪＵ＾ＬＪ??ｗｒｉｔｅ?ｗｒｉｔｅ??圖２．２?ＨＤＦＳ總體架構(gòu)示意圖??Ｆｉｇ．?２．２?Ｓｃｈｅｍａｔｉｃ?ｄｉａｇｒａｍ?ｏｆ?ｔｈｅ?ｏｖｅｒａｌｌ?ＨＤＦＳ?ａｒｃｈｉｔｅｃｔｕｒｅ??２．?３．?２?ＭａｐＲｅｄｕｃｅ?計(jì)算框架??規(guī)模性，多樣性和髙速性的特性促進(jìn)大數(shù)據(jù)更加快速的發(fā)展。大數(shù)據(jù)的計(jì)算依賴??于批處理計(jì)算模型。谷歌提出的ＭａｐＲｅｄｕｃｅ編程框架支持髙效的大規(guī)模計(jì)算。Ｍａｐ??階段和Ｒｅｄｕｃｅ階段的連接依賴于Ｓｈｕｆｆｌｅ機(jī)制。Ｓｈｕｆｆｌｅ機(jī)制的工作原理是把在Ｍａｐ任??務(wù)中處理完的作業(yè)拉取到Ｒｅｄｕｃｅ任務(wù)執(zhí)行之前。Ｓｈｕｆｆｌｅ機(jī)制包括分塊，拷貝和排序代??三個(gè)不同的階段。ＭａｐＲｅｄｕｃｅ中的兩個(gè)重要功能是Ｍａｐ階段和Ｒｅｄｕｃｅ階段。輸入數(shù)??據(jù)集被分成默認(rèn)大小的獨(dú)立塊。Ｍａｐ函數(shù)將數(shù)據(jù)塊轉(zhuǎn)換為中間值，將中間值＜ｋｅｙ／Ｖａｌｕｅ＞??對(duì)存放在一個(gè)列表中。一個(gè)映射過程可以獨(dú)立地處理一個(gè)輸入數(shù)據(jù)塊。然后，按鍵收??集和排序總中間值＜ｋｅｙ／ｖａｌｕｅ＞對(duì)，Ｒｅｄｕｃｅ函數(shù)將相同的中間值匯集到一起，進(jìn)行有效??的整合，使數(shù)據(jù)集達(dá)到最小化。大型集群可以通過ＭａｐＲｅｄｕｃｅ框架進(jìn)行高效排序，同??時(shí)，利用ＭａｐＲｅｄｕｃｅ函數(shù)優(yōu)化了大數(shù)據(jù)處理系統(tǒng)的整體存儲(chǔ)性能，使大數(shù)據(jù)信息的

【參考文獻(xiàn)】：
期刊論文
[1]云計(jì)算系統(tǒng)可靠性研究綜述[J]. 段文雪,胡銘,周瓊,吳庭明,周俊龍,劉曉,魏同權(quán),陳銘松.  計(jì)算機(jī)研究與發(fā)展. 2020(01)
[2]構(gòu)建和維護(hù)多云安全的策略[J]. 胡立.  計(jì)算機(jī)與網(wǎng)絡(luò). 2019(20)
[3]深入淺出云計(jì)算[J]. 靳建平,李敏.  信息與電腦(理論版). 2019(16)
[4]大數(shù)據(jù)時(shí)代云計(jì)算關(guān)鍵技術(shù)研究[J]. 王瑞琦,李明明,宋志勇,閆姣,馮勇.  數(shù)字通信世界. 2018(09)
[5]云計(jì)算技術(shù)發(fā)展分析及其應(yīng)用[J]. 馬原.  電子技術(shù)與軟件工程. 2017(18)
[6]基于云計(jì)算的基礎(chǔ)設(shè)施云服務(wù)平臺(tái)設(shè)計(jì)和實(shí)現(xiàn)[J]. 潘正輝.  電子技術(shù)與軟件工程. 2017(15)
[7]云計(jì)算和云數(shù)據(jù)管理技術(shù)[J]. 楊雪梅,劉瑩.  信息系統(tǒng)工程. 2017(04)
[8]異構(gòu)Hadoop集群下的負(fù)載自適應(yīng)反饋調(diào)度策略[J]. 潘佳藝,王芳,楊靜怡,譚支鵬.  計(jì)算機(jī)工程與科學(xué). 2017(03)
[9]MapReduce大數(shù)據(jù)處理平臺(tái)與算法研究進(jìn)展[J]. 宋杰,孫宗哲,毛克明,鮑玉斌,于戈.  軟件學(xué)報(bào). 2017(03)
[10]面向云環(huán)境實(shí)時(shí)感知的服務(wù)選取及評(píng)估方法研究[J]. 肖剛,吳斐斐,徐俊,陸佳煒,張?jiān)Q.  計(jì)算機(jī)科學(xué). 2016(11)



本文編號(hào)：3602567