【摘要】：隨著云計算與大數(shù)據(jù)技術(shù)的迅速發(fā)展,Spark作為一種基于內(nèi)存計算的大型數(shù)據(jù)處理框架已被廣泛應用。為提升任務執(zhí)行效率,針對該平臺的研究已成為一大熱點。在Spark環(huán)境下,數(shù)據(jù)的緩存、讀取和計算都是在內(nèi)存中進行,大大減少了內(nèi)存和硬盤之間數(shù)據(jù)傳輸?shù)臅r間,提高了任務的執(zhí)行效率。但是進一步提高Spark的計算性能,探索高效的作業(yè)調(diào)度算法與更有效利用內(nèi)存資源仍是亟待解決的兩個熱點問題。因此本文針對Spark On Yarn模式下的作業(yè)調(diào)度算法以及Spark的內(nèi)存使用機制做出了相應的研究與改進,本文主要研究內(nèi)容如下:(1)基于遺傳禁忌的Spark作業(yè)調(diào)度研究本文采用Spark On Yarn部署模式,針對Yarn模式下幾種調(diào)度算法中存在的不足,提出一種新的作業(yè)調(diào)度方法。通過研究遺傳算法種群在進化過程中的變化,首先提出一種改進最優(yōu)保存策略,針對交叉和變異操作提出一種修正自適應遺傳算法—MAGA(Modified Adaptive GA)。進一步通過將MAGA與禁忌算法融合,提出一種修正自適應遺傳禁忌算法的Spark作業(yè)調(diào)度方法。試驗驗證該作業(yè)調(diào)度算法能夠有效降低任務的執(zhí)行時間,提升任務執(zhí)行效率。(2)基于Spark的內(nèi)存緩存管理研究RDD是Spark特有的抽象數(shù)據(jù)模型,針對RDD緩存的選擇以及LRU替換算法進行改進,本文提出RDD緩存預判機制,同時通過引入熵值法提出基于RDD分區(qū)特征的權(quán)重模型和權(quán)值更新機制,實現(xiàn)了優(yōu)化內(nèi)存利用率的目標。最后通過搭建Hadoop+Spark集群環(huán)境,采用Spark On Yarn模式對上述兩種改進方法進行實驗驗證。首先針對修正自適應遺傳禁忌算法的Spark作業(yè)調(diào)度算法,在仿真環(huán)境下驗證改進的遺傳禁忌算法有效性的基礎上,進一步在集群環(huán)境下驗證得出該作業(yè)調(diào)度算法能夠有效降低任務的執(zhí)行時間,提升任務執(zhí)行效率;然后在同一實驗環(huán)境下驗證了RDD緩存預判機制以及優(yōu)化的替換算法的有效性,實驗結(jié)果表明該方法能夠有效降低任務執(zhí)行時間,提升內(nèi)存利用率。
【學位授予單位】：河北經(jīng)貿(mào)大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP311.13
【圖文】：

用程序和服務）進行無處不在的、方便快捷、按需管理或者服務商的交互來快速的提供和釋放計算資源核心層PaaS層海量數(shù)據(jù)的分布式存儲技術(shù) 海量數(shù)據(jù)的處理模型資源管理與調(diào)度技術(shù)SaaS層各類應用服務，如：括 GoogleApps通用的應用：Hadoop，Spark，數(shù)據(jù)庫等Q保機資監(jiān)用戶訪問層

圖 2.2 Spark 生態(tài)系統(tǒng)圖Spark 運行架構(gòu)分析群基本運行架構(gòu)如圖 2.3 所示，DriverApplication 即 Driver 應由 Spark Driver 負責，其可以認為是 Spark 的客戶端。在向進行 SparkContext 初始化工作。該初始化工作包括:創(chuàng)建 S執(zhí)行環(huán)境的構(gòu)建主要包括創(chuàng)建安全管理器 SecurityManager 同時也包括實例化 ShuffleManager,其主要負責管理本地以及l(fā)e 操作;創(chuàng)建瀏覽器能訪問到的監(jiān)控環(huán)境 SparkUI，用戶可以通有 Job 的進度、狀態(tài)信息；創(chuàng)建負責任務提交的任務調(diào)度器 請求集群管理器對任務進行調(diào)度；創(chuàng)建并啟動 DAGSchedu任務提交給 TaskScheduler 前將任務轉(zhuǎn)換為 RDD，并組織成任務之間的依賴關(guān)系，將 RDD 劃分到不同的 Stage 中，并eduler 借助 ActorSystem 將任務提交到 ClusterManager(集群管

【相似文獻】

相關(guān)期刊論文 前10條

1 韓建民,鹿玲杰,王傳斌,賈莉卿;作業(yè)調(diào)度機制在計算機控制系統(tǒng)中的應用[J];計算機應用;1999年08期

2 惠永濤;;作業(yè)調(diào)度的原理及算法[J];計算機研究與發(fā)展;1989年03期

3 周志玉;;拖船聯(lián)合作業(yè)調(diào)度系統(tǒng)設計[J];船電技術(shù);2014年03期

4 鄭子釗;胡燕海;;供應鏈協(xié)同生產(chǎn)作業(yè)調(diào)度優(yōu)化研究[J];寧波大學學報(理工版);2011年01期

5 韓笑樂;梁亮;陸志強;奚立峰;;集裝箱碼頭岸吊作業(yè)調(diào)度建模及調(diào)度策略研究[J];工業(yè)工程與管理;2009年05期

6 鄭玉軍;;企業(yè)生產(chǎn)作業(yè)調(diào)度優(yōu)化研究[J];魅力中國;2009年29期

7 張啟敏;唐秋華;毛永年;王春鋒;;鋼廠多行車作業(yè)調(diào)度方法研究[J];機械設計與制造;2016年11期

8 馬海明;王玉潔;;銀行信息系統(tǒng)作業(yè)調(diào)度自動化建設[J];中國金融電腦;2013年04期

9 付云虹;白樹仁;;并行作業(yè)調(diào)度系統(tǒng)的設計與實現(xiàn)[J];電腦與信息技術(shù);2006年04期

10 孫世為;;地震資料處理并行作業(yè)調(diào)度分析及實現(xiàn)[J];勝利油田職工大學學報;2007年05期

相關(guān)會議論文 前7條

1 姚建凡;管宇;王一楠;李偉;;核設計并行作業(yè)調(diào)度系統(tǒng)的設計與實現(xiàn)[A];2016電力行業(yè)信息化年會論文集[C];2016年

2 裴爾明;Karim Bernardet;于傳松;孫功星;;基于Agent技術(shù)“推拉”結(jié)合的網(wǎng)格作業(yè)調(diào)度系統(tǒng)[A];第十四屆全國核電子學與核探測技術(shù)學術(shù)年會論文集（2）[C];2008年

3 劉禮;楊裔;火久元;劉海迪;李振芳;李廉;;數(shù)學網(wǎng)絡集成環(huán)境作業(yè)調(diào)度系統(tǒng)模型[A];2006年全國理論計算機科學學術(shù)年會論文集[C];2006年

4 裴爾明;Karim Bernardet;于傳松;孫功星;;基于Agent技術(shù)“推拉”結(jié)合的網(wǎng)格作業(yè)調(diào)度系統(tǒng)[A];第十四屆全國核電子學與核探測技術(shù)學術(shù)年會論文集（下冊）[C];2008年

5 顏克威;;板坯庫吊車擴容改造[A];中國計量協(xié)會冶金分會2017年會論文集[C];2017年

6 張曉坤;彭炎午;;FMS智能調(diào)度系統(tǒng)結(jié)構(gòu)[A];第三屆全國控制與決策系統(tǒng)學術(shù)會議論文集[C];1991年

7 康琦;楊東升;汪鐳;吳啟迪;;半導體封裝作業(yè)調(diào)度的群體智能近似動態(tài)優(yōu)化[A];2009年中國智能自動化會議論文集（第七分冊）[南京理工大學學報（增刊）][C];2009年

相關(guān)重要報紙文章 前10條

1 陳超;有效作業(yè)調(diào)度實現(xiàn)高效生產(chǎn)[N];中國計算機報;2004年

2 胡榮山;港口作業(yè)調(diào)度實現(xiàn)“全程掌控”[N];中國交通報;2007年

3 《網(wǎng)絡世界》記者 周源;眾口不再“難調(diào)”[N];網(wǎng)絡世界;2011年

4 祁金華;風云衛(wèi)星背后的“IT風云”[N];網(wǎng)絡世界;2008年

5 記者 宋馨;提高認識 突出重點 狠抓落實 加強領(lǐng)導[N];周口日報;2015年

6 本報記者 肖培清　本報通訊員 劉世忠;信息直通點到點 安全監(jiān)控面到面[N];人民鐵道;2008年

7 黃言;聯(lián)想高性能服務器發(fā)威教育行業(yè)[N];中國企業(yè)報;2009年

8 曾宇 劉朝暉;不選貴的 只選對的[N];計算機世界;2006年

9 ;IT系統(tǒng)運行質(zhì)量的保障者[N];網(wǎng)絡世界;2003年

10 記者 江彥博邋樊磊波 通訊員 鄭振華;陜西力抓災后“三夏”生產(chǎn)[N];農(nóng)民日報;2008年

相關(guān)博士學位論文 前10條

1 凌曉;云計算彈性資源分配與作業(yè)調(diào)度策略優(yōu)化研究[D];清華大學;2017年

2 梁毅;面向網(wǎng)絡計算的作業(yè)調(diào)度系統(tǒng)關(guān)鍵技術(shù)研究[D];中國科學院研究生院（計算技術(shù)研究所）;2005年

3 顧學民;分布式制造環(huán)境下的作業(yè)調(diào)度研究[D];西北工業(yè)大學;2006年

4 顧濤;集群MapReduce環(huán)境中任務和作業(yè)調(diào)度若干關(guān)鍵問題的研究[D];南開大學;2014年

5 萬聰;大數(shù)據(jù)作業(yè)調(diào)度優(yōu)化模型及算法研究[D];東北大學;2015年

6 曹海軍;面向服務的網(wǎng)格工作流關(guān)鍵問題研究[D];華中科技大學;2009年

7 林炳q;鐵路集裝箱中心站物流系統(tǒng)建模與優(yōu)化研究[D];西南交通大學;2014年

8 姜建華;數(shù)據(jù)網(wǎng)格幾個關(guān)鍵技術(shù)的研究[D];吉林大學;2010年

9 陶永才;網(wǎng)格環(huán)境下作業(yè)可靠調(diào)度機制的研究[D];華中科技大學;2009年

10 趙輝;面向大規(guī)模交互式分析的MapReduce優(yōu)化技術(shù)研究[D];國防科學技術(shù)大學;2013年

相關(guān)碩士學位論文 前10條

1 陳齊圳;多重入制造系統(tǒng)動態(tài)作業(yè)調(diào)度仿真與優(yōu)化[D];武漢理工大學;2018年

2 張艷飄;基于SPARK的作業(yè)調(diào)度與內(nèi)存緩存優(yōu)化研究[D];河北經(jīng)貿(mào)大學;2019年

3 張東東;超算CAE云平臺作業(yè)調(diào)度管理系統(tǒng)的研究與實現(xiàn)[D];湖南大學;2016年

4 陳靜臨;基于Hadoop異構(gòu)集群的動態(tài)作業(yè)調(diào)度研究[D];北京交通大學;2018年

5 姜夢妍;料箱式多載具自動化存取系統(tǒng)作業(yè)調(diào)度與績效評價[D];清華大學;2017年

6 陳偉誠;Hadoop平臺中作業(yè)調(diào)度算法分析與改進研究[D];湖南大學;2015年

7 方小龍;Hadoop平臺下基于遺傳算法的作業(yè)調(diào)度研究[D];中南民族大學;2016年

8 王娜;基于改進蟻群算法的多AGV作業(yè)調(diào)度研究[D];陜西科技大學;2017年

9 李詞超;Hadoop作業(yè)調(diào)度算法分析與優(yōu)化[D];武漢理工大學;2015年

10 胡龍;電商數(shù)據(jù)倉庫作業(yè)調(diào)度系統(tǒng)的設計與實現(xiàn)[D];首都經(jīng)濟貿(mào)易大學;2017年

本文編號：2717414