本文關(guān)鍵詞：面向iVCE云平臺的數(shù)據(jù)分析任務(wù)調(diào)度系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 云計(jì)算 任務(wù)調(diào)度 任務(wù)劃分 資源匹配

【摘要】：隨著大數(shù)據(jù)時(shí)代的到來,對數(shù)據(jù)的處理能力要求也越來越高。云計(jì)算作為一種高效的計(jì)算模式,在處理海量數(shù)據(jù)時(shí)有著得天獨(dú)厚的優(yōu)勢。各大IT巨頭紛紛推出了自己的云計(jì)算平臺,為人們提供高效、快速的服務(wù)。此外,很多機(jī)構(gòu)組織也開始搭建私有云平臺,用于處理對安全性有較高要求的數(shù)據(jù)。因此,如何對任務(wù)進(jìn)行合理、高效地調(diào)度,成為如今云計(jì)算領(lǐng)域亟待解決的問題。本文提出了以應(yīng)用評測結(jié)果為依據(jù),對任務(wù)進(jìn)行劃分以及資源匹配的任務(wù)調(diào)度策略,設(shè)計(jì)并實(shí)現(xiàn)了面向i VCE云平臺的數(shù)據(jù)分析任務(wù)調(diào)度系統(tǒng)。該系統(tǒng)可對平臺上的數(shù)據(jù)分析任務(wù)進(jìn)行更加合理地切分,并選擇資源類型與任務(wù)資源需求最匹配的節(jié)點(diǎn)來執(zhí)行任務(wù)。首先,本文介紹了云計(jì)算任務(wù)調(diào)度的相關(guān)理論,包括云計(jì)算概述、云計(jì)算任務(wù)調(diào)度的特點(diǎn)以及經(jīng)典的調(diào)度算法。其次,本文設(shè)計(jì)并實(shí)現(xiàn)了面向i VCE云平臺的數(shù)據(jù)分析任務(wù)調(diào)度系統(tǒng)。該系統(tǒng)分為應(yīng)用管理、任務(wù)管理、任務(wù)調(diào)度三個(gè)子系統(tǒng)。其中應(yīng)用管理子系統(tǒng)包括應(yīng)用注冊以及應(yīng)用評測,分別負(fù)責(zé)應(yīng)用的添加以及對應(yīng)用的資源消耗和運(yùn)行狀況進(jìn)行評測。任務(wù)管理子系統(tǒng)包括任務(wù)提交、任務(wù)劃分、任務(wù)隊(duì)列管理以及任務(wù)狀態(tài)監(jiān)測,任務(wù)提交負(fù)責(zé)用戶添加任務(wù),任務(wù)劃分在功能和數(shù)據(jù)兩個(gè)級別分別對任務(wù)進(jìn)行劃分,將大任務(wù)變?yōu)楦菀渍{(diào)度和執(zhí)行的小任務(wù),任務(wù)隊(duì)列管理可以滿足調(diào)度過程中任務(wù)不同狀態(tài)的需求,包括等待任務(wù)隊(duì)列、就緒任務(wù)隊(duì)列、掛起任務(wù)隊(duì)列和重調(diào)度任務(wù)隊(duì)列,任務(wù)狀態(tài)監(jiān)測負(fù)責(zé)實(shí)時(shí)監(jiān)測任務(wù)所處的調(diào)度狀態(tài)。任務(wù)調(diào)度子系統(tǒng)包括資源匹配、任務(wù)分配以及任務(wù)重調(diào)度,資源匹配負(fù)責(zé)為任務(wù)選取合適的執(zhí)行節(jié)點(diǎn),任務(wù)分配負(fù)責(zé)將任務(wù)下發(fā)至執(zhí)行節(jié)點(diǎn)并回收結(jié)果,任務(wù)重調(diào)度負(fù)責(zé)任務(wù)在調(diào)度過程中出現(xiàn)異常之后進(jìn)行再次調(diào)度。最后,本文對i VCE云平臺的數(shù)據(jù)分析任務(wù)調(diào)度系統(tǒng)從應(yīng)用評估、任務(wù)劃分、任務(wù)狀態(tài)監(jiān)測等方面進(jìn)行測試,并以DNS源IP異常檢測作為數(shù)據(jù)分析任務(wù)的實(shí)例在整體上對系統(tǒng)進(jìn)行測試,結(jié)果表明該系統(tǒng)達(dá)到設(shè)計(jì)目標(biāo)。綜上所述,本文設(shè)計(jì)并實(shí)現(xiàn)了面向i VCE云平臺的數(shù)據(jù)分析任務(wù)調(diào)度系統(tǒng),具備應(yīng)用管理、任務(wù)管理、任務(wù)調(diào)度等功能,達(dá)到系統(tǒng)設(shè)計(jì)的要求。
【關(guān)鍵詞】：云計(jì)算 任務(wù)調(diào)度 任務(wù)劃分 資源匹配
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP393.09;TP301.6
【目錄】：

• 摘要4-5
• Abstract5-10
• 第1章 緒論10-15
• 1.1 課題來源10
• 1.2 課題研究的目的和意義10-11
• 1.3 國內(nèi)外研究現(xiàn)狀11-13
• 1.4 本文研究內(nèi)容及組織結(jié)構(gòu)13-15
• 第2章 云計(jì)算任務(wù)調(diào)度相關(guān)理論介紹15-22
• 2.1 云計(jì)算任務(wù)調(diào)度概述15-18
• 2.1.1 云計(jì)算概述15-16
• 2.1.2 云計(jì)算任務(wù)調(diào)度的模型16-18
• 2.1.3 云計(jì)算任務(wù)調(diào)度的特點(diǎn)18
• 2.2 任務(wù)調(diào)度的相關(guān)算法18-21
• 2.2.1 經(jīng)典的調(diào)度算法18-19
• 2.2.2 啟發(fā)式的調(diào)度算法19-21
• 2.3 本章小結(jié)21-22
• 第3章 數(shù)據(jù)分析任務(wù)調(diào)度系統(tǒng)的設(shè)計(jì)22-42
• 3.1 系統(tǒng)需求分析22-24
• 3.1.1 系統(tǒng)功能需求22-23
• 3.1.2 系統(tǒng)非功能需求23-24
• 3.2 系統(tǒng)總體設(shè)計(jì)24-27
• 3.2.1 系統(tǒng)設(shè)計(jì)目標(biāo)24
• 3.2.2 系統(tǒng)功能結(jié)構(gòu)設(shè)計(jì)24-25
• 3.2.3 系統(tǒng)架構(gòu)設(shè)計(jì)25-26
• 3.2.4 系統(tǒng)數(shù)據(jù)庫設(shè)計(jì)26-27
• 3.3 系統(tǒng)詳細(xì)設(shè)計(jì)27-41
• 3.3.1 應(yīng)用管理子系統(tǒng)設(shè)計(jì)27-32
• 3.3.2 任務(wù)管理子系統(tǒng)設(shè)計(jì)32-38
• 3.3.3 任務(wù)調(diào)度子系統(tǒng)設(shè)計(jì)38-41
• 3.4 本章小結(jié)41-42
• 第4章 數(shù)據(jù)分析任務(wù)調(diào)度系統(tǒng)實(shí)現(xiàn)42-59
• 4.1 應(yīng)用管理子系統(tǒng)實(shí)現(xiàn)42-48
• 4.1.1 應(yīng)用注冊模塊實(shí)現(xiàn)42-44
• 4.1.2 應(yīng)用評測模塊實(shí)現(xiàn)44-48
• 4.2 任務(wù)管理子系統(tǒng)實(shí)現(xiàn)48-54
• 4.2.1 任務(wù)提交模塊實(shí)現(xiàn)48-51
• 4.2.2 任務(wù)劃分模塊實(shí)現(xiàn)51-52
• 4.2.3 任務(wù)隊(duì)列管理模塊實(shí)現(xiàn)52-53
• 4.2.4 任務(wù)狀態(tài)監(jiān)測模塊實(shí)現(xiàn)53-54
• 4.3 任務(wù)調(diào)度子系統(tǒng)實(shí)現(xiàn)54-58
• 4.3.1 資源匹配模塊54-55
• 4.3.2 任務(wù)分配模塊55-57
• 4.3.3 任務(wù)重調(diào)度57-58
• 4.4 本章小結(jié)58-59
• 第5章 數(shù)據(jù)分析任務(wù)調(diào)度系統(tǒng)測試59-76
• 5.1 系統(tǒng)測試環(huán)境59-60
• 5.2 系統(tǒng)功能測試60-68
• 5.2.1 應(yīng)用評測模塊功能測試60-64
• 5.2.2 任務(wù)劃分模塊功能測試64-65
• 5.2.3 任務(wù)狀態(tài)監(jiān)模塊測試65-68
• 5.3 系統(tǒng)性能測試68-70
• 5.3.1 任務(wù)調(diào)度能力測試68-69
• 5.3.2 負(fù)載均衡能力測試69-70
• 5.4 數(shù)據(jù)分析任務(wù)實(shí)例測試70-74
• 5.4.1 DNS源IP異常檢測介紹70-71
• 5.4.2 數(shù)據(jù)分析任務(wù)實(shí)例設(shè)計(jì)71-72
• 5.4.3 數(shù)據(jù)分析任務(wù)實(shí)例測試72-74
• 5.5 本章小結(jié)74-76
• 結(jié)論76-77
• 參考文獻(xiàn)77-81
• 攻讀碩士學(xué)位期間發(fā)表的論文及其他成果81-83
• 致謝83

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 孟憲福;基于優(yōu)先級的任務(wù)調(diào)度與負(fù)載均衡模型研究[J];小型微型計(jì)算機(jī)系統(tǒng);2005年09期

2 廖曉文;廖京盛;;時(shí)間觸發(fā)模式的任務(wù)調(diào)度與分解策略[J];單片機(jī)與嵌入式系統(tǒng)應(yīng)用;2006年07期

3 樊曉香;;任務(wù)調(diào)度問題機(jī)制設(shè)計(jì)[J];計(jì)算機(jī)技術(shù)與發(fā)展;2008年07期

4 黃漾;;分布式環(huán)境下任務(wù)調(diào)度探討[J];電腦知識與技術(shù);2011年19期

5 陳軍;謝立;孫鐘秀;;分布式任務(wù)調(diào)度研究的新趨向[J];計(jì)算機(jī)研究與發(fā)展;1990年04期

6 陳艇;;基于混沌最優(yōu)博弈的網(wǎng)絡(luò)任務(wù)調(diào)度算法仿真[J];計(jì)算機(jī)仿真;2013年11期

7 李陶深;李明麗;張希翔;;云計(jì)算環(huán)境下任務(wù)調(diào)度技術(shù)的研究進(jìn)展[J];玉林師范學(xué)院學(xué)報(bào);2014年02期

8 劉雄文,陸鑫達(dá);元計(jì)算環(huán)境中任務(wù)調(diào)度的深入分析[J];計(jì)算機(jī)工程與應(yīng)用;2002年17期

9 羅紅,慕德俊,鄧智群,王曉東;網(wǎng)格計(jì)算中任務(wù)調(diào)度研究綜述[J];計(jì)算機(jī)應(yīng)用研究;2005年05期

10 張國海;江平宇;周光輝;;多設(shè)計(jì)任務(wù)調(diào)度的非合作博弈研究[J];西安交通大學(xué)學(xué)報(bào);2007年03期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 劉培培;李連;叢海鵬;謝勇;;基于多代理協(xié)商機(jī)制的任務(wù)調(diào)度系統(tǒng)研究[A];2006北京地區(qū)高校研究生學(xué)術(shù)交流會——通信與信息技術(shù)會議論文集（下）[C];2006年

2 張磊;馬軍;;描述短時(shí)資源混雜占用型任務(wù)調(diào)度的數(shù)學(xué)模型與算法[A];2005年全國理論計(jì)算機(jī)科學(xué)學(xué)術(shù)年會論文集[C];2005年

3 王軍;巢玉強(qiáng);彭釗軼;;基于任務(wù)調(diào)度的電能量計(jì)量采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2006電力系統(tǒng)自動化學(xué)術(shù)交流研討大會論文集[C];2006年

4 張志強(qiáng);王萬玉;王建平;李凡;袁剛;;多站多星任務(wù)調(diào)度優(yōu)化模型研究[A];第二十三屆全國空間探測學(xué)術(shù)交流會論文摘要集[C];2010年

5 韓云;于炯;張偉;王命全;;基于負(fù)載均衡的任務(wù)調(diào)度改進(jìn)算法[A];2010年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會議論文集[C];2010年

6 王全民;王靚;許智宏;;網(wǎng)格環(huán)境中基于蟻群算法的批量任務(wù)調(diào)度的研究[A];2006北京地區(qū)高校研究生學(xué)術(shù)交流會——通信與信息技術(shù)會議論文集（上）[C];2006年

7 張曉云;岳繼光;楊麟祥;;零星任務(wù)調(diào)度在多控制任務(wù)系統(tǒng)中的應(yīng)用[A];第16屆中國過程控制學(xué)術(shù)年會暨第4屆全國故障診斷與安全性學(xué)術(shù)會議論文集[C];2005年

8 劉宇;劉玉榮;周冰;;基于WCF的環(huán)境減災(zāi)星座運(yùn)控任務(wù)調(diào)度系統(tǒng)[A];第二十五屆全國空間探測學(xué)術(shù)研討會摘要集[C];2012年

9 黃文澤;邵峰晶;孫仁誠;;基于雙總線安全結(jié)構(gòu)的操作系統(tǒng)任務(wù)調(diào)度[A];2009全國計(jì)算機(jī)網(wǎng)絡(luò)與通信學(xué)術(shù)會議論文集[C];2009年

10 楊艦;黃道平;李小亞;;GDCS任務(wù)調(diào)度的SPN模型研究[A];第二十六屆中國控制會議論文集[C];2007年

中國重要報(bào)紙全文數(shù)據(jù)庫 前1條

1 王波;Linux與服務(wù)器集群技術(shù)[N];中國計(jì)算機(jī)報(bào);2002年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 趙凡宇;航天器多目標(biāo)觀測任務(wù)調(diào)度與規(guī)劃方法研究[D];北京理工大學(xué);2015年

2 孫明明;云計(jì)算平臺上任務(wù)調(diào)度算法的研究[D];中國科學(xué)技術(shù)大學(xué);2015年

3 郭力爭;云計(jì)算環(huán)境下資源部署與任務(wù)調(diào)度研究[D];東華大學(xué);2015年

4 黃萬偉;基于服務(wù)屬性區(qū)分的可重構(gòu)任務(wù)調(diào)度研究[D];解放軍信息工程大學(xué);2009年

5 瞿進(jìn);可重構(gòu)系統(tǒng)軟硬功能劃分及任務(wù)調(diào)度技術(shù)研究[D];解放軍信息工程大學(xué);2011年

6 周雙娥;實(shí)時(shí)分布容錯系統(tǒng)的任務(wù)調(diào)度技術(shù)研究[D];哈爾濱工程大學(xué);2003年

7 柴亞輝;基于FPGA的高性能計(jì)算架構(gòu)硬件任務(wù)與資源模型研究[D];上海大學(xué);2012年

8 金剛;云環(huán)境下任務(wù)調(diào)度關(guān)鍵問題研究[D];吉林大學(xué);2015年

9 耿曉中;基于多核分布式環(huán)境下的任務(wù)調(diào)度關(guān)鍵技術(shù)研究[D];吉林大學(xué);2013年

10 陳錫明;基于NOW的任務(wù)調(diào)度和負(fù)載平衡方法研究[D];電子科技大學(xué);2000年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 張巧龍;云計(jì)算環(huán)境下任務(wù)調(diào)度問題的研究[D];江南大學(xué);2015年

2 徐彬;云環(huán)境下基于動態(tài)融合遺傳蟻群算法的DAG任務(wù)調(diào)度研究[D];南京信息工程大學(xué);2015年

3 鐘瀟柔;基于動態(tài)遺傳算法的云計(jì)算任務(wù)節(jié)能調(diào)度策略研究[D];哈爾濱工業(yè)大學(xué);2015年

4 李婷;分布式爬蟲任務(wù)調(diào)度與AJAX頁面抓取研究[D];電子科技大學(xué);2015年

5 趙彬;基于任務(wù)調(diào)度和動態(tài)資源調(diào)整的云計(jì)算節(jié)能機(jī)制及能效分析[D];廣西大學(xué);2015年

6 楊鏡;基于人工免疫系統(tǒng)的云平臺動態(tài)任務(wù)調(diào)度[D];電子科技大學(xué);2014年

7 王一冰;基于ASP.NET的任務(wù)調(diào)度管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2013年

8 白晶晶;云環(huán)境下安全和可靠性驅(qū)動的工作流任務(wù)調(diào)度研究[D];新疆大學(xué);2015年

9 呂信科;基于多核陣列的任務(wù)調(diào)度技術(shù)研究[D];電子科技大學(xué);2015年

10 溫宇昂;單階段差異化多機(jī)可拆分任務(wù)調(diào)度優(yōu)化方法[D];東北大學(xué);2013年

，

本文編號：787998