本文關(guān)鍵詞：分布式環(huán)境中大數(shù)據(jù)處理任務(wù)的調(diào)度方法研究及應(yīng)用，由筆耕文化傳播整理發(fā)布。

【摘要】：近年來,隨著計(jì)算機(jī)技術(shù)和信息技術(shù)的快速發(fā)展與廣泛應(yīng)用,互聯(lián)網(wǎng)的數(shù)據(jù)量呈現(xiàn)爆炸式增長(zhǎng),傳統(tǒng)的數(shù)據(jù)處理技術(shù)已經(jīng)難以滿足大規(guī)模數(shù)據(jù)的需求,因此面向大規(guī)模數(shù)據(jù)的處理技術(shù)成為新的研究熱點(diǎn)。作為一種分布式計(jì)算編程模型,MapReduce是當(dāng)前處理大規(guī)模數(shù)據(jù)的主流技術(shù)之一,而分布式任務(wù)調(diào)度算法作為該模型的性能核心部分,已經(jīng)成為當(dāng)前大數(shù)據(jù)領(lǐng)域的研究熱點(diǎn)。本論文對(duì)MapReduce分布式任務(wù)調(diào)度算法的理論基礎(chǔ)進(jìn)行了研究和分析,提出了基于任務(wù)分類的動(dòng)態(tài)延遲調(diào)度算法(The Dynamic Delay Scheduling Based on Task Classification,即TCDDS算法),并通過仿真結(jié)果驗(yàn)證了該算法的有效性。在此基礎(chǔ)上,本文又提出了基于TCDDS的深度包檢測(cè)算法,該算法通過將使用TCDDS算法優(yōu)化過的MapReduce并行處理技術(shù)和深度包檢測(cè)技術(shù)相結(jié)合,提高了深度包檢測(cè)的處理速度和性能。本論文的主要工作包括以下幾個(gè)方面：首先,本論文對(duì)MapReduce的架構(gòu)及其關(guān)鍵技術(shù)進(jìn)行了研究,深入研究了MapReduce的任務(wù)調(diào)度流程,并詳細(xì)分析了常用的幾種任務(wù)調(diào)度算法的優(yōu)缺點(diǎn),例如先進(jìn)先出調(diào)度算法、計(jì)算能力調(diào)度算法、公平調(diào)度算法和延遲調(diào)度算法等。其次,通過分析現(xiàn)有調(diào)度算法的不足,提出了基于任務(wù)分類的動(dòng)態(tài)延遲調(diào)度算法(TCDDS算法)。該算法在原有的延遲調(diào)度算法的基礎(chǔ)上,增加了使用模糊綜合評(píng)價(jià)法對(duì)任務(wù)進(jìn)行分類的過程,將全部的任務(wù)進(jìn)行分成三類：高優(yōu)先級(jí)任務(wù)、中優(yōu)先級(jí)任務(wù)和低優(yōu)先級(jí)任務(wù)。不同類別的任務(wù)設(shè)置不同的等待時(shí)間閾值,并且在減少時(shí)間開銷和提高數(shù)據(jù)本地性這兩個(gè)方面也有不同的偏重,高優(yōu)先級(jí)任務(wù)力求較短的時(shí)間開銷,低優(yōu)先級(jí)任務(wù)力求較高的數(shù)據(jù)本地性,而中優(yōu)先級(jí)任務(wù)則在二者之間取平衡。之后本論文通過仿真實(shí)驗(yàn)對(duì)該算法進(jìn)行了驗(yàn)證,實(shí)驗(yàn)結(jié)果表明,基于任務(wù)分類的動(dòng)態(tài)延遲調(diào)度算法在提高了MapReduce任務(wù)調(diào)度的數(shù)據(jù)本地性的同時(shí),也縮短了作業(yè)的整體完成時(shí)間,有效地提高了MapReduce的整體性能。最后,本論文提出了基于TCDDS的深度包檢測(cè)技術(shù),該技術(shù)提出使用MapReduce分布式計(jì)算框架來進(jìn)行深度包檢測(cè),以此來提高深度包檢測(cè)的處理速度,并通過仿真實(shí)驗(yàn)驗(yàn)證了該技術(shù)的性能優(yōu)于原有的深度包檢測(cè)技術(shù)。
【關(guān)鍵詞】：MapReduce Hadoop 延遲調(diào)度 數(shù)據(jù)本地性 模糊集合
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP274.2
【目錄】：

• 致謝5-6
• 摘要6-7
• ABSTRACT7-11
• 1 引言11-16
• 1.1 研究背景及意義11-12
• 1.2 研究現(xiàn)狀12-14
• 1.3 論文主要內(nèi)容14-16
• 2 大數(shù)據(jù)處理技術(shù)及平臺(tái)16-31
• 2.1 大數(shù)據(jù)概述16-18
• 2.2 Hadoop平臺(tái)18-23
• 2.1.1 HDFS分布式文件系統(tǒng)19-20
• 2.1.2 MapReduce編程模型20-23
• 2.3 MapReduce任務(wù)調(diào)度算法23-25
• 2.3.1 先進(jìn)先出調(diào)度算法24
• 2.3.2 公平調(diào)度算法24
• 2.3.3 計(jì)算能力調(diào)度算法24-25
• 2.3.4 延遲調(diào)度算法25
• 2.4 模糊綜合評(píng)價(jià)法25-30
• 2.4.1 相關(guān)定義25-26
• 2.4.2 隸屬度函數(shù)26-29
• 2.4.3 模糊綜合評(píng)價(jià)法的主要流程29-30
• 2.5 本章小結(jié)30-31
• 3 基于任務(wù)分類的動(dòng)態(tài)延遲調(diào)度算法31-50
• 3.1 產(chǎn)生背景31-32
• 3.2 算法設(shè)計(jì)32-47
• 3.2.1 算法概述32-33
• 3.2.2 相關(guān)定義33-34
• 3.2.3 任務(wù)分類34-47
• 3.3 算法流程47-48
• 3.4 本章小結(jié)48-50
• 4 仿真結(jié)果與分析50-60
• 4.1 實(shí)驗(yàn)硬件平臺(tái)部署50-51
• 4.2 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析51-58
• 4.2.1 數(shù)據(jù)處理51-52
• 4.2.2 實(shí)驗(yàn)方案52-58
• 4.3 本章小結(jié)58-60
• 5 基于TCDDS的深度包檢測(cè)技術(shù)60-66
• 5.1 深度包檢測(cè)技術(shù)概述60-61
• 5.2 具體實(shí)現(xiàn)61-65
• 5.2.1 基本思路61-63
• 5.2.2 仿真與結(jié)果分析63-65
• 5.3 本章小結(jié)65-66
• 6 總結(jié)與展望66-68
• 6.1 總結(jié)66
• 6.2 展望66-68
• 參考文獻(xiàn)68-71
• 作者簡(jiǎn)歷及攻讀碩士學(xué)位期間取得的研究成果71-73
• 學(xué)位論文數(shù)據(jù)集73

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 向哲,鐘玉琢,冼偉銓;一種基于周期合并策略的流調(diào)度算法[J];軟件學(xué)報(bào);2001年08期

2 伊鵬,張興明,郭云飛;基于輸入排隊(duì)的調(diào)度算法[J];計(jì)算機(jī)工程;2003年19期

3 易云山,桂志波;分組網(wǎng)絡(luò)中包調(diào)度算法研究[J];江蘇通信技術(shù);2004年03期

4 任艷穎,張文軍,王彬;無線調(diào)度算法[J];計(jì)算機(jī)工程;2004年15期

5 劉越洋,席裕庚;基于兩步滾動(dòng)的單機(jī)調(diào)度算法研究[J];計(jì)算機(jī)工程;2004年24期

6 楊梅樾;馬祥杰;;輸入排隊(duì)中調(diào)度算法的研究[J];信息工程大學(xué)學(xué)報(bào);2006年02期

7 曾東海;劉海;金士堯;;集群負(fù)載調(diào)度算法性能評(píng)價(jià)[J];計(jì)算機(jī)工程;2006年11期

8 孫力娟;李超;張登銀;王汝傳;;低速網(wǎng)絡(luò)中實(shí)時(shí)補(bǔ)償型差額循環(huán)調(diào)度算法的設(shè)計(jì)和實(shí)現(xiàn)[J];電子與信息學(xué)報(bào);2006年10期

9 劉東;張春元;;軟件容錯(cuò)模型中反向與正向調(diào)度算法研究[J];計(jì)算機(jī)工程與科學(xué);2007年09期

10 何琨;趙勇;黃文奇;;基于任務(wù)復(fù)制的分簇與調(diào)度算法[J];計(jì)算機(jī)學(xué)報(bào);2008年05期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 彭洪;涂?jī)錾?;面向操作的調(diào)度算法[A];1994中國控制與決策學(xué)術(shù)年會(huì)論文集[C];1994年

2 羅豪杰;許都;;IEEE 802.16 MAC層上行調(diào)度算法[A];四川省通信學(xué)會(huì)2007年學(xué)術(shù)年會(huì)論文集[C];2007年

3 張遵福;李樂民;;支持QoS的調(diào)度算法設(shè)計(jì)[A];2006中國西部青年通信學(xué)術(shù)會(huì)議論文集[C];2006年

4 姚建波;竺小松;李晶晶;;非對(duì)稱通信環(huán)境中兩種廣播調(diào)度算法的分析與比較[A];中國通信學(xué)會(huì)第六屆學(xué)術(shù)年會(huì)論文集（上）[C];2009年

5 景維鵬;吳智博;劉宏偉;董劍;;一種支持任務(wù)依賴關(guān)系容錯(cuò)調(diào)度算法[A];第十四屆全國容錯(cuò)計(jì)算學(xué)術(shù)會(huì)議(CFTC'2011)論文集[C];2011年

6 李琪林;甄威;周明天;;一種適用于Master-Worker應(yīng)用的動(dòng)態(tài)統(tǒng)一調(diào)度算法的研究[A];2008'中國信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（一）[C];2008年

7 呂鋒;涂曉東;;高性能交換結(jié)構(gòu)調(diào)度算法的研究[A];四川省通信學(xué)會(huì)2006年學(xué)術(shù)年會(huì)論文集（二）[C];2006年

8 趙爾敦;肖靜;;無線網(wǎng)絡(luò)中基于信道狀態(tài)預(yù)測(cè)的調(diào)度算法[A];2006全國復(fù)雜網(wǎng)絡(luò)學(xué)術(shù)會(huì)議論文集[C];2006年

9 殷潔;;城市光網(wǎng)光纖自動(dòng)調(diào)度算法研究和應(yīng)用[A];中國通信學(xué)會(huì)信息通信網(wǎng)絡(luò)技術(shù)委員會(huì)2011年年會(huì)論文集（下冊(cè)）[C];2011年

10 陳平;王柏;徐六通;吳斌;王艷輝;;電信社群網(wǎng)絡(luò)中介度的網(wǎng)格并行算法及調(diào)度算法[A];2006年全國通信軟件學(xué)術(shù)會(huì)議論文集[C];2006年

中國重要報(bào)紙全文數(shù)據(jù)庫 前1條

1 張建輝 吳松;TD—SCDMA積跬步 HSDPA以致千里[N];通信產(chǎn)業(yè)報(bào);2005年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 劉曉鋒;可擴(kuò)展多級(jí)多平面交換網(wǎng)絡(luò)及調(diào)度算法研究[D];電子科技大學(xué);2015年

2 馬丹;任務(wù)間相互依賴的并行作業(yè)調(diào)度算法研究[D];華中科技大學(xué);2007年

3 田沖;無線網(wǎng)絡(luò)跨層調(diào)度算法研究[D];山東大學(xué);2009年

4 黃平;分布式交換系統(tǒng)隊(duì)列結(jié)構(gòu)及調(diào)度算法研究[D];華中科技大學(xué);2006年

5 劉惠;嵌入式系統(tǒng)節(jié)能調(diào)度算法研究[D];西安電子科技大學(xué);2011年

6 趙明宇;集群系統(tǒng)的調(diào)度算法研究[D];哈爾濱工業(yè)大學(xué);2007年

7 吳剛;對(duì)低功耗進(jìn)程調(diào)度算法的研究[D];復(fù)旦大學(xué);2006年

8 牛進(jìn)平;3G長(zhǎng)期演進(jìn)系統(tǒng)中調(diào)度算法和干擾抑制技術(shù)研究[D];西安電子科技大學(xué);2014年

9 羅威;分布式實(shí)時(shí)容錯(cuò)調(diào)度算法研究[D];華中科技大學(xué);2008年

10 展勇;柔性開放車間調(diào)度算法研究[D];哈爾濱工程大學(xué);2011年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 丁雪飛;純電動(dòng)車整車CAN網(wǎng)絡(luò)實(shí)時(shí)調(diào)度算法的研究[D];遼寧大學(xué);2015年

2 王德龍;Hadoop平臺(tái)下作業(yè)調(diào)度算法的研究與改進(jìn)[D];南京信息工程大學(xué);2015年

3 袁林偉;載波聚合資源分配及調(diào)度算法研究[D];西南交通大學(xué);2015年

4 景木均;3GPP LTE系統(tǒng)中基于多目標(biāo)決策的下行資源調(diào)度算法研究與實(shí)現(xiàn)[D];西南交通大學(xué);2015年

5 劉盼紅;大數(shù)據(jù)環(huán)境下Hadoop作業(yè)調(diào)度算法的研究[D];河北工程大學(xué);2015年

6 楊軒;高鐵無線通信VoIP業(yè)務(wù)與多業(yè)務(wù)共存的資源調(diào)度算法[D];西南交通大學(xué);2015年

7 陳傳慶;基于衰落信道的無線鏈路調(diào)度算法研究[D];曲阜師范大學(xué);2015年

8 陳文龍;Hadoop平臺(tái)下作業(yè)調(diào)度方法研究[D];南京理工大學(xué);2015年

9 陳瑜;針對(duì)Hadoop集群的節(jié)能調(diào)度算法研究[D];電子科技大學(xué);2015年

10 朱新新;網(wǎng)絡(luò)端到端流量的QoS優(yōu)化技術(shù)研究[D];電子科技大學(xué);2014年

  本文關(guān)鍵詞：分布式環(huán)境中大數(shù)據(jù)處理任務(wù)的調(diào)度方法研究及應(yīng)用，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：307694