本文關(guān)鍵詞：多數(shù)據(jù)中心環(huán)境中數(shù)據(jù)密集型科學(xué)工作流的執(zhí)行優(yōu)化研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著大數(shù)據(jù)(Big Data)時代的到來,越來越多的科學(xué)實驗面臨海量數(shù)據(jù)處理問題,這些數(shù)據(jù)處理包含多個步驟且過程復(fù)雜,通�？山３蓴�(shù)據(jù)密集型科學(xué)工作流。數(shù)據(jù)密集型科學(xué)工作流數(shù)據(jù)處理規(guī)模極其龐大,一般需要分布在多個數(shù)據(jù)中心的計算和存儲資源,以實現(xiàn)對數(shù)據(jù)密集型科學(xué)工作流執(zhí)行的有效支撐。其中,AMS實驗數(shù)據(jù)處理和分析作為一個典型的數(shù)據(jù)密集型工作流應(yīng)用,也是將其海量的數(shù)據(jù)和計算任務(wù)分布到全球不同地區(qū)的多個數(shù)據(jù)中心進行處理。然而,對于數(shù)據(jù)密集型科學(xué)工作流而言,其在多數(shù)據(jù)中心中的執(zhí)行所引發(fā)的執(zhí)行效率問題也日益突出。一方面,數(shù)據(jù)密集型科學(xué)工作流處理的數(shù)據(jù)量很大,數(shù)據(jù)往往分布在多個數(shù)據(jù)中心；另一方面,工作流任務(wù)可能以多個數(shù)據(jù)中心的數(shù)據(jù)作為輸入,往往需要通過網(wǎng)絡(luò)傳輸獲取相關(guān)數(shù)據(jù)。由于數(shù)據(jù)中心間的網(wǎng)絡(luò)帶寬有限,跨數(shù)據(jù)中心間的海量數(shù)據(jù)傳輸成為影響數(shù)據(jù)密集型科學(xué)工作流高效執(zhí)行的關(guān)鍵因素。高效的數(shù)據(jù)管理和任務(wù)調(diào)度算法是實現(xiàn)數(shù)據(jù)密集型科學(xué)工作流在多數(shù)據(jù)中心環(huán)境中執(zhí)行優(yōu)化的關(guān)鍵。針對工作流海量初始數(shù)據(jù)在數(shù)據(jù)中心間的傳輸問題,現(xiàn)有的工作主要基于數(shù)據(jù)相關(guān)性進行聚類放置,未考慮數(shù)據(jù)量大、相關(guān)性較弱的數(shù)據(jù)集,無法高效地減少初始數(shù)據(jù)的傳輸。針對大量中間數(shù)據(jù)在數(shù)據(jù)中心間的傳輸問題,現(xiàn)有的研究工作主要采用簡單任務(wù)復(fù)制和數(shù)據(jù)多副本存儲來解決,導(dǎo)致運行效率和資源利用率較低。因此,現(xiàn)有的工作無法有效地實現(xiàn)數(shù)據(jù)密集型科學(xué)工作流在多數(shù)據(jù)中心環(huán)境中高效執(zhí)行目標(biāo),需在深入考慮數(shù)據(jù)密集型科學(xué)工作流執(zhí)行特點基礎(chǔ)上提出新的高效調(diào)度算法和策略。為此,本文從以下四個方面展開研究：首先,針對跨數(shù)據(jù)中心間的海量初始數(shù)據(jù)傳輸問題,考慮數(shù)據(jù)相關(guān)性的同時考慮數(shù)據(jù)集大小因素,提出初始數(shù)據(jù)聚類放置策略,實現(xiàn)高內(nèi)聚數(shù)據(jù)放置。其次,針對跨數(shù)據(jù)中心間的中間數(shù)據(jù)傳輸問題,考慮數(shù)據(jù)與任務(wù)間的關(guān)系,提出多級任務(wù)復(fù)制算法,實現(xiàn)數(shù)據(jù)的本地性獲取,減少中間數(shù)據(jù)的傳輸。再次,針對數(shù)據(jù)傳輸和任務(wù)執(zhí)行串行化問題,提出數(shù)據(jù)預(yù)放置策略,將數(shù)據(jù)傳輸操作和任務(wù)運行分離,實現(xiàn)數(shù)據(jù)傳輸和任務(wù)運行的并行執(zhí)行。最后,在理論研究基礎(chǔ)上,結(jié)合東南大學(xué)云數(shù)據(jù)中心環(huán)境實現(xiàn)了多數(shù)據(jù)中心環(huán)境中科學(xué)工作流調(diào)度系統(tǒng)�；跂|南大學(xué)AMS實驗應(yīng)用數(shù)據(jù)對系統(tǒng)各個模塊進行性能測試以驗證理論研究的有效性。本文對數(shù)據(jù)密集型科學(xué)工作流在多數(shù)據(jù)中心環(huán)境中的執(zhí)行優(yōu)化機制進行了深入研究,通過相應(yīng)的仿真實驗以及在東南大學(xué)云數(shù)據(jù)中心真實環(huán)境中進行實驗表明,本文提出的相關(guān)算法和調(diào)度優(yōu)化方案,能夠有效地減少數(shù)據(jù)中心間的數(shù)據(jù)傳輸和任務(wù)等待數(shù)據(jù)傳輸時間,提高科學(xué)工作流執(zhí)行效率。
【關(guān)鍵詞】：云計算 多數(shù)據(jù)中心 數(shù)據(jù)密集型科學(xué)工作流 多級任務(wù)復(fù)制 數(shù)據(jù)預(yù)放置
【學(xué)位授予單位】：東南大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP308
【目錄】：

• 摘要4-5
• ABSTRACT5-12
• 第1章 引言12-20
• 1.1 研究背景12-14
• 1.2 研究動機14-16
• 1.3 論文研究目標(biāo)16
• 1.4 論文研究內(nèi)容16-17
• 1.5 論文組織結(jié)構(gòu)17-20
• 第2章 研究現(xiàn)狀20-24
• 2.1 多數(shù)據(jù)中心環(huán)境中科學(xué)工作流初始數(shù)據(jù)放置現(xiàn)狀20-21
• 2.2 多數(shù)據(jù)中心環(huán)境中科學(xué)工作流多級任務(wù)復(fù)制現(xiàn)狀21
• 2.3 多數(shù)據(jù)中心環(huán)境中科學(xué)工作流數(shù)據(jù)預(yù)放置現(xiàn)狀21-22
• 2.4 本章小結(jié)22-24
• 第3章 基于聚類策略的初始數(shù)據(jù)放置機制24-34
• 3.1 引言24
• 3.2 科學(xué)工作流DAG模型理論24-25
• 3.3 初始數(shù)據(jù)多維向量模型25-27
• 3.4 基于K-means聚類模型27-29
• 3.5 實驗與分析29-33
• 3.5.1 實驗設(shè)置29-30
• 3.5.2 實驗結(jié)果30-33
• 3.6 本章小結(jié)33-34
• 第4章 基于多級任務(wù)復(fù)制策略的任務(wù)調(diào)度優(yōu)化34-42
• 4.1 引言34
• 4.2 任務(wù)復(fù)制理論34-36
• 4.3 基于多級任務(wù)復(fù)制策略的任務(wù)調(diào)度模型36-38
• 4.4 實驗與分析38-41
• 4.4.1 實驗設(shè)置39
• 4.4.2 實驗結(jié)果39-41
• 4.5 本章小結(jié)41-42
• 第5章 基于數(shù)據(jù)預(yù)放置策略的任務(wù)調(diào)度優(yōu)化42-48
• 5.1 引言42
• 5.2 科學(xué)工作流數(shù)據(jù)預(yù)放置框架模型42-43
• 5.3 數(shù)據(jù)預(yù)放置算法設(shè)計43-45
• 5.4 實驗與分析45-47
• 5.4.1 實驗設(shè)置45
• 5.4.2 實驗結(jié)果45-47
• 5.5 本章小結(jié)47-48
• 第6章 多數(shù)據(jù)中心環(huán)境中工作流調(diào)度系統(tǒng)設(shè)計與實現(xiàn)48-66
• 6.1 引言48
• 6.2 MDC-SWMS系統(tǒng)設(shè)計與實現(xiàn)48-53
• 6.2.1 MDC-SWMS系統(tǒng)總體設(shè)計49
• 6.2.2 MDC-SWMS的功能模塊49-52
• 6.2.3 MDC-SWMS系統(tǒng)部署52-53
• 6.3 MDC-SWMS調(diào)度系統(tǒng)實現(xiàn)和功能測試53-65
• 6.3.1 測試環(huán)境54
• 6.3.2 MDC-SWMS系統(tǒng)部署和基本功能測試54-63
• 6.3.3 MDC-SWMS系統(tǒng)性能測試63-65
• 6.4 本章小結(jié)65-66
• 第7章 總結(jié)與展望66-68
• 7.1 論文總結(jié)66-67
• 7.2 展望67-68
• 參考文獻68-72
• 致謝72-74
• 作者在攻讀碩士學(xué)位期間相關(guān)研究工作74-76
• 作者簡歷76

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 李紅信,范玉順;分布式工作流執(zhí)行服務(wù)的設(shè)計與實現(xiàn)[J];計算機工程與應(yīng)用;2003年24期

2 劉向前,王曉琳,曾廣周;基于協(xié)調(diào)機制的多工作流過程合并方法[J];計算機工程;2003年02期

3 覃俊,康立山,陳毓屏,吳仁杰;遠程工作流的安全機制[J];計算機應(yīng)用研究;2003年07期

4 吳世貴;淺談工作流技術(shù)[J];建材技術(shù)與應(yīng)用;2003年05期

5 李紅玲,朱錦泉;基于工作流技術(shù)圖書館自動化管理系統(tǒng)的設(shè)計與實現(xiàn)[J];長春理工大學(xué)學(xué)報;2005年02期

6 ;你工作流了嗎?[J];軟件世界;2006年23期

7 蘇軍;薛順利;李尊朝;;工作流項目的代理安全機制[J];西安工程科技學(xué)院學(xué)報;2006年06期

8 付偉;;工作流技術(shù)綜述[J];河北北方學(xué)院學(xué)報(自然科學(xué)版);2007年01期

9 李燕;馮玉強;;工作流挖掘:一種新型工作流自動化建模方法[J];計算機工程;2007年04期

10 楊洪波;;工作流:三分天下[J];軟件世界;2007年10期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 常群;王海洋;;基于長短事務(wù)分離的工作流事務(wù)模型[A];第十九屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2002年

2 馬帥;王海洋;王文;;事務(wù)工作流及其錯誤處理策略[A];第十七屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2000年

3 劉慶;劉英博;王建民;;基于工作流日志的層次化角色挖掘[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2007年

4 袁征;肖宇;;基于事例處理的工程項目工作流管理[A];土木建筑學(xué)術(shù)文庫(第12卷)[C];2009年

5 王飛;李郴;薛清龍;胡曉鑫;;基于工作流技術(shù)的銀行影像系統(tǒng)的研究和開發(fā)[A];煤礦自動化與信息化——第19屆全國煤礦自動化與信息化學(xué)術(shù)會議暨中國礦業(yè)大學(xué)（北京）百年校慶學(xué)術(shù)會議論文集[C];2009年

6 劉建勛;陳海燕;;工作流管理系統(tǒng)中基于組織結(jié)構(gòu)約束的授權(quán)研究[A];全國第16屆計算機科學(xué)與技術(shù)應(yīng)用（CACIS）學(xué)術(shù)會議論文集[C];2004年

7 魏連;許榕生;;基于工作流技術(shù)的手機取證系統(tǒng)的設(shè)計與實現(xiàn)[A];第13屆全國計算機、網(wǎng)絡(luò)在現(xiàn)代科學(xué)技術(shù)領(lǐng)域的應(yīng)用學(xué)術(shù)會議論文集[C];2007年

8 壽志勤;李樂明;崇大志;;一個面向政務(wù)流程的工作流管理系統(tǒng)分析與構(gòu)建[A];中國行政管理學(xué)會2005年年會暨“政府行政能力建設(shè)與構(gòu)建和諧社會”研討會論文集[C];2005年

9 鄒盟軍;黃煒;;基于組件的工作流管理平臺的設(shè)計與實現(xiàn)[A];廣東省電機工程學(xué)會2003-2004年度優(yōu)秀論文集[C];2005年

10 張博;楊帆;;基于表單的工作流管理系統(tǒng)設(shè)計[A];第十四屆中國科協(xié)年會第5分會場：綠色船舶與海洋裝備創(chuàng)新發(fā)展及產(chǎn)業(yè)化論壇論文集[C];2012年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 何進偉;還工作流管理一個說法[N];中國計算機報;2003年

2 徐昊;工作流是下一個“金礦”[N];中國計算機報;2003年

3 ;《工作流管理——模型、方法和系統(tǒng)》出版[N];中華讀書報;2004年

4 胡長城;工作流:國內(nèi)國際兩極分化[N];計算機世界;2007年

5 工作流資深專家 游青華;如何選擇一個適合的工作流平臺[N];中國計算機報;2007年

6 劉喜喜;超越工作流管理[N];中國計算機報;2006年

7 ;北京商能 實現(xiàn)電子化工作流體系[N];中國計算機報;2009年

8 劉錟;Lotus Domino/Notes工作流在辦公自動化中的應(yīng)用[N];計算機世界;2005年

9 蔣明煒 戴寶純 吳英;工作流管理使企業(yè)系統(tǒng)實現(xiàn)集成[N];中國鄉(xiāng)鎮(zhèn)企業(yè)報;2004年

10 沈建苗 編譯;基于Spring創(chuàng)建工作流引擎[N];計算機世界;2006年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 王朝霞;數(shù)據(jù)感知工作流的建模與驗證[D];清華大學(xué);2012年

2 盧偉倬;建設(shè)項目工作流精益管理研究[D];哈爾濱工業(yè)大學(xué);2008年

3 楊曉輝;基于服務(wù)組織的開放Agent社會研究[D];天津大學(xué);2012年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 侯美玲;基于工作流技術(shù)的管理信息系統(tǒng)開發(fā)研究[D];太原理工大學(xué);2006年

2 顏超;基于工作流技術(shù)的稅務(wù)管理系統(tǒng)的設(shè)計與實現(xiàn)[D];上海交通大學(xué);2015年

3 吳伯然;基于工作流的電網(wǎng)公司黨務(wù)管理系統(tǒng)的設(shè)計與實現(xiàn)[D];山東大學(xué);2015年

4 朱星鎮(zhèn);基于J2EE和工作流技術(shù)的質(zhì)量管理系統(tǒng)設(shè)計與開發(fā)[D];電子科技大學(xué);2013年

5 榮鈺;基于工作流的政府行政審批平臺的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2014年

6 蒙煥;面向財務(wù)共享服務(wù)中心的財務(wù)報賬系統(tǒng)設(shè)計與實現(xiàn)[D];上海交通大學(xué);2014年

7 彭德安;面向SAP的備件分配和下單軟件的設(shè)計與實現(xiàn)[D];上海交通大學(xué);2014年

8 李佳;面向云工作流的切片與調(diào)度方法[D];大連理工大學(xué);2015年

9 戴潔;異構(gòu)系統(tǒng)多工作流在線調(diào)度算法研究[D];大連理工大學(xué);2015年

10 陳征;通信感知的DAG工作流費用優(yōu)化模型及算法[D];大連理工大學(xué);2015年

  本文關(guān)鍵詞：多數(shù)據(jù)中心環(huán)境中數(shù)據(jù)密集型科學(xué)工作流的執(zhí)行優(yōu)化研究，由筆耕文化傳播整理發(fā)布。

本文編號：265953