【摘要】：近年來,隨著云計算和大數(shù)據(jù)等新興技術(shù)的興起,高能物理學(xué)、天體物理學(xué)、生物信息學(xué)等以數(shù)據(jù)為中心的科學(xué)領(lǐng)域開展的大型科學(xué)實驗計算規(guī)模愈加龐大,產(chǎn)生和積累的科學(xué)數(shù)據(jù)量顯著增長,對科學(xué)數(shù)據(jù)的分析挖掘更為復(fù)雜深入,是典型的科學(xué)大數(shù)據(jù)應(yīng)用。科學(xué)大數(shù)據(jù)應(yīng)用通�？山３煽茖W(xué)工作流,其執(zhí)行所需的計算和存儲資源規(guī)模龐大,需多個科研機構(gòu)協(xié)作,聚合各自數(shù)據(jù)中心資源支撐科學(xué)大數(shù)據(jù)應(yīng)用的海量數(shù)據(jù)存儲和大規(guī)模科學(xué)工作流計算,實現(xiàn)多數(shù)據(jù)中心環(huán)境下科學(xué)工作流的分布執(zhí)行。然而,由于各數(shù)據(jù)中心間網(wǎng)絡(luò)帶寬資源相對有限,科學(xué)工作流分布執(zhí)行過程中跨數(shù)據(jù)中心的大量數(shù)據(jù)傳輸易成為性能瓶頸。作為影響跨數(shù)據(jù)中心數(shù)據(jù)傳輸?shù)闹匾蛩?數(shù)據(jù)合理布局和科學(xué)工作流任務(wù)高效調(diào)度可以有效減小數(shù)據(jù)中心間數(shù)據(jù)傳輸量,是提高科學(xué)工作流執(zhí)行效率的關(guān)鍵�，F(xiàn)有針對數(shù)據(jù)布局和工作流調(diào)度的研究,未全面考慮科學(xué)大數(shù)據(jù)應(yīng)用關(guān)聯(lián)數(shù)據(jù)訪問、初始輸入數(shù)據(jù)固定、海量中間數(shù)據(jù)存儲等執(zhí)行特征,無法實現(xiàn)數(shù)據(jù)合理布局和工作流任務(wù)高效調(diào)度,難以進一步優(yōu)化科學(xué)大數(shù)據(jù)應(yīng)用的執(zhí)行。為實現(xiàn)多數(shù)據(jù)中心環(huán)境下科學(xué)大數(shù)據(jù)應(yīng)用的執(zhí)行優(yōu)化,本碩士論文從以下三方面展開研究:首先,針對海量數(shù)據(jù)的布局優(yōu)化進行研究。科學(xué)工作流在各數(shù)據(jù)中心的分布執(zhí)行需以海量的初始數(shù)據(jù)作為輸入,因此相關(guān)初始數(shù)據(jù)被各數(shù)據(jù)中心頻繁請求訪問。為了減小對初始數(shù)據(jù)的訪問代價,本文在考慮數(shù)據(jù)放置本地性的基礎(chǔ)上,引入數(shù)據(jù)訪問模式特征以及數(shù)據(jù)中心存儲等約束,將數(shù)據(jù)布局問題建模為整數(shù)規(guī)劃問題,提出一種基于拉格朗日松弛的高效數(shù)據(jù)放置算法。然后,針對復(fù)雜科學(xué)工作流的任務(wù)調(diào)度優(yōu)化進行研究。在初始數(shù)據(jù)合理布局的基礎(chǔ)上,為了減小工作流執(zhí)行過程中跨數(shù)據(jù)中心的數(shù)據(jù)通信,本文綜合考慮科學(xué)工作流復(fù)雜依賴關(guān)系、初始輸入數(shù)據(jù)預(yù)先放置、中間數(shù)據(jù)放置以及數(shù)據(jù)中心計算、存儲限制等特征,對工作流調(diào)度問題進行建模,準(zhǔn)確刻畫科學(xué)工作流調(diào)度的特點。同時,根據(jù)模型提出了一個基于多層粗化、細化圖劃分框架并采用特殊混合遺傳算法的啟發(fā)式方法。最后,實現(xiàn)并部署科學(xué)大數(shù)據(jù)應(yīng)用工作流管理系統(tǒng)。為了進一步驗證本文提出的執(zhí)行優(yōu)化策略的有效性,本文基于現(xiàn)有的工作流管理系統(tǒng)進行二次開發(fā),實現(xiàn)科學(xué)大數(shù)據(jù)應(yīng)用執(zhí)行的數(shù)據(jù)布局和工作流任務(wù)調(diào)度方法。同時基于東南大學(xué)云計算中心、曙光計算中心等多數(shù)據(jù)中心環(huán)境進行系統(tǒng)部署,驗證本文研究成果的有效性。本文對多數(shù)據(jù)中心環(huán)境下科學(xué)大數(shù)據(jù)應(yīng)用的執(zhí)行優(yōu)化機制進行深入研究,提出合理的數(shù)據(jù)布局方法和高效的工作流任務(wù)調(diào)度方法。通過大量的仿真實驗和真實多數(shù)據(jù)中心環(huán)境實驗表明,本文提出的優(yōu)化策略能夠有效減小科學(xué)工作流執(zhí)行過程中跨數(shù)據(jù)中心的數(shù)據(jù)傳輸,實現(xiàn)科學(xué)大數(shù)據(jù)應(yīng)用的執(zhí)行優(yōu)化。
【學(xué)位授予單位】：東南大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TP308
【圖文】：

子信息產(chǎn)生原始數(shù)據(jù)，原始數(shù)據(jù)經(jīng)過大存儲，供世界各地的科學(xué)家進行物理分具有以下特點：1）計算任務(wù)復(fù)雜。AM種物理分析等多步驟的復(fù)雜計算，這些和執(zhí)行依賴關(guān)系的科學(xué)計算任務(wù)組成的、仿真數(shù)據(jù)、重建數(shù)據(jù)和物理分析結(jié)果4PB。3）計算規(guī)模大。AMS 實驗包括蒙據(jù)統(tǒng)計，從 2011-2017 累計計算超過 6TB500TB2PB500TB400TB100TB數(shù)據(jù)分析據(jù)科學(xué)工作流數(shù)據(jù)布局工作流調(diào)度提交數(shù)據(jù)分析作業(yè)AMS科學(xué)家

其中 d 表示訪問模式中包含數(shù)據(jù)的個數(shù)，任意一個訪問模式 p∈P。如圖3-1 所示，闡釋了數(shù)據(jù)布局的過程。圖中包含 10 個不同的數(shù)據(jù)集和 4 種訪問模式：(1, 2),(3, 4, 5), (6, 7, 8), (9, 10)。數(shù)據(jù)和數(shù)據(jù)中心間的虛線表示將數(shù)據(jù)布局到該數(shù)據(jù)中心�？茖W(xué)數(shù)據(jù)集 X 被存儲到多個異地分布的數(shù)據(jù)中心內(nèi)，本文將數(shù)據(jù)中心集合表示為集合 K，集合大小為|K|。本文假設(shè)每個數(shù)據(jù) x∈X 都只存儲于一個數(shù)據(jù)中心內(nèi)且占據(jù)數(shù)據(jù)中心存儲資源 sizex，每個數(shù)據(jù)中心的存儲容量也各不相同。為了與實際情況相符，本文假設(shè)數(shù)據(jù)中心 k∈K 的存儲容量為 Ck，且存放在數(shù)據(jù)中心 k 的數(shù)據(jù)存儲大小不超過 Ck。因此，數(shù)據(jù)到數(shù)據(jù)中心的映射函數(shù)可以定義為 M ：x→k，表示數(shù)據(jù) x 存儲到數(shù)據(jù)中心 k 中。DC1 DC2 DC3Data itemRequest patternData centerRequest rateData DC mapping12345678910圖 3-1 多數(shù)據(jù)中心環(huán)境中數(shù)據(jù)布局示意圖在科學(xué)大數(shù)據(jù)應(yīng)用的執(zhí)行過程中

圖 3-2 關(guān)聯(lián)數(shù)據(jù)訪問代價問代價比較算法的遠程數(shù)據(jù)訪問代價進行比較。各算法的代理。MostLocalized 算法獲得最好的結(jié)果，因為據(jù)的量最大的數(shù)據(jù)中心內(nèi)。由于被大量請求的

【相似文獻】

相關(guān)期刊論文 前10條

1 張乃帥;杜曉峰;;北京大學(xué) 數(shù)據(jù)中心遷移中的虛擬化力量[J];中國教育網(wǎng)絡(luò);2019年Z1期

2 ;浪潮存儲獲“用戶滿意數(shù)據(jù)中心解決方案”大獎[J];科技浪潮;2009年05期

3 ;云操作系統(tǒng) 云數(shù)據(jù)中心神經(jīng)系統(tǒng)[J];科技浪潮;2011年03期

4 ;浪潮發(fā)布云海集裝箱數(shù)據(jù)中心[J];科技浪潮;2011年03期

5 趙吉志;;淺談數(shù)據(jù)中心綠色分級評估方法[J];科技浪潮;2012年05期

6 趙吉志;;數(shù)據(jù)中心效能評估指標(biāo)簡介[J];科技浪潮;2013年02期

7 ;云操作系統(tǒng) 云數(shù)據(jù)中心神經(jīng)系統(tǒng)[J];科技浪潮;2011年S1期

8 ;浪潮推出云海集裝箱數(shù)據(jù)中心[J];科技浪潮;2011年02期

9 ;浪潮“行業(yè)云”和云數(shù)據(jù)中心演示引人注目[J];科技浪潮;2011年02期

10 李卓暉;;電網(wǎng)企業(yè)數(shù)據(jù)中心能效測量與計算方法研究[J];南方能源建設(shè);2018年04期

相關(guān)會議論文 前10條

1 楊羽虎;;甘肅省煙草專賣商業(yè)系統(tǒng)數(shù)據(jù)中心面臨的安全風(fēng)險及對策[A];中國煙草學(xué)會2016年度優(yōu)秀論文匯編—— 信息化管理主題[C];2016年

2 關(guān)麗紅;劉彥

本文編號：2798484