本文關鍵詞：數(shù)據(jù)共享型科學云工作流的數(shù)據(jù)布局策略研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：科學工作流是一種基于數(shù)據(jù)驅(qū)動的數(shù)據(jù)密集型和計算密集型工作流,能夠自動化處理用戶的業(yè)務需求。正因為其能夠科學的管理、傳輸、分析、模擬并通過可視化手段來幫助科研人員進行科學研究,科學工作流己在眾多科學研究領域中被廣泛使應用,如高能物理、氣象預測、生命信息等科學領域。伴隨著信息技術的長足發(fā)展,云計算正逐漸成為下一代的信息技術平臺。云計算服務提供商可以通過互聯(lián)網(wǎng)以計費的方式為用戶提供海量、廉價、動態(tài)的計算、存儲和網(wǎng)絡資源。云計算平臺所具有的高性能、可擴展和彈性的計算模式大幅降低了研究機構(gòu)、企業(yè)和政府構(gòu)建業(yè)務系統(tǒng)所需的資金門檻和資源成本,為執(zhí)行數(shù)據(jù)密集型工作流系統(tǒng)提供了理想的運行環(huán)境。因此,基于云計算的科學工作流管理系統(tǒng)己成為學術界和工業(yè)界研究和應用的一個熱點。雖然科學云工作流數(shù)據(jù)管理擁有與生俱來的優(yōu)勢,但其數(shù)據(jù)布局管理在“大數(shù)據(jù)”時代中仍面臨諸多挑戰(zhàn)。科學云工作流通常由多個不同的科研機構(gòu)、院校、企業(yè)、政府部門的研究小組、團隊共同合作開展的,工作流內(nèi)部、之間普遍存在數(shù)據(jù)共享和交互現(xiàn)象,對于“大數(shù)據(jù)”時代中海量數(shù)據(jù)所具有的隱私性、共享性、階段性,云數(shù)據(jù)中心具有的多用戶性、多任務性,云服務的動態(tài)性和不確定性等特點,數(shù)據(jù)共享型工作流數(shù)據(jù)布局研究變得尤為重要。學術界已有一些研究致力于優(yōu)化數(shù)據(jù)在云數(shù)據(jù)中心中的存儲,但其所獲得的數(shù)據(jù)布局方案大多基于數(shù)據(jù)和任務之間的依賴關系,既沒有充分考慮到工作流中數(shù)據(jù)的不同屬性對布局的影響,又沒有對工作流之間的數(shù)據(jù)共享對數(shù)據(jù)布局的影響程度進行細致研究。在已有對工作流數(shù)據(jù)布局研究基礎上,本文總結(jié)傳統(tǒng)數(shù)據(jù)布局策略,并命名為任務層數(shù)據(jù)布局策略；對數(shù)據(jù)共享型科學工作流的數(shù)據(jù)布局進行深入研究,設計出一種工作流層數(shù)據(jù)布局策略。它通過優(yōu)化工作流布局框架、模型和細化工作流的數(shù)據(jù)類型,并采用基于粒子群優(yōu)化算法的兩個階段數(shù)據(jù)布局方法來優(yōu)化數(shù)據(jù)布局方案,以降低工作流執(zhí)行時的數(shù)據(jù)傳輸費用。本文的主要工作和創(chuàng)新點具體如下：1.針對工作流系統(tǒng)中的數(shù)據(jù)、任務和存儲資源,研究不同屬性數(shù)據(jù)與數(shù)據(jù)之間,數(shù)據(jù)與任務之間,任務與任務之間的依賴關系,以及數(shù)據(jù)在數(shù)據(jù)中心的存儲情況�？茖W工作流是一種數(shù)據(jù)密集型業(yè)務流程,任務在執(zhí)行時需要大量的相關數(shù)據(jù),因此會和數(shù)據(jù)形成一種多對多的關系。工作流中的數(shù)據(jù)可劃分成多種類型,如初始數(shù)據(jù)(或原始數(shù)據(jù))、生成數(shù)據(jù)(或中間數(shù)據(jù))、隱私數(shù)據(jù)、共享數(shù)據(jù)、固定數(shù)據(jù)等等。由于工作流業(yè)務流程的靈活多變,導致其數(shù)據(jù)和任務之間的關系十分復雜,并且出于安全等因素考慮,這些相關數(shù)據(jù)和任務往往被存儲于多個云數(shù)據(jù)中心。因此本文會系統(tǒng)的分析、歸納數(shù)據(jù)類型,理清數(shù)據(jù)和任務的依賴關系,方便對后續(xù)工作流布局框架和數(shù)據(jù)布局模型的整合與優(yōu)化。2.結(jié)合已有數(shù)據(jù)布局研究,總結(jié)出傳統(tǒng)的任務層(Task-Level)數(shù)據(jù)布局模型,給出相關定義和數(shù)據(jù)傳輸計費模型。已有的一些云工作流數(shù)據(jù)布局模型過于抽象,且主要研究科學云工作流在執(zhí)行過程中的數(shù)據(jù)傳輸次數(shù)、數(shù)據(jù)傳輸量和數(shù)據(jù)傳輸時間。雖然這些參數(shù)能夠表征數(shù)據(jù)布局方法的性能優(yōu)劣,但用戶最關心的是工作流在云平臺中運行所產(chǎn)生的花費。本文根據(jù)工作流的不同數(shù)據(jù)類型,系統(tǒng)的建模云工作流,分析工作流內(nèi)部的數(shù)據(jù)共享現(xiàn)象,并從用戶角度出發(fā),通過建模工作流數(shù)據(jù)傳輸費用模型來獲得工作流執(zhí)行時的數(shù)據(jù)傳輸費用,衡量布局方法性能優(yōu)劣。3.針對任務層數(shù)據(jù)布局模型不足,提出一種工作流層Workflow-Level)數(shù)據(jù)布局框架、傳輸計費模型來優(yōu)化布局方案,降低數(shù)據(jù)傳輸費用�？茖W云工作流是一種多用戶協(xié)作的業(yè)務流程,其任務在執(zhí)行過程中往往需要多個不同的科研機構(gòu)、院校、企業(yè)甚至政府部門之間的分工協(xié)作。不僅工作流內(nèi)部之間存在數(shù)據(jù)共享,多個工作流之間也存在數(shù)據(jù)共享現(xiàn)象,如相同數(shù)據(jù)會被用于不同的研究方向,導致不同工作流間存在數(shù)據(jù)共享現(xiàn)象。任務層數(shù)據(jù)布局模型孤立的布局每個工作流,并沒有考慮工作流之間的共享數(shù)據(jù)集,且數(shù)據(jù)布局的靈活性低,導致工作流總體數(shù)據(jù)開銷大。為此,本項目從共享數(shù)據(jù)出發(fā),通過分析、整合工作流布局框架,研究基于數(shù)據(jù)依賴的共享型工作流框架,將存在數(shù)據(jù)共享的多個工作流整合成一個工作流,從工作流層研究數(shù)據(jù)布局計費模型,優(yōu)化數(shù)據(jù)布局方案,降低傳輸費用。4.結(jié)合云工作流的生命周期和數(shù)據(jù)的不同屬性,為數(shù)據(jù)共享型科學云工作流設計出一種兩個階段的數(shù)據(jù)布局方法,該布局方法通過調(diào)用離散型粒子群優(yōu)化數(shù)據(jù)布局算法(Discrete Particle Swarm Optimization Data Placement Algorithm,DPSO-DPA),對不同階段、不同屬性的數(shù)據(jù)進行布局優(yōu)化。云工作流的數(shù)據(jù)布局是一個NP難問題,目前有兩大類布局方法用于求解數(shù)據(jù)布局：聚類方法和智能方法,且主要研究工作流在執(zhí)行過程中的數(shù)據(jù)傳輸次數(shù)、傳輸時間和傳輸費用。聚類方法通�；跀�(shù)據(jù)中心的負載均衡,利用數(shù)據(jù)之間的依賴關系,將數(shù)據(jù)劃分成幾個獨立的數(shù)據(jù)塊,然后將這些數(shù)據(jù)塊布局到數(shù)據(jù)中心。在實際的云環(huán)境中,云數(shù)據(jù)中心的容量近乎無限,根本不需要考慮數(shù)據(jù)存儲會導致云數(shù)據(jù)中心過載。智能方法則能夠根據(jù)云工作流和用戶的具體需求,提供適應性強的數(shù)據(jù)布局方案。粒子群優(yōu)化方法屬于智能方法,因其具有參數(shù)少、計算成本低、收斂快、求解效率高等特點被廣泛應用于函數(shù)優(yōu)化、任務調(diào)度、數(shù)據(jù)布局等領域。工作流層數(shù)據(jù)布局策略包括兩個階段,構(gòu)建階段(Build-Time)和運行階段(Runtime)。在工作流構(gòu)建階段布局初始數(shù)據(jù),并調(diào)用本文設計的DPSO-DPA算法獲得初始靈活數(shù)據(jù)的布局方案；在運行階段調(diào)用DPSO-DPA算法獲得生成靈活數(shù)據(jù)的布局方案。通過整合兩個階段,獲得整個工作流的最終數(shù)據(jù)布局方案。本文總結(jié)了傳統(tǒng)任務層數(shù)據(jù)布局策略,分析工作流的數(shù)據(jù)共享現(xiàn)象,提出一種數(shù)據(jù)共享型云工作流布局框架、數(shù)據(jù)布局模型,設計面向工作流層的數(shù)據(jù)傳輸代價模型、離散型粒子群布局算法。通過使用兩個階段的數(shù)據(jù)布局方法,獲得數(shù)據(jù)布局方案。實驗表明,本文的數(shù)據(jù)布局方法魯棒性最強,性能最優(yōu),得到的布局方案傳輸費用也最低。
【關鍵詞】：云計算 科學工作流 數(shù)據(jù)共享 數(shù)據(jù)布局 粒子群優(yōu)化
【學位授予單位】：安徽大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP393.09
【目錄】：

• 摘要3-6
• ABSTRACT6-12
• 第一章 緒論12-24
• 1.1 引言12-16
• 1.1.1 課題研究背景12-13
• 1.1.2 研究目的與意義13-16
• 1.2 國內(nèi)外研究現(xiàn)狀16-19
• 1.2.1 科學云工作流管理系統(tǒng)17-18
• 1.2.2 商業(yè)云工作流管理系統(tǒng)18
• 1.2.3 云工作流數(shù)據(jù)布局概述18-19
• 1.3 論文研究內(nèi)容19-22
• 1.4 論文組織結(jié)構(gòu)22-23
• 1.5 本章小結(jié)23-24
• 第二章 科學工作流數(shù)據(jù)布局相關研究24-28
• 2.1 本地硬盤存儲環(huán)境下的數(shù)據(jù)布局24-25
• 2.2 傳統(tǒng)分布式環(huán)境下的數(shù)據(jù)布局25
• 2.3 云計算環(huán)境下的數(shù)據(jù)布局25-27
• 2.4 本章小結(jié)27-28
• 第三章 任務層數(shù)據(jù)布局模型28-36
• 3.1 工作流相關定義28-30
• 3.2 任務層問題分析30-33
• 3.2.1 任務層問題分析30-31
• 3.2.2 任務層數(shù)據(jù)傳輸計費模型31-32
• 3.2.3 數(shù)據(jù)布局開銷分析32-33
• 3.3 任務層數(shù)據(jù)傳輸計費模型33-35
• 3.4 本章小結(jié)35-36
• 第四章 工作流層數(shù)據(jù)布局模型36-45
• 4.1 數(shù)據(jù)共享36-37
• 4.2 共享型云工作流相關定義37-38
• 4.3 工作流層問題分析38-41
• 4.3.1 工作流層數(shù)據(jù)布局過程39-40
• 4.3.2 數(shù)據(jù)布局開銷分析40-41
• 4.4 工作流層云工作流布局框架41-42
• 4.5 工作流層數(shù)據(jù)布局傳輸計費模型42-44
• 4.6 本章小結(jié)44-45
• 第五章 共享型科學云工作流數(shù)據(jù)布局策略45-52
• 5.1 基于離散粒子群優(yōu)化的數(shù)據(jù)布局算法45-49
• 5.1.1 離散型粒子群優(yōu)化算法45-46
• 5.1.2 適應值函數(shù)46-47
• 5.1.3 數(shù)據(jù)布局算法47-49
• 5.2 兩個階段數(shù)據(jù)布局方法49-51
• 5.2.1 構(gòu)建階段49-50
• 5.2.2 運行階段50-51
• 5.3 本章小結(jié)51-52
• 第六章 實驗52-65
• 6.1 仿真策略52-53
• 6.2 實驗設置53-54
• 6.3 實驗結(jié)果54-64
• 6.3.1 特定工作流布局結(jié)果54-56
• 6.3.2 一般工作流布局結(jié)果56-63
• 6.3.3 布局結(jié)果分析63-64
• 6.4 本章小結(jié)64-65
• 第七章 總結(jié)與展望65-67
• 7.1 總結(jié)65-66
• 7.2 展望66-67
• 參考文獻67-76
• 致謝76-77
• 攻讀碩士學位期間發(fā)表的學術論文77-78
• 附錄A：圖索引78-79
• 附錄B：表索引79-80
• 附錄C：工作流任務子結(jié)構(gòu)80

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 李華,李燕,姚文琳;工作流管理[J];山東輕工業(yè)學院學報(自然科學版);2000年04期

2 劉建勛,李仁發(fā),張申生;工作流管理系統(tǒng)及其在郵電號線管理中的應用[J];計算機工程與應用;2001年18期

3 汪濤,吳耿鋒,黃力芹;工作流管理的現(xiàn)狀和未來趨勢[J];小型微型計算機系統(tǒng);2001年02期

4 汪濤,黃力芹,吳耿鋒;工作流管理的發(fā)展歷程和趨勢[J];計算機工程與科學;2001年01期

5 羅海濱,范玉順,吳澄;工作流合理性驗證中的事件平衡分析[J];軟件學報;2002年08期

6 周尊國 ,田偉;工作流管理系統(tǒng)在電力企業(yè)管理信息系統(tǒng)中的應用[J];山東電力技術;2002年02期

7 黃鈞 ,范永全 ,郭勇;工作流管理系統(tǒng)在建設項目管理中的應用[J];微型機與應用;2002年09期

8 張志君,范玉順;一種高性能的分布式工作流系統(tǒng)實現(xiàn)框架[J];計算機集成制造系統(tǒng)-CIMS;2003年06期

9 趙衛(wèi)東,戴偉輝;基于角色的跨組織工作流研究[J];系統(tǒng)工程與電子技術;2003年08期

10 曾穎;工作流技術在電信行業(yè)中應用的探討[J];福建電腦;2005年05期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 卓蔚;陳思;張侃弘;;工作流管理技術淺談——如何實現(xiàn)企業(yè)業(yè)務信息化的工作流管理[A];上海煙草系統(tǒng)2002年度學術論文選編[C];2002年

2 李暉;王海洋;王文;;面向事務的工作流活動模型[A];第十七屆全國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2000年

3 連杰鑫;劉家茂;顧寧;;基于協(xié)作依賴的工作流過程優(yōu)化[A];第二十屆全國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2003年

4 李新;薛永生;;可重構(gòu)工作流系統(tǒng)設計方法研究[A];第二十屆全國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2003年

5 葉壽生;汪濤;郭永林;;LTFP intelliFlow~汶工作流管理系統(tǒng)[A];第二十一屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2004年

6 馮波;徐建良;;支持動態(tài)變化的工作流元模型的研究與應用[A];第二十一屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2004年

7 丁華;王秀坤;周永暉;;基于改進移動模型的遷移工作流研究[A];第二十二屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2005年

8 崔立真;王海洋;;基于主動過程視圖的工作流管理和監(jiān)控[A];第二十一屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2004年

9 歐陽青;;工作流技術在高校教育管理系統(tǒng)中的應用研究[A];第十八屆玻璃鋼/復合材料學術年會論文集[C];2010年

10 呂剛;王堅;嚴雋薇;董志斌;;工作流技術及其在制造企業(yè)中的應用研究[A];第二十屆中國控制會議論文集（下）[C];2001年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 莊志澄;成功實施工作流管理系統(tǒng)[N];中國計算機報;2003年

2 中國石油勘探開發(fā)研究院西北分院 柏東明　曾麗花 郭以東;定制企業(yè)工作流服務[N];計算機世界;2011年

3 中國建設銀行湖北分行信息技術部李濤、婁國偉、曾欽祥、吳安平、童海濤;實現(xiàn)多任務域工作流[N];計算機世界;2004年

4 王沛霖;駕馭流程 創(chuàng)造價值[N];中國計算機報;2004年

5 李農(nóng)、張京輝;客服中心上檔次依賴工作流管理系統(tǒng)[N];中國計算機報;2002年

6 何吟;“行業(yè)”標簽讓SunFlow更醒目[N];計算機世界;2004年

7 優(yōu)利系統(tǒng)（中國）有限公司 倪佳;影像與工作流技術在銀行業(yè)的應用[N];網(wǎng)絡世界;2001年

8 鄒洪強;應用系統(tǒng)的另類整合[N];計算機世界;2005年

9 中國軟件評測中心 于春玲;企業(yè)業(yè)務流程管理系統(tǒng)的新亮點[N];中國計算機報;2004年

10 山西焦煤集團駐深圳辦事處 劉鵬;基于企業(yè)過程建模的工作流管理系統(tǒng)研究[N];山西科技報;2002年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 劉怡;基于工作流的連鎖超市生鮮貨品營運流程管理研究[D];華中科技大學;2007年

2 劉英博;工作流運行時人員智能分配技術研究[D];清華大學;2008年

3 王睿;面向目標的遷移工作流主動服務方法研究[D];山東大學;2009年

4 吳修國;面向目標的遷移工作流建模方法研究[D];山東大學;2010年

5 丁柯;網(wǎng)絡分布計算中的事務工作流研究[D];中國科學院研究生院（軟件研究所）;2003年

6 肖鄭進;面向企業(yè)應用的工作流精簡建模研究[D];浙江大學;2006年

7 柯飛帆;面向分布應用的工作流管理系統(tǒng)研究與實現(xiàn)[D];南京航空航天大學;2006年

8 田珂;開放網(wǎng)絡環(huán)境下工作流管理系統(tǒng)的技術研究[D];電子科技大學;2006年

9 程杰;遷移工作流過程分解及其規(guī)劃方法研究[D];山東大學;2011年

10 高昂;基于多種視角的工作流挖掘技術研究[D];北京科技大學;2010年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 王世鋒;基于客戶交互關系的服務工作流優(yōu)化技術研究[D];中南大學;2008年

2 嚴剛;分布式工作流事務處理建模與設計[D];上海交通大學;2009年

3 李敬剛;基于活動信息傳遞的工作流驗證的研究與實現(xiàn)[D];大連理工大學;2010年

4 彭永;基于移動Agent工作流的研究與實現(xiàn)[D];哈爾濱工程大學;2010年

5 梁曉明;工作流技術及其在外商投資審批（綠色通道）中的應用[D];機械科學研究院;2002年

6 段江波;工作流管理系統(tǒng)的安全研究[D];大連理工大學;2005年

7 趙淳;一種可適應性工作流的研究與實現(xiàn)[D];中國科學院研究生院（軟件研究所）;2005年

8 張海;工作流技術在法院案件管理系統(tǒng)中的應用[D];河海大學;2007年

9 周文斌;基于角色訪問控制的工作流管理系統(tǒng)的信息安全研究[D];同濟大學;2007年

10 楊環(huán);分散式跨組織工作流執(zhí)行模型的研究[D];浙江大學;2012年

  本文關鍵詞：數(shù)據(jù)共享型科學云工作流的數(shù)據(jù)布局策略研究，由筆耕文化傳播整理發(fā)布。

本文編號：309656