發(fā)布時間：2018-01-14 05:10

  本文關鍵詞：一種科學工作流的云數(shù)據(jù)布局與任務調(diào)度策略　出處：《計算機仿真》2015年03期 　論文類型：期刊論文

  更多相關文章： 云計算 科學工作流 數(shù)據(jù)依賴 數(shù)據(jù)布局 任務調(diào)度

【摘要】：云計算環(huán)境下,數(shù)據(jù)密集型科學工作流的數(shù)據(jù)文件在多數(shù)據(jù)中心間的合理布局,對科學工作流的執(zhí)行效率具有很大的影響。根據(jù)科學工作流各數(shù)據(jù)集之間的依賴關系,并聚焦于運行科學工作流的各數(shù)據(jù)中心的處理能力差異和網(wǎng)絡性能差異,提出一種可提高科學工作流執(zhí)行性能的數(shù)據(jù)布局以及數(shù)據(jù)布局敏感的任務調(diào)度策略。分析和實驗表明,上述策略可有效減少科學工作流運行時跨數(shù)據(jù)中心的數(shù)據(jù)傳輸,降低科學工作流的運行時間,從而提高科學工作流整體運行效率。
[Abstract]:In the cloud computing environment, the rational layout of data files in multi-data centers of data-intensive scientific workflow. It has great influence on the execution efficiency of scientific workflow. According to the dependence of each data set of scientific workflow, it focuses on the difference of processing power and network performance of each data center running scientific workflow. This paper presents a data layout and task scheduling strategy which can improve the performance of scientific workflow execution. The analysis and experimental results show that the task scheduling strategy is sensitive to the data layout. The above strategies can effectively reduce the data transmission between the data center and the running time of the scientific workflow, and thus improve the overall efficiency of the scientific workflow.
【作者單位】： 西北師范大學計算機科學與工程學院;
【基金】：國家自然科學基金項目(61462076) 甘肅省科技支撐計劃項目(1104GKCA023) 甘肅省科技攻關項目(1208RJZA134)
【分類號】：TP308
【正文快照】： 1引言科學工作流作為近年來出現(xiàn)的一種新的應用泛型,可集成、構造和協(xié)同分布異構的數(shù)據(jù)、服務和軟件,提高科學實驗過程的自動化�？茖W工作流應用通常是數(shù)據(jù)和計算密集型的[1],例如:生物信息領域使用的DNA測序技術每輪測序可產(chǎn)生多達600GB的基因數(shù)據(jù)[2],而一次蛋白質(zhì)實驗的計算

【參考文獻】

相關期刊論文 前4條

1 鄭湃;崔立真;王海洋;徐猛;;云計算環(huán)境下面向數(shù)據(jù)密集型應用的數(shù)據(jù)布局策略與方法[J];計算機學報;2010年08期

2 劉少偉;孔令梅;任開軍;宋君強;鄧科峰;冷洪澤;;云環(huán)境下優(yōu)化科學工作流執(zhí)行性能的兩階段數(shù)據(jù)放置與任務調(diào)度策略[J];計算機學報;2011年11期

3 張鵬;王桂玲;徐學輝;;云計算環(huán)境下適于工作流的數(shù)據(jù)布局方法[J];計算機研究與發(fā)展;2013年03期

4 郭力爭;趙曙光;姜長遠;;云計算環(huán)境下基于關聯(lián)量的數(shù)據(jù)部署與任務調(diào)度[J];計算機工程與科學;2013年08期

【共引文獻】

相關期刊論文 前10條

1 王德文;;基于云計算的電力數(shù)據(jù)中心基礎架構及其關鍵技術[J];電力系統(tǒng)自動化;2012年11期

2 王晟;趙壁芳;;面向云計算的數(shù)據(jù)管理技術研究[J];電腦知識與技術;2012年13期

3 胡海洋;劉占晨;胡華;;云計算環(huán)境下一種面向科學工作流不確定數(shù)據(jù)源的視圖構造方法[J];電信科學;2013年03期

4 張瑞;;云計算及云儲存生態(tài)系統(tǒng)研究[J];電子設計工程;2013年08期

5 程飛;;基于云計算的圖書數(shù)據(jù)庫查詢方法研究[J];計算機光盤軟件與應用;2013年07期

6 叢龍水;;油田物探行業(yè)云計算方案設計[J];計算機光盤軟件與應用;2013年12期

7 王德文;肖磊;肖凱;;智能變電站海量在線監(jiān)測數(shù)據(jù)處理方法[J];電力自動化設備;2013年08期

8 金朔平;;云計算與物聯(lián)網(wǎng)安全問題研究[J];計算機光盤軟件與應用;2013年11期

9 郭力爭;王永皎;趙曙光;沈士根;姜長元;;Particle Swarm Optimization Embedded in Variable Neighborhood Search for Task Scheduling in Cloud Computing[J];Journal of Donghua University(English Edition);2013年02期

10 宋杰;李甜甜;閆振興;朱志良;;數(shù)據(jù)密集型計算中負載均衡的數(shù)據(jù)布局方法[J];北京郵電大學學報;2013年04期

相關會議論文 前1條

1 王源;岳昆;方啟宇;劉惟一;;CloudBN:基于云計算的概率圖模型學習系統(tǒng)[A];第29屆中國數(shù)據(jù)庫學術會議論文集（B輯）（NDBC2012）[C];2012年

相關博士學位論文 前10條

1 伍章俊;云工作流服務組合與活動調(diào)度策略研究[D];合肥工業(yè)大學;2011年

2 馬艷;基于能耗和成本的資源管理與調(diào)度策略研究[D];山東大學;2012年

3 何文娜;大數(shù)據(jù)時代基于物聯(lián)網(wǎng)和云計算的地質(zhì)信息化研究[D];吉林大學;2013年

4 劉燦由;電子海圖云服務關鍵技術研究與實踐[D];解放軍信息工程大學;2013年

5 韓海雯;MapReduce計算任務調(diào)度的資源配置優(yōu)化研究[D];華南理工大學;2013年

6 劉明銘;資源適應型多粒度負載的均衡機制及應用研究[D];南開大學;2013年

7 黃鑫;可擴展的數(shù)據(jù)中心網(wǎng)絡互聯(lián)關鍵技術研究[D];武漢大學;2014年

8 董玉雙;云平臺中虛擬機部署的關鍵問題研究[D];吉林大學;2014年

9 樊沛;虛擬計算環(huán)境中面向通信特征的應用部署優(yōu)化技術研究[D];國防科學技術大學;2012年

10 龍賽琴;云存儲系統(tǒng)中的數(shù)據(jù)布局策略研究[D];華南理工大學;2014年

相關碩士學位論文 前10條

1 王賢偉;基于Hadoop的外觀專利圖像檢索系統(tǒng)的研究與實現(xiàn)[D];廣東工業(yè)大學;2011年

2 鐘海;面向云計算環(huán)境的應用遷移策略及資源管理技術研究[D];云南大學;2011年

3 劉少偉;基于云計算的科學工作流數(shù)據(jù)存儲策略研究[D];國防科學技術大學;2011年

4 劉飛;基于云計算的分布式存儲系統(tǒng)的研究和應用[D];西安工業(yè)大學;2012年

5 田宏偉;云計算環(huán)境下資源分配策略的研究[D];山東師范大學;2012年

6 孟穎;基于蟻群優(yōu)化的聚類算法分析與研究[D];長沙理工大學;2012年

7 尹海波;云計算環(huán)境下分布式應用系統(tǒng)的監(jiān)控平臺設計[D];中南林業(yè)科技大學;2012年

8 鄭天紅;基于Hadoop的網(wǎng)絡流量分流并行化設計與實現(xiàn)[D];內(nèi)蒙古大學;2012年

9 汪妮;基于移動平臺的交互式圖形開發(fā)環(huán)境的研究與實現(xiàn)[D];西北大學;2012年

10 陳堅;虛擬化技術在證券交易系統(tǒng)的可用性[D];上海交通大學;2012年

【二級參考文獻】

相關期刊論文 前5條

1 曾志;劉仁義;張豐;劉南;;面向云的分布式集群四叉樹任務分配策略[J];電信科學;2010年10期

2 韓燕波;王洪翠;王建武;閆淑英;張程;;一種支持最終用戶探索式組合服務的方法[J];計算機研究與發(fā)展;2006年11期

3 鄭湃;崔立真;王海洋;徐猛;;云計算環(huán)境下面向數(shù)據(jù)密集型應用的數(shù)據(jù)布局策略與方法[J];計算機學報;2010年08期

4 張春艷;劉清林;孟珂;;基于蟻群優(yōu)化算法的云計算任務分配[J];計算機應用;2012年05期

5 韓燕波;孫君意;王桂玲;李厚福;;A Cloud-Based BPM Architecture with User-End Distribution of Non-Compute-Intensive Activities and Sensitive Data[J];Journal of Computer Science & Technology;2010年06期

【相似文獻】

相關期刊論文 前10條

1 丁柯 ,金蓓弘 ,馮玉琳;事務工作流的建模和分析[J];計算機學報;2003年10期

2 陳鵬飛,張鋼,王慶節(jié);工作流管理原型系統(tǒng)的設計與實現(xiàn)[J];微處理機;2003年05期

3 夏曉東,王保義,張少敏;基于工作流思想的辦公自動化系統(tǒng)的開發(fā)[J];微機發(fā)展;2003年S1期

4 張子平,彭志宏,嚴召進,王遠志;企業(yè)工作流機模型的設計[J];微計算機信息;2003年10期

5 鄧珍榮;基于向后恢復的多層工作流事務管理模型[J];廣西科學院學報;2004年03期

6 陳大峰,吳泉源,劉必欣;工作流資源指派技術的研究與實現(xiàn)[J];計算機應用研究;2004年08期

7 張翼英,張翼飛;工作流管理系統(tǒng)的結(jié)構與應用[J];遼寧商務職業(yè)學院學報(社會科學版);2004年03期

8 徐方平,葉丹;工作流在電力生產(chǎn)管理信息系統(tǒng)中的應用[J];農(nóng)村電氣化;2004年11期

9 壽志勤,李樂明,崇大志;一個面向政務流程的工作流管理系統(tǒng)分析與構建[J];電子政務;2005年10期

10 莫國明,姚路;淺談工作流技術在“數(shù)字勘測”中的應用[J];福建電腦;2005年02期

相關會議論文 前10條

1 常群;王海洋;;基于長短事務分離的工作流事務模型[A];第十九屆全國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2002年

2 馬帥;王海洋;王文;;事務工作流及其錯誤處理策略[A];第十七屆全國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2000年

3 劉慶;劉英博;王建民;;基于工作流日志的層次化角色挖掘[A];第二十四屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2007年

4 袁征;肖宇;;基于事例處理的工程項目工作流管理[A];土木建筑學術文庫(第12卷)[C];2009年

5 王飛;李郴;薛清龍;胡曉鑫;;基于工作流技術的銀行影像系統(tǒng)的研究和開發(fā)[A];煤礦自動化與信息化——第19屆全國煤礦自動化與信息化學術會議暨中國礦業(yè)大學（北京）百年校慶學術會議論文集[C];2009年

6 劉建勛;陳海燕;;工作流管理系統(tǒng)中基于組織結(jié)構約束的授權研究[A];全國第16屆計算機科學與技術應用（CACIS）學術會議論文集[C];2004年

7 魏連;許榕生;;基于工作流技術的手機取證系統(tǒng)的設計與實現(xiàn)[A];第13屆全國計算機、網(wǎng)絡在現(xiàn)代科學技術領域的應用學術會議論文集[C];2007年

8 壽志勤;李樂明;崇大志;;一個面向政務流程的工作流管理系統(tǒng)分析與構建[A];中國行政管理學會2005年年會暨“政府行政能力建設與構建和諧社會”研討會論文集[C];2005年

9 鄒盟軍;黃煒;;基于組件的工作流管理平臺的設計與實現(xiàn)[A];廣東省電機工程學會2003-2004年度優(yōu)秀論文集[C];2005年

10 張博;楊帆;;基于表單的工作流管理系統(tǒng)設計[A];第十四屆中國科協(xié)年會第5分會場：綠色船舶與海洋裝備創(chuàng)新發(fā)展及產(chǎn)業(yè)化論壇論文集[C];2012年

相關重要報紙文章 前10條

1 何進偉;還工作流管理一個說法[N];中國計算機報;2003年

2 徐昊;工作流是下一個“金礦”[N];中國計算機報;2003年

3 ;《工作流管理——模型、方法和系統(tǒng)》出版[N];中華讀書報;2004年

4 胡長城;工作流:國內(nèi)國際兩極分化[N];計算機世界;2007年

5 工作流資深專家 游青華;如何選擇一個適合的工作流平臺[N];中國計算機報;2007年

6 劉喜喜;超越工作流管理[N];中國計算機報;2006年

7 ;北京商能 實現(xiàn)電子化工作流體系[N];中國計算機報;2009年

8 劉錟;Lotus Domino/Notes工作流在辦公自動化中的應用[N];計算機世界;2005年

9 蔣明煒 戴寶純 吳英;工作流管理使企業(yè)系統(tǒng)實現(xiàn)集成[N];中國鄉(xiāng)鎮(zhèn)企業(yè)報;2004年

10 沈建苗 編譯;基于Spring創(chuàng)建工作流引擎[N];計算機世界;2006年

相關博士學位論文 前3條

1 王朝霞;數(shù)據(jù)感知工作流的建模與驗證[D];清華大學;2012年

2 盧偉倬;建設項目工作流精益管理研究[D];哈爾濱工業(yè)大學;2008年

3 楊曉輝;基于服務組織的開放Agent社會研究[D];天津大學;2012年

相關碩士學位論文 前10條

1 李曉鑫;基于工作流的提案協(xié)同辦公系統(tǒng)設計與實現(xiàn)[D];上海交通大學;2011年

2 周霞;柔性工作流管理系統(tǒng)引擎的研究與實現(xiàn)[D];南京航空航天大學;2006年

3 任俠;支持業(yè)務過程持續(xù)改善的工作流仿真工具設計與實現(xiàn)[D];國防科學技術大學;2005年

4 周鑫淼;基于工作流管理的項目管理應用研究[D];合肥工業(yè)大學;2012年

5 楊麗;天津市質(zhì)檢院辦公自動化系統(tǒng)的設計與實現(xiàn)[D];天津大學;2012年

6 趙振鋼;基于遺傳算法的工作流挖掘設計與研究[D];浙江工業(yè)大學;2012年

7 鄭冠華;基于工作流的服務定制研究[D];西北師范大學;2013年

8 劉黎軍;商貿(mào)企業(yè)工作流管理系統(tǒng)的研究與實現(xiàn)[D];天津大學;2009年

9 朱梅;基于工作流管理系統(tǒng)的煉化公司信息平臺系統(tǒng)研究與實現(xiàn)[D];西北大學;2008年

10 施紅峰;基于工作流技術的大學生公寓管理系統(tǒng)的設計與實現(xiàn)[D];電子科技大學;2012年

，

本文編號：1422139