多個云環(huán)境下大數(shù)據(jù)工作流性能優(yōu)化算法的設(shè)計與實現(xiàn)
本文關(guān)鍵詞: 工作流映射 云計算 性能優(yōu)化 大數(shù)據(jù) 出處:《西北大學(xué)》2017年碩士論文 論文類型:學(xué)位論文
【摘要】:隨著云計算技術(shù)的不斷發(fā)展,融合多個云計算環(huán)境的混合云越來越得到廣泛的應(yīng)用。在許多科研應(yīng)用程序中,要得到最終結(jié)果需要執(zhí)行一系列任務(wù)。而這些任務(wù),如數(shù)據(jù)生成、處理、分析等,之間存在著相互依存的關(guān)系,這些任務(wù)組合及其相互依存關(guān)系構(gòu)成了工作流。在很多具體的大數(shù)據(jù)應(yīng)用實踐中,工作流技術(shù)已經(jīng)成為不可或缺的一部分。目前云計算服務(wù)分為三種:軟件即服務(wù)(Software as a Service,SaaS),平臺即服務(wù)(Platform as a Service,PaaS),基礎(chǔ)設(shè)施即服務(wù)(Infrastructure as a Service,IaaS);A(chǔ)設(shè)施即服務(wù)是將計算資源抽象成一個個虛擬機,將虛擬硬件資源提供給用戶。它對于大數(shù)據(jù)工作流的執(zhí)行是最適用的。對于一個工作流,可以直接應(yīng)用云平臺所提供的虛擬硬件資源來執(zhí)行各個任務(wù),就像傳統(tǒng)的運行在集群上的工作流一樣。在實際應(yīng)用中,預(yù)算約束和可靠性約束都是對大數(shù)據(jù)工作流的部署非常重要的約束。預(yù)算約束是保證工作流能以較低的成本運行完成,而可靠性約束針對的是真實的云環(huán)境中的各種不確定性和故障。本文針對在預(yù)算和可靠性雙重約束條件下的多個云環(huán)境中工作流映射問題,抽象出問題的數(shù)學(xué)模型,分析了問題的復(fù)雜性,設(shè)計了啟發(fā)式算法,并進(jìn)行了實驗比較。文章證明了問題的復(fù)雜度是屬于NP-Complete的,并且通過實驗發(fā)現(xiàn)本文提出的算法相比較之前的算法有明顯的優(yōu)越性。本文對于工作流映射的研究分為以下幾部分:問題的提出與復(fù)雜性的證明。本文針對預(yù)算受約束,通過工作流映射,建立了針對兩種不同可靠性要求下的端對端延遲最小化問題的數(shù)學(xué)模型。通過復(fù)雜性分析,證明了這兩個問題都是一類NP-Complete問題的子問題,從而得到這兩個問題也都是NP-Complete 的。問題的分析與算法的設(shè)計。針對這兩個問題,分別提出了啟發(fā)式算法RMCWM和EMCWM,算法分為虛擬機選擇、物理機及帶寬選擇兩個階段。由于問題中對可靠性的建模采用了 3GG模型,在分析該模型特性的基礎(chǔ)上,發(fā)現(xiàn)了優(yōu)化可靠性的規(guī)律。并將這種規(guī)律融入算法的設(shè)計中,取得了很好的效果。模擬實驗和性能評估。本文對所設(shè)計的算法針對不同規(guī)模的云和不同數(shù)量的云組合,進(jìn)行了模擬實驗。實驗證明了不論在小規(guī)模的云組合的情況下還是大規(guī)模的云組合的情況下,該算法對比之前的算法都有明顯的優(yōu)越性。
[Abstract]:With the continuous development of cloud computing technology, the hybrid cloud, which integrates multiple cloud computing environments, is becoming more and more widely used. In many scientific applications, a series of tasks, such as data generation, are required to achieve the final results. Processing, analysis, and so on, there are interdependent relationships between these tasks and their interdependence constitute a workflow. In many specific big data application practice, Workflow technology has become an integral part. Cloud computing services are currently divided into three categories: software as a service, platform as a service, infrastructure as a service, infrastructure a service, IaaSan. Infrastructure as a service is to be computed. Resources are abstracted into virtual machines, Provide virtual hardware resources to users. It is most suitable for the execution of big data workflow. For a workflow, you can directly apply the virtual hardware resources provided by the cloud platform to perform various tasks. In practical applications, both budget constraints and reliability constraints are very important constraints for the deployment of big data workflow. Budget constraints are to ensure that the workflow can be completed at a lower cost. The reliability constraint is aimed at all kinds of uncertainties and faults in the real cloud environment. In this paper, the mathematical model of the problem is abstracted from the workflow mapping problem in multiple cloud environments under the condition of double constraints of budget and reliability. The complexity of the problem is analyzed, the heuristic algorithm is designed, and the experimental results are compared. It is proved that the complexity of the problem belongs to NP-Complete. And through experiments, it is found that the proposed algorithm has obvious advantages compared with the previous algorithm. The research of workflow mapping in this paper is divided into the following parts: the presentation of the problem and the proof of complexity. Based on workflow mapping, a mathematical model for end-to-end delay minimization problem with two different reliability requirements is established. Through complexity analysis, it is proved that these two problems are subproblems of a class of NP-Complete problems. It is concluded that these two problems are also NP-Complete. The analysis of the problem and the design of the algorithm. In view of these two problems, the heuristic algorithms RMCWM and EMCWM are proposed, which are divided into virtual machine selection. Because the 3GG model is used in the reliability modeling, based on the analysis of the characteristics of the model, the law of optimizing reliability is found, and the law is integrated into the design of the algorithm. Good results have been achieved. Simulation experiments and performance evaluation. In this paper, the algorithm is designed for different size of the cloud and different number of cloud combinations, The experimental results show that the proposed algorithm is superior to the previous algorithm in the case of small scale cloud combinations and large scale cloud combinations.
【學(xué)位授予單位】:西北大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2017
【分類號】:TP393.09;TP311.13
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 羅海濱,范玉順,cims.tsinghua.edu.cn,吳澄;工作流技術(shù)綜述[J];軟件學(xué)報;2000年07期
2 李華,李燕,姚文琳;工作流管理[J];山東輕工業(yè)學(xué)院學(xué)報(自然科學(xué)版);2000年04期
3 劉建勛,李仁發(fā),張申生;工作流管理系統(tǒng)及其在郵電號線管理中的應(yīng)用[J];計算機工程與應(yīng)用;2001年18期
4 汪濤,吳耿鋒,黃力芹;工作流管理的現(xiàn)狀和未來趨勢[J];小型微型計算機系統(tǒng);2001年02期
5 汪濤,黃力芹,吳耿鋒;工作流管理的發(fā)展歷程和趨勢[J];計算機工程與科學(xué);2001年01期
6 羅海濱,范玉順,吳澄;工作流合理性驗證中的事件平衡分析[J];軟件學(xué)報;2002年08期
7 周尊國 ,田偉;工作流管理系統(tǒng)在電力企業(yè)管理信息系統(tǒng)中的應(yīng)用[J];山東電力技術(shù);2002年02期
8 黃鈞 ,范永全 ,郭勇;工作流管理系統(tǒng)在建設(shè)項目管理中的應(yīng)用[J];微型機與應(yīng)用;2002年09期
9 張志君,范玉順;一種高性能的分布式工作流系統(tǒng)實現(xiàn)框架[J];計算機集成制造系統(tǒng)-CIMS;2003年06期
10 趙衛(wèi)東,戴偉輝;基于角色的跨組織工作流研究[J];系統(tǒng)工程與電子技術(shù);2003年08期
相關(guān)會議論文 前10條
1 卓蔚;陳思;張侃弘;;工作流管理技術(shù)淺談——如何實現(xiàn)企業(yè)業(yè)務(wù)信息化的工作流管理[A];上海煙草系統(tǒng)2002年度學(xué)術(shù)論文選編[C];2002年
2 李暉;王海洋;王文;;面向事務(wù)的工作流活動模型[A];第十七屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集(技術(shù)報告篇)[C];2000年
3 連杰鑫;劉家茂;顧寧;;基于協(xié)作依賴的工作流過程優(yōu)化[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集(研究報告篇)[C];2003年
4 李新;薛永生;;可重構(gòu)工作流系統(tǒng)設(shè)計方法研究[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集(技術(shù)報告篇)[C];2003年
5 葉壽生;汪濤;郭永林;;LTFP intelliFlow~汶工作流管理系統(tǒng)[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集(技術(shù)報告篇)[C];2004年
6 馮波;徐建良;;支持動態(tài)變化的工作流元模型的研究與應(yīng)用[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集(技術(shù)報告篇)[C];2004年
7 丁華;王秀坤;周永暉;;基于改進(jìn)移動模型的遷移工作流研究[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集(技術(shù)報告篇)[C];2005年
8 崔立真;王海洋;;基于主動過程視圖的工作流管理和監(jiān)控[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集(技術(shù)報告篇)[C];2004年
9 歐陽青;;工作流技術(shù)在高校教育管理系統(tǒng)中的應(yīng)用研究[A];第十八屆玻璃鋼/復(fù)合材料學(xué)術(shù)年會論文集[C];2010年
10 呂剛;王堅;嚴(yán)雋薇;董志斌;;工作流技術(shù)及其在制造企業(yè)中的應(yīng)用研究[A];第二十屆中國控制會議論文集(下)[C];2001年
相關(guān)重要報紙文章 前10條
1 莊志澄;成功實施工作流管理系統(tǒng)[N];中國計算機報;2003年
2 中國石油勘探開發(fā)研究院西北分院 柏東明 曾麗花 郭以東;定制企業(yè)工作流服務(wù)[N];計算機世界;2011年
3 中國建設(shè)銀行湖北分行信息技術(shù)部李濤、婁國偉、曾欽祥、吳安平、童海濤;實現(xiàn)多任務(wù)域工作流[N];計算機世界;2004年
4 王沛霖;駕馭流程 創(chuàng)造價值[N];中國計算機報;2004年
5 李農(nóng)、張京輝;客服中心上檔次依賴工作流管理系統(tǒng)[N];中國計算機報;2002年
6 何吟;“行業(yè)”標(biāo)簽讓SunFlow更醒目[N];計算機世界;2004年
7 優(yōu)利系統(tǒng)(中國)有限公司 倪佳;影像與工作流技術(shù)在銀行業(yè)的應(yīng)用[N];網(wǎng)絡(luò)世界;2001年
8 鄒洪強;應(yīng)用系統(tǒng)的另類整合[N];計算機世界;2005年
9 中國軟件評測中心 于春玲;企業(yè)業(yè)務(wù)流程管理系統(tǒng)的新亮點[N];中國計算機報;2004年
10 山西焦煤集團(tuán)駐深圳辦事處 劉鵬;基于企業(yè)過程建模的工作流管理系統(tǒng)研究[N];山西科技報;2002年
相關(guān)博士學(xué)位論文 前10條
1 許榮斌;實例密集型商務(wù)工作流任務(wù)調(diào)度與分配策略研究[D];安徽大學(xué);2015年
2 劉怡;基于工作流的連鎖超市生鮮貨品營運流程管理研究[D];華中科技大學(xué);2007年
3 劉英博;工作流運行時人員智能分配技術(shù)研究[D];清華大學(xué);2008年
4 王睿;面向目標(biāo)的遷移工作流主動服務(wù)方法研究[D];山東大學(xué);2009年
5 吳修國;面向目標(biāo)的遷移工作流建模方法研究[D];山東大學(xué);2010年
6 丁柯;網(wǎng)絡(luò)分布計算中的事務(wù)工作流研究[D];中國科學(xué)院研究生院(軟件研究所);2003年
7 肖鄭進(jìn);面向企業(yè)應(yīng)用的工作流精簡建模研究[D];浙江大學(xué);2006年
8 柯飛帆;面向分布應(yīng)用的工作流管理系統(tǒng)研究與實現(xiàn)[D];南京航空航天大學(xué);2006年
9 田珂;開放網(wǎng)絡(luò)環(huán)境下工作流管理系統(tǒng)的技術(shù)研究[D];電子科技大學(xué);2006年
10 程杰;遷移工作流過程分解及其規(guī)劃方法研究[D];山東大學(xué);2011年
相關(guān)碩士學(xué)位論文 前10條
1 張亞楠;基于工作流的民政臨時救助業(yè)務(wù)系統(tǒng)設(shè)計與實現(xiàn)[D];鄭州大學(xué);2017年
2 王世鋒;基于客戶交互關(guān)系的服務(wù)工作流優(yōu)化技術(shù)研究[D];中南大學(xué);2008年
3 嚴(yán)剛;分布式工作流事務(wù)處理建模與設(shè)計[D];上海交通大學(xué);2009年
4 李敬剛;基于活動信息傳遞的工作流驗證的研究與實現(xiàn)[D];大連理工大學(xué);2010年
5 彭永;基于移動Agent工作流的研究與實現(xiàn)[D];哈爾濱工程大學(xué);2010年
6 梁曉明;工作流技術(shù)及其在外商投資審批(綠色通道)中的應(yīng)用[D];機械科學(xué)研究院;2002年
7 段江波;工作流管理系統(tǒng)的安全研究[D];大連理工大學(xué);2005年
8 趙淳;一種可適應(yīng)性工作流的研究與實現(xiàn)[D];中國科學(xué)院研究生院(軟件研究所);2005年
9 張海;工作流技術(shù)在法院案件管理系統(tǒng)中的應(yīng)用[D];河海大學(xué);2007年
10 周文斌;基于角色訪問控制的工作流管理系統(tǒng)的信息安全研究[D];同濟(jì)大學(xué);2007年
,本文編號:1520206
本文鏈接:http://sikaile.net/guanlilunwen/ydhl/1520206.html