云計(jì)算技術(shù)給大數(shù)據(jù)工作流的處理提供了新的技術(shù)支持和發(fā)展契機(jī)。數(shù)據(jù)密集型應(yīng)用是大數(shù)據(jù)背景下最普遍的應(yīng)用之一,由于數(shù)據(jù)量大、帶寬瓶頸等條件的限制,因此通常將同一類型的多個(gè)工作流實(shí)例進(jìn)行合并處理形成批處理工作流進(jìn)行工作流調(diào)度來提高執(zhí)行效率,但數(shù)據(jù)通信往往是數(shù)據(jù)密集型應(yīng)用的性能瓶頸,再加上許多工作流的應(yīng)用存在時(shí)間約束問題,因此合理的調(diào)度策略對(duì)于時(shí)間受限的數(shù)據(jù)密集型批處理工作流尤為重要。合理的調(diào)度策略不僅可以有效減少跨節(jié)點(diǎn)的數(shù)據(jù)傳輸,而且可以優(yōu)化工作流的整體執(zhí)行效率和資源租賃成本。本文在借鑒前人工作的基礎(chǔ)上,圍繞數(shù)據(jù)密集型批處理工作流的任務(wù)調(diào)度的整體執(zhí)行效率和資源租賃成本和相關(guān)技術(shù)進(jìn)行了探討與研究,為了解決跨節(jié)點(diǎn)的數(shù)據(jù)傳輸量、整體執(zhí)行效率和資源租賃成本優(yōu)化問題,本文從以下三個(gè)方面進(jìn)行了研究:一是虛擬機(jī)類型初始化分配。本文提出整數(shù)規(guī)劃算法,通過對(duì)虛擬機(jī)類型問題進(jìn)行整數(shù)規(guī)劃建模,并利用CPLEX方法進(jìn)行虛擬機(jī)類型最終求解,進(jìn)而確定任務(wù)初始化虛擬機(jī)類型、合適的任務(wù)執(zhí)行時(shí)間以及獲得較好的性價(jià)比,然后提出改進(jìn)的局部任務(wù)的關(guān)聯(lián)度聚類算法,使數(shù)據(jù)傳輸頻繁的任務(wù)作為整體進(jìn)行后續(xù)調(diào)度,以優(yōu)化全局?jǐn)?shù)據(jù)通信。二是工作... 

【文章來源】：天津科技大學(xué)天津市

【文章頁數(shù)】：61 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
1 緒論
    1.1 課題研究背景及意義
        1.1.1 課題背景
        1.1.2 研究意義
    1.2 國內(nèi)外研究動(dòng)態(tài)及發(fā)展趨勢(shì)
    1.3 章節(jié)安排
2 批處理工作流調(diào)度相關(guān)概念
    2.1 云計(jì)算概述
    2.2 科學(xué)工作流的建模與應(yīng)用
    2.3 批處理工作流的建模與應(yīng)用
    2.4 批處理工作流調(diào)度研究
    2.5 本文仿真平臺(tái)
    2.6 本文測(cè)試用例來源
    2.7 本章小結(jié)
3 虛擬機(jī)類型初始化分配和聚類算法
    3.1 算法的基本原理
        3.1.1 虛擬機(jī)初始化分配算法基本原理
        3.1.2 聚類算法基本原理
    3.2 初始化分配算法設(shè)計(jì)與實(shí)現(xiàn)
        3.2.1 第1階段(整數(shù)規(guī)劃建模)
        3.2.2 第2階段(CPLEX方法進(jìn)行求解)
    3.3 聚類算法設(shè)計(jì)與實(shí)現(xiàn)
        3.3.1 現(xiàn)有的聚類算法
        3.3.2 TCA聚類算法
    3.4 仿真實(shí)驗(yàn)與分析
        3.4.1 聚類算法實(shí)驗(yàn)對(duì)比結(jié)果
    3.5 本章小結(jié)
4 工作流截止期劃分算法
    4.1 算法的基本原理
        4.1.1 虛擬機(jī)初始化分配算法基本原理
    4.2 基于浮動(dòng)區(qū)間的任務(wù)截止期劃分
        4.2.1 關(guān)鍵路徑生成
        4.2.2 任務(wù)截止期劃分
    4.3 本章小結(jié)
5 聚類下的批處理工作流調(diào)度算法
    5.1 基于深度的任務(wù)調(diào)度次序
    5.2 批處理工作流調(diào)度算法
        5.2.1 MFA任務(wù)調(diào)度算法
        5.2.2 改進(jìn)的動(dòng)態(tài)的MFA任務(wù)調(diào)度算法
    5.3 實(shí)驗(yàn)參數(shù)與對(duì)比試驗(yàn)結(jié)果
        5.3.1 啟發(fā)式規(guī)則權(quán)重選擇
        5.3.2 MFA算法實(shí)驗(yàn)對(duì)比結(jié)果
        5.3.3 改進(jìn)動(dòng)態(tài)的RMFA對(duì)比結(jié)果
    5.4 本章小結(jié)
6 結(jié)論與展望
    6.1 全文總結(jié)
    6.2 論文的創(chuàng)新點(diǎn)與展望
        6.2.1 創(chuàng)新點(diǎn)
        6.2.2 展望
7 參考文獻(xiàn)
8 攻讀碩士學(xué)位期間論文發(fā)表情況
9 專利
10 致謝


【參考文獻(xiàn)】：
期刊論文
[1]大數(shù)據(jù)云計(jì)算技術(shù)及其應(yīng)用研究[J]. 孫培鋒.  信息技術(shù)與信息化. 2018(12)
[2]基于HDFS的云盤系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 湯海林.  電腦知識(shí)與技術(shù). 2018(36)
[3]基于云計(jì)算系統(tǒng)的數(shù)據(jù)傳輸安全與存儲(chǔ)安全的策略研究[J]. 趙瑞芬.  信息與電腦(理論版). 2018(23)
[4]面向云計(jì)算的期限約束的MapReduce作業(yè)調(diào)度方法[J]. 周博,李亞瓊,劉永波,李守超,宋云奎.  計(jì)算機(jī)與現(xiàn)代化. 2018(11)
[5]基于虛擬化的負(fù)載均衡機(jī)制在調(diào)度管理業(yè)務(wù)中的應(yīng)用[J]. 吳鑫.  電力與能源. 2018(05)
[6]云環(huán)境中期限分割下工作流調(diào)度代價(jià)優(yōu)化仿真[J]. 劉曉霞,李芳.  實(shí)驗(yàn)室研究與探索. 2018(10)
[7]基于Hadoop與Spark的大數(shù)據(jù)處理平臺(tái)的構(gòu)建研究[J]. 劉萍.  通化師范學(xué)院學(xué)報(bào). 2018(06)
[8]門戶網(wǎng)站分布式數(shù)據(jù)挖掘云平臺(tái)架構(gòu)分析[J]. 陳利萍.  數(shù)字技術(shù)與應(yīng)用. 2018(05)
[9]云科學(xué)工作流中任務(wù)可完成性預(yù)測(cè)方法[J]. 吳修國,蘇瑋.  計(jì)算機(jī)研究與發(fā)展. 2018(03)
[10]面向云計(jì)算的分布式應(yīng)用自動(dòng)部署框架[J]. 李超,花磊,宋云奎.  計(jì)算機(jī)技術(shù)與發(fā)展. 2018(06)

博士論文
[1]云計(jì)算環(huán)境下工作流應(yīng)用的資源供應(yīng)方法[D]. 蔡志成.東南大學(xué) 2015

碩士論文
[1]面向云數(shù)據(jù)中心的動(dòng)態(tài)高能效虛擬機(jī)調(diào)度算法研究[D]. 徐舒婷.西北大學(xué) 2017
[2]科學(xué)工作流調(diào)度優(yōu)化問題研究[D]. 董煒航.電子科技大學(xué) 2017
[3]云計(jì)算環(huán)境下虛擬資源調(diào)度策略的研究[D]. 黃青.武漢理工大學(xué) 2017



本文編號(hào)：3173350