當(dāng)前,大數(shù)據(jù)已經(jīng)成為移動(dòng)互聯(lián)網(wǎng)、大規(guī)模物聯(lián)網(wǎng)、并行集群計(jì)算、數(shù)據(jù)科學(xué)與機(jī)器學(xué)習(xí)等領(lǐng)域炙手可熱的研究焦點(diǎn),其技術(shù)發(fā)展趨勢已從“概念”走向“價(jià)值”,如何低成本高效率的從這些體量巨大、不斷增長的多源異構(gòu)數(shù)據(jù)中挖掘出有價(jià)值的知識是其中的核心問題,受到學(xué)術(shù)界、產(chǎn)業(yè)界與應(yīng)用行業(yè)的廣泛關(guān)注。而支持大數(shù)據(jù)分析的集群計(jì)算系統(tǒng)建設(shè)是其重要的基礎(chǔ)之一。實(shí)現(xiàn)面向大數(shù)據(jù)應(yīng)用集群計(jì)算系統(tǒng)資源的高效能管理具有著重要的意義。面向大數(shù)據(jù)應(yīng)用的集群計(jì)算系統(tǒng)相比于傳統(tǒng)的高可用性、負(fù)載均衡、高性能計(jì)算等集群計(jì)算系統(tǒng),具有著多樣計(jì)算模式融合、異構(gòu)作業(yè)資源請求與SLA約束、多維資源管理模式等特征�；谠摲N集群計(jì)算系統(tǒng)的應(yīng)用、計(jì)算、服務(wù)特征,提出對應(yīng)的資源管理策略,同時(shí)增強(qiáng)集群資源管理系統(tǒng)的自學(xué)習(xí)能力,是實(shí)現(xiàn)大數(shù)據(jù)應(yīng)用集群系統(tǒng)高效能計(jì)算的有效途徑。遵循該種思路,本文從資源動(dòng)態(tài)供給、高效共享、高效能調(diào)度三個(gè)層次展開了研究。首先,通過實(shí)際集群系統(tǒng)軌跡數(shù)據(jù)分析,發(fā)現(xiàn)異構(gòu)負(fù)載、現(xiàn)有在線預(yù)測方法的局限性是大數(shù)據(jù)應(yīng)用集群系統(tǒng)動(dòng)態(tài)服務(wù)器供給面臨的主要挑戰(zhàn)。本文提出了自適應(yīng)Pause策略緩解由于大數(shù)據(jù)應(yīng)用作業(yè)服務(wù)時(shí)間較長,而造成低利用率服務(wù)器無法... 

【文章來源】：湖南大學(xué)湖南省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：122 頁

【學(xué)位級別】：博士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 概述
        1.1.1 集群計(jì)算應(yīng)用與類型
        1.1.2 大數(shù)據(jù)應(yīng)用集群系統(tǒng)
    1.2 大數(shù)據(jù)應(yīng)用集群系統(tǒng)資源高效能管理重要性
    1.3 相關(guān)研究
        1.3.1 動(dòng)態(tài)服務(wù)器供給
        1.3.2 多維資源高效共享
        1.3.3 任務(wù)高效能調(diào)度
    1.4 本文的主要貢獻(xiàn)
    1.5 本文的工作安排
第2章 基于強(qiáng)化超啟發(fā)的動(dòng)態(tài)服務(wù)器供給方法
    2.1 引言
    2.2 相關(guān)研究
        2.2.1 傳統(tǒng)動(dòng)態(tài)服務(wù)器供給技術(shù)
        2.2.2 大數(shù)據(jù)應(yīng)用集群系統(tǒng)動(dòng)態(tài)服務(wù)器供給研究現(xiàn)狀
        2.2.3 超啟發(fā)式算法研究現(xiàn)狀
    2.3 問題定義
    2.4 大數(shù)據(jù)應(yīng)用集群系統(tǒng)動(dòng)態(tài)服務(wù)器供給框架與方法
        2.4.1 大數(shù)據(jù)應(yīng)用集群系統(tǒng)動(dòng)態(tài)服務(wù)器供給挑戰(zhàn)
        2.4.2 主要思路與算法總體流程
        2.4.3 自適應(yīng)Pause策略
        2.4.4 在線強(qiáng)化超啟發(fā)預(yù)測方法
    2.5 實(shí)驗(yàn)結(jié)果與分析
        2.5.1 自適應(yīng)Pause策略有效性評估
        2.5.2 在線強(qiáng)化超啟發(fā)預(yù)測方法性能評估
        2.5.3 動(dòng)態(tài)服務(wù)器供給策略在不同場景下的表現(xiàn)
    2.6 本章小結(jié)
第3章 效率感知的動(dòng)態(tài)離散多維資源公平分配方法
    3.1 引言
    3.2 相關(guān)研究
    3.3 問題定義
        3.3.1 動(dòng)態(tài)離散資源分布
        3.3.2 公平約束效率優(yōu)化多維資源分配定義
    3.4 動(dòng)態(tài)效率感知的多維資源分配方法
        3.4.1 大數(shù)據(jù)應(yīng)用集群系統(tǒng)作業(yè)資源請求特征分析
        3.4.2 動(dòng)態(tài)分配效率感知的多維資源公平分配方法
    3.5 實(shí)驗(yàn)結(jié)果與分析
        3.5.1 實(shí)驗(yàn)環(huán)境
        3.5.2 算法評估準(zhǔn)則
        3.5.3 不同集群規(guī)模優(yōu)化場景下算法性能分析
        3.5.4 不同資源維度優(yōu)化場景下算法性能分析
    3.6 本章小結(jié)
第4章 基于Memetic多目標(biāo)優(yōu)化的異構(gòu)集群系統(tǒng)任務(wù)調(diào)度方法
    4.1 引言
    4.2 相關(guān)研究
        4.2.1 非獨(dú)立任務(wù)調(diào)度現(xiàn)狀
        4.2.2 Memetic算法
        4.2.3 多目標(biāo)優(yōu)化
    4.3 問題定義
        4.3.1 DAG模型
        4.3.2 異構(gòu)集群系統(tǒng)建模
        4.3.3 集群系統(tǒng)性能與能耗多目標(biāo)優(yōu)化問題定義
    4.4 面向異構(gòu)集群系統(tǒng)性能與能耗優(yōu)化的Memetic多目標(biāo)優(yōu)化方法
        4.4.1 編碼與初始化種群
        4.4.2 基于DAG任務(wù)層次的交叉變異算子
        4.4.3 Memetic局部搜索策略與預(yù)評估
    4.5 實(shí)驗(yàn)結(jié)果與分析
        4.5.1 實(shí)驗(yàn)環(huán)境
        4.5.2 MOMA與單目標(biāo)優(yōu)化算法比較
        4.5.3 MOMA與多目標(biāo)優(yōu)化算法比較
    4.6 本章小結(jié)
第5章 基于模糊搜索偏好的量子超啟發(fā)能耗感知任務(wù)調(diào)度方法
    5.1 引言
    5.2 相關(guān)研究
    5.3 問題定義
    5.4 模糊搜索偏好的量子超啟發(fā)式任務(wù)調(diào)度方法
        5.4.1 量子超啟發(fā)式任務(wù)調(diào)度算法
        5.4.2 基于模糊搜索偏好的約束處理技術(shù)
    5.5 實(shí)驗(yàn)結(jié)果與分析
        5.5.1 量子超啟發(fā)式任務(wù)調(diào)度方法性能分析
        5.5.2 基于模糊搜索偏好約束處理技術(shù)的性能分析
        5.5.3 模糊搜索偏好的量子超啟發(fā)任務(wù)調(diào)度方法性能分析
    5.6 本章小結(jié)
結(jié)論
參考文獻(xiàn)
附錄 A 約束處理技術(shù)詳細(xì)實(shí)驗(yàn)結(jié)果
附錄 B 發(fā)表論文和參加科研情況說明
致謝


【參考文獻(xiàn)】：
期刊論文
[1]云計(jì)算環(huán)境中綠色服務(wù)級目標(biāo)的分析、量化、建模及評價(jià)[J]. 孫大為,常桂然,陳東,王興偉.  計(jì)算機(jī)學(xué)報(bào). 2013(07)
[2]一種面向同構(gòu)集群系統(tǒng)的并行任務(wù)節(jié)能調(diào)度優(yōu)化方法[J]. 李新,賈智平,鞠雷,趙衍恒,宗子良.  計(jì)算機(jī)學(xué)報(bào). 2012(03)
[3]一種云計(jì)算環(huán)境下的能效模型和度量方法[J]. 宋杰,李甜甜,閆振興,那俊,朱志良.  軟件學(xué)報(bào). 2012(02)



本文編號：3156415