在線負(fù)載和離線負(fù)載混合部署（即混部負(fù)載）是解決大數(shù)據(jù)中心資源利用率低下問題的重要手段。在線負(fù)載資源需求預(yù)測和離線負(fù)載作業(yè)調(diào)度是混部負(fù)載資源調(diào)度的兩個核心技術(shù)。目前,在線負(fù)載資源需求預(yù)測方法缺乏對資源使用特征的深入挖掘,因此存在預(yù)測準(zhǔn)確度不足和時間開銷較大的問題。此外,當(dāng)前混部負(fù)載資源調(diào)度中對于離線負(fù)載作業(yè)調(diào)度策略采用隨機(jī)的方式,并未考慮在線負(fù)載彈性資源需求對離線負(fù)載執(zhí)行效率的影響,導(dǎo)致數(shù)據(jù)中心資源的無效利用和作業(yè)吞吐率低下。針對以上問題,本文提出了結(jié)合資源使用周期性特征的在線負(fù)載資源預(yù)測方法,并在此基礎(chǔ)上提出基于運(yùn)行時間預(yù)測的啟發(fā)式離線負(fù)載作業(yè)調(diào)度方法,進(jìn)一步提升數(shù)據(jù)中心的資源利用率。本文的主要貢獻(xiàn)總結(jié)如下:（1）提出基于資源使用周期性特征的在線負(fù)載資源預(yù)測方法。本文在分析提取在線負(fù)載資源使用周期性特征的基礎(chǔ)上,采用自相關(guān)函數(shù)方法量化計(jì)算在線負(fù)載資源使用周期,根據(jù)周期計(jì)算結(jié)果將資源使用樣本序列劃分成多個子序列;然后應(yīng)用K-means算法對子序列分為常規(guī)子序列和異常子序列兩類;最后加權(quán)綜合常規(guī)子序列和異常子序列中資源使用變化率,計(jì)算在線負(fù)載資源使用的預(yù)測值。（2）提出基于運(yùn)行時間預(yù)測的啟... 

【文章頁數(shù)】：75 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 課題背景和研究意義
        1.1.1 數(shù)據(jù)中心混部負(fù)載概述
        1.1.2 混部負(fù)載資源調(diào)度的研究意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 數(shù)據(jù)中心在線負(fù)載資源需求預(yù)測研究現(xiàn)狀
        1.2.2 數(shù)據(jù)中心混部負(fù)載中離線負(fù)載作業(yè)調(diào)度研究現(xiàn)狀
    1.3 本文主要貢獻(xiàn)
    1.4 本文組織結(jié)構(gòu)
    1.5 本章小結(jié)
第2章 相關(guān)工作
    2.1 數(shù)據(jù)中心混部負(fù)載資源調(diào)度相關(guān)工作
    2.2 在線負(fù)載資源預(yù)測方法相關(guān)工作
    2.3 作業(yè)調(diào)度相關(guān)工作
    2.4 本章小結(jié)
第3章 基于周期性特征的在線負(fù)載資源預(yù)測方法
    3.1 在線負(fù)載資源使用的周期性特征
    3.2 方法概述
    3.3 在線負(fù)載資源使用量周期識別
        3.3.1 自相關(guān)函數(shù)
        3.3.2 周期判別方法建模
    3.4 資源序列分類
    3.5 具有周期性特征的在線負(fù)載資源預(yù)測方法
    3.6 實(shí)驗(yàn)設(shè)計(jì)
        3.6.1 實(shí)驗(yàn)環(huán)境配置
        3.6.2 實(shí)驗(yàn)負(fù)載的選取以及實(shí)驗(yàn)方法
        3.6.3 性能評價指標(biāo)
        3.6.4 實(shí)驗(yàn)結(jié)果與分析
    3.7 本章小結(jié)
第4章 離線負(fù)載作業(yè)調(diào)度策略的設(shè)計(jì)
    4.1 問題描述
    4.2 基于機(jī)器學(xué)習(xí)的離線批處理作業(yè)運(yùn)行時間預(yù)測方法
        4.2.1 關(guān)鍵因素選取
        4.2.2 問題定義
        4.2.3 理論工具選取
        4.2.4 應(yīng)用建模
    4.3 作業(yè)調(diào)度策略
        4.3.1 問題定義
        4.3.2 模擬退火算法介紹
        4.3.3 基于模擬退火算法的資源分配策略建模
        4.3.4 數(shù)據(jù)中心離線作業(yè)調(diào)度策略
    4.4 實(shí)驗(yàn)設(shè)計(jì)
        4.4.1 實(shí)驗(yàn)環(huán)境及性能指標(biāo)
        4.4.2 負(fù)載選取與實(shí)驗(yàn)方法
        4.4.3 實(shí)驗(yàn)結(jié)果展示與分析
    4.5 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀碩士學(xué)位期間所發(fā)表的學(xué)術(shù)論文
致謝


【參考文獻(xiàn)】：
期刊論文
[1]時間序列預(yù)測技術(shù)綜述[J]. 何亞磊,許乾坤.  信息通信. 2018(11)
[2]淺析大數(shù)據(jù)的發(fā)展[J]. 王晨晨,孫睿.  中國市場. 2018(27)
[3]面向混合任務(wù)的自適應(yīng)調(diào)度策略研究[J]. 郭銳鋒,彭阿珍,鄧昌義,華維,尹震宇,孫明輝.  小型微型計(jì)算機(jī)系統(tǒng). 2016(01)
[4]面向混合負(fù)載的集群資源彈性調(diào)度[J]. 李勇,張章,孟丹,韓冀中,李青,王旻.  高技術(shù)通訊. 2014 (08)
[5]基于資源預(yù)測的智能終端資源緩存算法[J]. 徐超,曾學(xué)文,郭志川.  計(jì)算機(jī)工程. 2015(03)
[6]時間序列周期模式挖掘的周期檢測方法[J]. 王閱,高學(xué)東,武森,陳敏.  計(jì)算機(jī)工程. 2009(22)
[7]TPC-W基準(zhǔn)測試中客戶端設(shè)計(jì)的關(guān)鍵技術(shù)[J]. 李勝利,羅貞,謝夏,金海.  小型微型計(jì)算機(jī)系統(tǒng). 2005(01)
[8]基于集群服務(wù)器性能的TPC-W基準(zhǔn)測試[J]. 謝夏,李勝利,金海.  華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版). 2003(02)
[9]多目標(biāo)優(yōu)化的一類模擬退火算法[J]. 王凌,鄭大鐘.  計(jì)算機(jī)工程與應(yīng)用. 2002(08)

碩士論文
[1]基于改進(jìn)遺傳算法作業(yè)調(diào)度問題的優(yōu)化及應(yīng)用[D]. 杜明芳.西安理工大學(xué) 2018
[2]云計(jì)算環(huán)境中價值導(dǎo)向的啟發(fā)式并行作業(yè)調(diào)度算法[D]. 邵清世.山東大學(xué) 2018
[3]最小化總懲罰代價的批量MapReduce作業(yè)調(diào)度[D]. 王祥.東南大學(xué) 2016
[4]基于分布式的決策樹方法研究[D]. 廖玉蘭.電子科技大學(xué) 2011
[5]基于模擬退火算法和支持向量回歸的網(wǎng)格資源預(yù)測[D]. 李鵬超.吉林大學(xué) 2010
[6]基于蟻群優(yōu)化算法和支持向量回歸的網(wǎng)格資源預(yù)測[D]. 宋璟.吉林大學(xué) 2010
[7]基于資源容器技術(shù)的虛擬機(jī)技術(shù)研究與實(shí)現(xiàn)[D]. 張巍.國防科學(xué)技術(shù)大學(xué) 2006



本文編號：3714981