近年來,人們見證了數(shù)據(jù)的爆炸式增長(zhǎng),大數(shù)據(jù)已經(jīng)開始深入到人們生活的方方面面。為了挖掘海量數(shù)據(jù)背后潛藏的價(jià)值,研究人員提出了 MapReduce并行處理框架,以應(yīng)對(duì)傳統(tǒng)數(shù)據(jù)庫技術(shù)在處理大數(shù)據(jù)時(shí)的缺陷。MapReduce以“分而治之”的思想通過將海量數(shù)據(jù)分片到分布式集群中的節(jié)點(diǎn)中執(zhí)行,從而大大提高數(shù)據(jù)處理的效率。它衍生出了 Hadoop、Spark等開源的大數(shù)據(jù)處理系統(tǒng),受到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。大數(shù)據(jù)處理系統(tǒng)離不開大量底層基礎(chǔ)設(shè)施資源的支撐,然而初期昂貴的一次性經(jīng)濟(jì)投入以及后期繁雜的運(yùn)維工作卻阻礙了部分中小型企業(yè)運(yùn)用大數(shù)據(jù)處理系統(tǒng)。因此隨著云計(jì)算技術(shù)的不斷發(fā)展,越來越多的企業(yè)和組織開始將大數(shù)據(jù)處理遷移到云中進(jìn)行,充分利用云計(jì)算中按需自服務(wù)、彈性擴(kuò)展的優(yōu)勢(shì),縮短數(shù)據(jù)處理和分析的生命周期,提高生產(chǎn)效率。云計(jì)算為大數(shù)據(jù)處理帶來了便利的同時(shí),也給它帶來了新的挑戰(zhàn)和問題。本文在全面、深入地研究分析了現(xiàn)有的基于云計(jì)算的大數(shù)據(jù)處理系統(tǒng)的相關(guān)成果之后,以性能優(yōu)化為目標(biāo),在云中大數(shù)據(jù)處理虛擬集群的調(diào)度、分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)放置和大數(shù)據(jù)處理系統(tǒng)的任務(wù)調(diào)度三個(gè)方面展開了研究工作:首先,本文對(duì)云計(jì)算環(huán)境中...

【文章頁數(shù)】：122 頁

【學(xué)位級(jí)別】：博士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 論文研究背景
        1.1.1 大數(shù)據(jù)簡(jiǎn)介
        1.1.2 主流的大數(shù)據(jù)處理系統(tǒng)
        1.1.3 基于云的大數(shù)據(jù)處理系統(tǒng)
    1.2 研究問題的提出
        1.2.1 基于云的大數(shù)據(jù)處理系統(tǒng)的新特性和挑戰(zhàn)
        1.2.2 云計(jì)算中面向大數(shù)據(jù)處理的虛擬集群調(diào)度算法
        1.2.3 云中HDFS分布式存儲(chǔ)的數(shù)據(jù)塊放置算法
        1.2.4 云中大數(shù)據(jù)處理系統(tǒng)的推測(cè)性任務(wù)執(zhí)行的優(yōu)化算法
    1.3 論文主要研究工作
        1.3.1 論文研究?jī)?nèi)容
        1.3.2 論文組織結(jié)構(gòu)
    1.4 本章小結(jié)
第2章 基于云的大數(shù)據(jù)處理系統(tǒng)研究綜述
    2.1 引言
    2.2 基于云的大數(shù)據(jù)處理系統(tǒng)的架構(gòu)和服務(wù)模式
    2.3 基于云的大數(shù)據(jù)處理系統(tǒng)研究綜述
        2.3.1 服務(wù)部署和彈性擴(kuò)展問題研究
        2.3.2 性能優(yōu)化問題研究
        2.3.3 數(shù)據(jù)安全問題
        2.3.4 數(shù)據(jù)中心能耗問題
        2.3.5 其他相關(guān)研究工作
    2.4 本章小結(jié)
第3章 云中面向大數(shù)據(jù)處理系統(tǒng)的虛擬集群調(diào)度算法
    3.1 引言
    3.2 大數(shù)據(jù)處理系統(tǒng)內(nèi)部網(wǎng)絡(luò)傳輸特點(diǎn)分析
        3.2.1 MapReduce框架內(nèi)部網(wǎng)絡(luò)傳輸需求的理論分析
        3.2.2 大數(shù)據(jù)處理系統(tǒng)的網(wǎng)絡(luò)傳輸性能對(duì)應(yīng)用性能影響的實(shí)驗(yàn)驗(yàn)證和分析
    3.3 云中的網(wǎng)絡(luò)共享模型及大數(shù)據(jù)處理網(wǎng)絡(luò)性能模型
        3.3.1 云中的網(wǎng)絡(luò)共享模型
        3.3.2 大數(shù)據(jù)處理虛擬集群網(wǎng)絡(luò)性能模型
    3.4 云中面向大數(shù)據(jù)處理虛擬集群的調(diào)度問題建模
    3.5 虛擬集群調(diào)度算法設(shè)計(jì)
        3.5.1 問題分析
        3.5.2 啟發(fā)式搜索算法設(shè)計(jì)
    3.6 實(shí)驗(yàn)評(píng)估
        3.6.1 實(shí)驗(yàn)環(huán)境設(shè)置及評(píng)價(jià)指標(biāo)
        3.6.2 實(shí)驗(yàn)結(jié)果和分析
    3.7 相關(guān)工作
    3.8 本章小結(jié)
第4章 基于位置感知的云中HDFS分布式存儲(chǔ)的數(shù)據(jù)塊放置算法
    4.1 引言
    4.2 相關(guān)背景和研究動(dòng)機(jī)
        4.2.1 背景:HDFS分布式文件系統(tǒng)的設(shè)計(jì)
        4.2.2 研究動(dòng)機(jī)
    4.3 LDBAS的數(shù)據(jù)放置策略和算法設(shè)計(jì)
        4.3.1 LDBAS放置數(shù)據(jù)塊的核心原則
        4.3.2 數(shù)據(jù)初始化寫入的分配問題
        4.3.3 數(shù)據(jù)塊恢復(fù)問題
    4.4 實(shí)驗(yàn)評(píng)估
        4.4.1 模擬實(shí)驗(yàn)
        4.4.2 Hadoop集群實(shí)驗(yàn)
    4.5 關(guān)于LDBAS的討論
    4.6 相關(guān)工作
    4.7 本章小結(jié)
第5章 基于歷史信息的云中Hadoop推測(cè)性任務(wù)執(zhí)行的優(yōu)化算法
    5.1 引言
    5.2 相關(guān)背景介紹
        5.2.1 MapReduce模型
        5.2.2 Hadoop中的推測(cè)性執(zhí)行機(jī)制
        5.2.3 已有的推測(cè)性執(zhí)行方法
    5.3 HIBS:基于歷史信息的云中Hadoop推測(cè)性任務(wù)執(zhí)行方法
        5.3.1 基于歷史信息的云中Hadoop推測(cè)性任務(wù)調(diào)度器的整體流程
        5.3.2 HIBS各模塊設(shè)計(jì)
    5.4 實(shí)驗(yàn)分析
        5.4.1 實(shí)驗(yàn)環(huán)境設(shè)置及評(píng)價(jià)指標(biāo)
        5.4.2 實(shí)驗(yàn)結(jié)果分析
    5.5 本章小結(jié)
第6章 總結(jié)和展望
    6.1 主要工作總結(jié)
    6.2 主要貢獻(xiàn)及創(chuàng)新
    6.3 未來工作展望
參考文獻(xiàn)
致謝
在讀期間發(fā)表的學(xué)術(shù)論文與取得的研究成果



本文編號(hào)：3807859