隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展及互聯(lián)網(wǎng)應(yīng)用的快速增加,使得網(wǎng)絡(luò)上數(shù)據(jù)量呈爆炸式增長(zhǎng),大規(guī)模數(shù)據(jù)存儲(chǔ)、訪問(wèn)隨之成為大數(shù)據(jù)領(lǐng)域的研究熱點(diǎn)。當(dāng)前,Hadoop分布式文件系統(tǒng)HDFS因高效、穩(wěn)定的存儲(chǔ)能力在大數(shù)據(jù)領(lǐng)域中被廣泛應(yīng)用。然而,HDFS仍有很多不足之處,需要不斷進(jìn)行改進(jìn)和完善。首先,HDFS設(shè)計(jì)時(shí)并沒(méi)有考慮數(shù)據(jù)節(jié)點(diǎn)上磁盤存儲(chǔ)異構(gòu)性,其底層存儲(chǔ)只支持單一存儲(chǔ)介質(zhì),導(dǎo)致HDFS集群不能很好的利用RAM盤（Random-Access Memory Disk）、固態(tài)硬盤（Solid State Drives,SSD）等高效存儲(chǔ)設(shè)備來(lái)提高系統(tǒng)的I/O性能和吞吐量。其次,HDFS不能區(qū)分熱數(shù)據(jù),導(dǎo)致存放熱數(shù)據(jù)的節(jié)點(diǎn)成為集群性能的一個(gè)瓶頸。最后,當(dāng)HDFS集群存在海量小文件,并且這些小文件中存在大量熱數(shù)據(jù)時(shí),HDFS沒(méi)有一個(gè)很好的緩存策略解決小文件緩存問(wèn)題,這導(dǎo)致訪問(wèn)小文件時(shí)需不斷的與硬盤交互,大大降低了客戶端頻繁訪問(wèn)小文件的效率。為了緩解上述問(wèn)題,本文研究了HDFS文件副本放置和緩存機(jī)制,并進(jìn)行了針對(duì)性的改進(jìn)。本文主要工作如下:（1）針對(duì)HDFS不能高效利用RAM盤和SSD的問(wèn)題,本文根據(jù)數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)異... 

【文章頁(yè)數(shù)】：62 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景與意義
        1.1.1 海量數(shù)據(jù)產(chǎn)生與存儲(chǔ)
        1.1.2 海量小文件的產(chǎn)生
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 HDFS及其存儲(chǔ)策略
        1.2.2 HDFS存儲(chǔ)性能優(yōu)化
            1.2.2.1 副本系數(shù)確定
            1.2.2.2 合理引入高性能磁盤
            1.2.2.3 海量小文件性能優(yōu)化
    1.3 論文研究工作和內(nèi)容安排
        1.3.1 研究工作
        1.3.2 內(nèi)容安排
第2章 HDFS基礎(chǔ)理論與技術(shù)
    2.1 分布式存儲(chǔ)概述
    2.2 HDFS分布式文件系統(tǒng)
        2.2.1 HDFS設(shè)計(jì)目標(biāo)
        2.2.2 HDFS整體架構(gòu)
        2.2.3 HDFS關(guān)鍵實(shí)體
        2.2.4 HDFS副本放置策略
        2.2.5 HDFS讀寫機(jī)制
    2.3 文件副本管理技術(shù)
        2.3.1 文件副本技術(shù)概念及優(yōu)點(diǎn)
        2.3.2 文件副本技術(shù)要點(diǎn)
    2.4 HDFS集中式緩存
    2.5 本章小結(jié)
第3章 基于熱度感知的混合HDFS副本自適應(yīng)移動(dòng)策略設(shè)計(jì)
    3.1 HDFS 多目錄存儲(chǔ)策略
        3.1.1 輪詢選擇策略
        3.1.2 剩余空間選擇策略
    3.2 HPAMP設(shè)計(jì)
        3.2.1 系統(tǒng)架構(gòu)及基本方案
            3.2.1.1 系統(tǒng)架構(gòu)
            3.2.1.2 文件副本初始放置方案
            3.2.1.3 文件副本移動(dòng)方案
        3.2.2 基于灰度預(yù)測(cè)的文件訪問(wèn)熱度計(jì)算
        3.2.3 文件副本自適應(yīng)移動(dòng)設(shè)計(jì)
        3.2.4 整體算法
    3.3 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析
        3.3.1 實(shí)驗(yàn)?zāi)康?br>        3.3.2 基本情況
        3.3.3 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析
    3.4 本章小結(jié)
第四章 基于ARC替換算法的HDFS小文件緩存管理方法
    4.1 緩存概述
    4.2 緩存替換算法介紹
        4.2.1 基于Recency的替換策略
        4.2.2 基于Frecency的替換策略
        4.2.3 ARC緩存替換算法
    4.3 基于ARC替換算法的HDFS小文件緩存管理方法
        4.3.1 緩存管理設(shè)計(jì)目標(biāo)
        4.3.2 緩存替換算法ARC運(yùn)行流程
        4.3.3 緩存管理工作流程
            4.3.3.1 緩存空間建立
            4.3.3.2 緩存管理模塊劃分
            4.3.3.3 緩存管理處理請(qǐng)求流程
            4.3.3.4 整體算法
    4.4 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析
        4.4.1 實(shí)驗(yàn)?zāi)康?br>        4.4.2 實(shí)驗(yàn)環(huán)境
        4.4.3 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析
            4.4.3.1 ARC算法性能驗(yàn)證
            4.4.3.2 緩存效果驗(yàn)證
    4.5 本章小結(jié)
第5章 總結(jié)與展望
    5.1 總結(jié)
    5.2 展望
致謝
參考文獻(xiàn)
附錄


【參考文獻(xiàn)】：
期刊論文
[1]電信運(yùn)營(yíng)商“互聯(lián)網(wǎng)+”業(yè)務(wù)中的分布式存儲(chǔ)技術(shù)研究[J]. 石春達(dá),欒文魁,張偉,趙曉光.  信息通信技術(shù). 2016(05)
[2]內(nèi)存計(jì)算技術(shù)研究綜述[J]. 羅樂(lè),劉軼,錢德沛.  軟件學(xué)報(bào). 2016(08)
[3]可信固態(tài)硬盤:大數(shù)據(jù)安全的新基礎(chǔ)[J]. 田洪亮,張勇,許信輝,李超,邢春曉.  計(jì)算機(jī)學(xué)報(bào). 2016(01)
[4]面向大數(shù)據(jù)分析的分布式文件系統(tǒng)關(guān)鍵技術(shù)[J]. 周江,王偉平,孟丹,馬燦,古曉艷,蔣杰.  計(jì)算機(jī)研究與發(fā)展. 2014(02)
[5]MRU Cache替換算法平均性能剖析[J]. 呂鳴松,郭浩,關(guān)楠.  東北大學(xué)學(xué)報(bào)(自然科學(xué)版). 2013(11)
[6]國(guó)外大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展及啟示[J]. 劉小剛.  金融經(jīng)濟(jì). 2013(18)
[7]基于MapFile的HDFS小文件存儲(chǔ)效率問(wèn)題[J]. 洪旭升,林世平.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2012(11)
[8]Hadoop中海量小文件的處理分析[J]. 朱光耀.  科技資訊. 2012(28)
[9]云計(jì)算架構(gòu)下的動(dòng)態(tài)副本管理策略[J]. 祝家鈺,肖丹.  計(jì)算機(jī)工程與設(shè)計(jì). 2012(09)
[10]云計(jì)算及其關(guān)鍵技術(shù)[J]. 陳全,鄧倩妮.  計(jì)算機(jī)應(yīng)用. 2009(09)

碩士論文
[1]LRFU及其自適應(yīng)算法的研究[D]. 還璋武.安徽工業(yè)大學(xué) 2016



本文編號(hào)：3703218