Hadoop是近幾年發(fā)展比較成熟的云計算平臺之一,作為一種開源軟件框架,它憑借其可靠性、可擴展性和分布式的計算和存儲而迅速發(fā)展,為眾多企業(yè)和研究研究者所認可。Hadoop主要由底層分布式文件系統(tǒng)HDFS和上層并行編程模型MapReduce引擎構(gòu)成,其中HDFS以其優(yōu)異性能至今仍被廣泛應(yīng)用。HDFS采用主從架構(gòu)模式,由單一NameNode和多個DataNode組成,其主要針對流式數(shù)據(jù)訪問模式而設(shè)計,但對海量小文件（指比HDFS默認文件塊（64MB）小很多的文件）處理性能不佳,而現(xiàn)實應(yīng)用中卻存在HDFS存儲海量小文件的需求。目前針對HDFS小文件問題,主要對策是對文件進行合并,在進行文件合并時,對于小文件并沒有明確的定義,然而文件分界點問題直接關(guān)系到HDFS文件存儲策略、文件合并策略的研究,對HDFS海量小文件的存儲有著至關(guān)重要的意義。針對HDFS （Hadoop Distributed File System）中小文件處理性能不佳的問題,本文研究HDFS設(shè)計架構(gòu)及其對應(yīng)的存儲機制,分析HDFS文件操作相關(guān)過程,以及HDFS在進行文件操作時采用的一些量化標準,從中分析出導(dǎo)致HDFS在處理小... 

【文章來源】：東北林業(yè)大學(xué)黑龍江省 211工程院校 教育部直屬院校

【文章頁數(shù)】：67 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景與意義
    1.2 工業(yè)界與學(xué)術(shù)界研究現(xiàn)狀
        1.2.1 工業(yè)界研究現(xiàn)狀
        1.2.2 學(xué)術(shù)界研究現(xiàn)狀
    1.3 論文結(jié)構(gòu)安排
    1.4 本章小結(jié)
2 海量小文件處理技術(shù)
    2.1 HDFS架構(gòu)分析
        2.1.1 NameNode
        2.1.2 DataNode
        2.1.3 SecondaryNameNode
    2.2 HDFS主要工作流程
        2.2.1 客戶端與NameNode交互過程
        2.2.2 刪除文件
    2.3 灰色關(guān)聯(lián)分析
    2.4 本章小結(jié)
3 HDFS小文件問題研究進展
    3.1 小文件對HDFS影響
    3.2 HDFS小文件存在問題
        3.2.1 HDFS小文件問題產(chǎn)生原因
        3.2.2 HDFS小文件存儲時面臨問題
    3.3 HDFS小文件問題解決方法
        3.3.1 Hadoop自身修正方法
        3.3.2 通用解決方法
        3.3.3 特定解決方法
    3.4 本章小結(jié)
4 基于灰色關(guān)聯(lián)分析的小文件處理方法研究
    4.1 FM、FMUFS與FMAFS測試標準選擇
    4.2 評價矩陣建立
    4.3 評價矩陣標準化方法
    4.4 基于熵權(quán)法的灰色關(guān)聯(lián)度計算
    4.5 文件分界點確定方法
    4.6 本章小結(jié)
5 實驗及結(jié)果分析
    5.1 實驗環(huán)境建立
    5.2 NameNode消耗內(nèi)存與文件大小實驗
    5.3 文件上傳與下載速度與文件大小實驗
    5.4 有效性與穩(wěn)定性實驗
    5.5 本章小結(jié)
結(jié)論
參考文獻
攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文
致謝


【參考文獻】：
期刊論文
[1]SMDFS分布式海量小文件系統(tǒng)的大空間聚合存儲技術(shù)[J]. 嚴巍巍,何連躍,李三霞,成穎佼.  計算機研究與發(fā)展. 2015(S2)
[2]HDFS下海量小文件高效存儲與索引方法[J]. 肖玉澤,張利軍,潘巍,張小芳,李戰(zhàn)懷.  小型微型計算機系統(tǒng). 2015(10)
[3]一種面向海量小文件的文件接收和存儲優(yōu)化方案[J]. 張守利,楊冬菊,韓燕波.  小型微型計算機系統(tǒng). 2015(08)
[4]基于Hadoop的海量氣象雷達小文件存儲研究[J]. 楊芙容,王永麗,王文明.  成都信息工程學(xué)院學(xué)報. 2015(03)
[5]HDFS中高效存儲小文件的方法[J]. 尹穎,林慶,林涵陽.  計算機工程與設(shè)計. 2015(02)
[6]一種基于混合索引的HDFS小文件存儲策略[J]. 熊安萍,黃容,鄒洋.  重慶郵電大學(xué)學(xué)報(自然科學(xué)版). 2015(01)
[7]灰色系統(tǒng)研究進展（2004—2014）[J]. 劉思峰,楊英杰.  南京航空航天大學(xué)學(xué)報. 2015(01)
[8]面向Hadoop分布式文件系統(tǒng)的小文件存取優(yōu)化方法[J]. 李鐵,燕彩蓉,黃永鋒,宋亞龍.  計算機應(yīng)用. 2014(11)
[9]面向大數(shù)據(jù)分析的分布式文件系統(tǒng)關(guān)鍵技術(shù)[J]. 周江,王偉平,孟丹,馬燦,古曉艷,蔣杰.  計算機研究與發(fā)展. 2014(02)
[10]云存儲中面向訪問任務(wù)的小文件合并與預(yù)取策略[J]. 王濤,姚世紅,徐正全,熊煉.  武漢大學(xué)學(xué)報(信息科學(xué)版). 2013(12)



本文編號：3010232