發(fā)布時(shí)間：2017-04-29 02:01

  本文關(guān)鍵詞：基于HDFS的小文件存儲(chǔ)模型研究與實(shí)現(xiàn)，，由筆耕文化傳播整理發(fā)布。

【摘要】：大數(shù)據(jù)是當(dāng)前計(jì)算機(jī)領(lǐng)域研究的熱點(diǎn)問(wèn)題之一。企業(yè)通過(guò)大數(shù)據(jù)分析消費(fèi)者行為,部門(mén)銷售數(shù)據(jù)等指標(biāo),能得出對(duì)企業(yè)增加市場(chǎng)競(jìng)爭(zhēng)力產(chǎn)生重要作用的情報(bào)數(shù)據(jù)。隨著大數(shù)據(jù)對(duì)企業(yè)發(fā)展帶來(lái)積極的影響,越來(lái)越多的企業(yè)將利用大數(shù)據(jù),以及尋求適用于大數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)解決方案。HDFS是一個(gè)開(kāi)源的分布式文件系統(tǒng),因其較低的成本,良好的可靠性等特點(diǎn)而成為企業(yè)與科研院所首選的海量數(shù)據(jù)存儲(chǔ)解決方案。HDFS適用于采用流式數(shù)據(jù)訪問(wèn)和存儲(chǔ)超大文件,在存儲(chǔ)大數(shù)據(jù)研究過(guò)程中產(chǎn)生的海量小文件時(shí),則表現(xiàn)出存儲(chǔ)空間不足,讀寫(xiě)效率低下等問(wèn)題。如何使HDFS高效存儲(chǔ)小文件,是一個(gè)十分有意義的研究方向。針對(duì)HDFS在存儲(chǔ)小文件時(shí)表現(xiàn)出的效率低下等問(wèn)題,本文從磁盤(pán)、網(wǎng)絡(luò)通信和元數(shù)據(jù)等因素詳細(xì)分析小文件問(wèn)題產(chǎn)生原因,并提出包含管理節(jié)點(diǎn)與工作節(jié)點(diǎn)的小文件存儲(chǔ)模型以優(yōu)化HDFS上的小文件問(wèn)題。論文主要工作如下：(1)提出小文件存儲(chǔ)模型架構(gòu)。存儲(chǔ)模型是一個(gè)基于HDFS的應(yīng)用。它通過(guò)采用小文件優(yōu)化存儲(chǔ)策略,代替HDFS處理客戶端的讀寫(xiě)小文件請(qǐng)求,達(dá)到優(yōu)化小文件存儲(chǔ)的目的。(2)小文件合并存儲(chǔ)。即多個(gè)客戶端上傳的小文件共同保存在一個(gè)HDFS文件中,該方法能有效減少HDFS中系統(tǒng)元數(shù)據(jù)的數(shù)目,并降低HDFS讀取小文件數(shù)據(jù)的磁盤(pán)尋道時(shí)間。(3)小文件索引管理。索引管理主要包括：創(chuàng)建、序列化與反序列化小文件索引。每個(gè)工作節(jié)點(diǎn)在內(nèi)存中保存與其相關(guān)的小文件集合的索引信息。通過(guò)查詢索引表實(shí)現(xiàn)工作節(jié)點(diǎn)快速定位小文件數(shù)據(jù)在HDFS文件中的偏移地址。(4)小文件緩存管理。本文在工作節(jié)點(diǎn)的內(nèi)存和磁盤(pán)上構(gòu)建小文件緩存區(qū),保存最近寫(xiě)入的和訪問(wèn)頻率的小文件。緩存管理內(nèi)置多種常用緩存置換算法,有效減少工作節(jié)點(diǎn)與HDFS交互次數(shù),提高客戶端訪問(wèn)小文件的效率。(5)通過(guò)部署多節(jié)點(diǎn)實(shí)驗(yàn)平臺(tái),對(duì)小文件存儲(chǔ)模型進(jìn)行了讀寫(xiě)性能測(cè)試。測(cè)試結(jié)果與HDFS讀寫(xiě)文件性能對(duì)比發(fā)現(xiàn)：小文件存儲(chǔ)模型方案具有可行性,且表現(xiàn)出良好的小文件讀寫(xiě)性能。
【關(guān)鍵詞】：HDFS 小文件 分布式 合并存儲(chǔ) 元數(shù)據(jù) 緩存
【學(xué)位授予單位】：東北大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP333
【目錄】：

• 摘要5-7
• Abstract7-12
• 第1章 緒論12-16
• 1.1 研究背景12-13
• 1.2 研究現(xiàn)狀13-14
• 1.3 研究?jī)?nèi)容14
• 1.4 論文結(jié)構(gòu)14-16
• 第2章 Hadoop分布式文件系統(tǒng)16-32
• 2.1 HDFS架構(gòu)16-19
• 2.1.1 名字節(jié)點(diǎn)17-18
• 2.1.2 數(shù)據(jù)節(jié)點(diǎn)18-19
• 2.2 HDFS集群?jiǎn)?dòng)19-21
• 2.2.1 名字節(jié)點(diǎn)啟動(dòng)19-20
• 2.2.2 數(shù)據(jù)節(jié)點(diǎn)啟動(dòng)與心跳20-21
• 2.3 HDFS元數(shù)據(jù)管理21-23
• 2.4 HDFS文件讀寫(xiě)分析23-26
• 2.4.1 HDFS讀文件23-24
• 2.4.2 HDFS寫(xiě)文件24-26
• 2.5 HDFS序列文件26-28
• 2.5.1 SequenceFile26-28
• 2.5.2 MapFile28
• 2.6 HDFS集中式緩存28-29
• 2.7 本章小結(jié)29-32
• 第3章 小文件存儲(chǔ)模型設(shè)計(jì)32-50
• 3.1 小文件問(wèn)題分析32-33
• 3.2 小文件存儲(chǔ)模型33-37
• 3.2.1 模型架構(gòu)34-35
• 3.2.2 管理節(jié)點(diǎn)35-36
• 3.2.3 工作節(jié)點(diǎn)36-37
• 3.3 小文件合并存儲(chǔ)37-41
• 3.3.1 存儲(chǔ)空間37-38
• 3.3.2 存儲(chǔ)塊文件38-39
• 3.3.3 小文件合并存儲(chǔ)流程39-41
• 3.4 小文件索引管理41-44
• 3.4.1 文件全局編號(hào)41
• 3.4.2 索引文件41-42
• 3.4.3 索引表42-43
• 3.4.4 索引創(chuàng)建與保存43-44
• 3.5 小文件緩存管理44-49
• 3.5.1 緩存技術(shù)介紹44-45
• 3.5.2 緩存管理設(shè)計(jì)目標(biāo)45
• 3.5.3 緩存管理模塊劃分45-46
• 3.5.4 緩存管理工作流程46-47
• 3.5.5 緩存管理置換策略47-48
• 3.5.6 緩存管理實(shí)現(xiàn)48-49
• 3.6 本章小結(jié)49-50
• 第4章 小文件存儲(chǔ)模型實(shí)現(xiàn)與優(yōu)化50-62
• 4.1 網(wǎng)絡(luò)通信的實(shí)現(xiàn)50-53
• 4.1.1 寫(xiě)數(shù)據(jù)50-51
• 4.1.2 讀數(shù)據(jù)51-53
• 4.2 文件I/O的實(shí)現(xiàn)53-57
• 4.2.1 上傳小文件53-54
• 4.2.2 訪問(wèn)小文件54-55
• 4.2.3 刪除小文件55-57
• 4.3 小文件存儲(chǔ)模型的優(yōu)化57-60
• 4.3.1 客戶端關(guān)系緩存表57-58
• 4.3.2 最優(yōu)可寫(xiě)存儲(chǔ)塊文件數(shù)58-60
• 4.4 本章小結(jié)60-62
• 第5章 性能測(cè)試與分析62-68
• 5.1 實(shí)驗(yàn)平臺(tái)部署與配置62-63
• 5.1.1 實(shí)驗(yàn)環(huán)境62
• 5.1.2 實(shí)驗(yàn)節(jié)點(diǎn)部署62
• 5.1.3 存儲(chǔ)模型配置62-63
• 5.2 最優(yōu)可寫(xiě)存儲(chǔ)塊個(gè)數(shù)測(cè)試63-64
• 5.3 小文件存儲(chǔ)測(cè)試64-66
• 5.3.1 讀測(cè)試64-65
• 5.3.2 寫(xiě)測(cè)試65-66
• 5.4 本章小結(jié)66-68
• 第6章 總結(jié)與展望68-70
• 6.1 工作總結(jié)68
• 6.2 工作展望68-70
• 參考文獻(xiàn)70-76
• 致謝76-78
• 科研項(xiàng)目與論文工作情況78

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前1條

1 楊公平,曾廣周,盧朝霞;移動(dòng)Agent系統(tǒng)中的排隊(duì)機(jī)制研究[J];計(jì)算機(jī)學(xué)報(bào);2005年11期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 李寧;基于HDFS的小文件存儲(chǔ)模型研究與實(shí)現(xiàn)[D];東北大學(xué);2014年

  本文關(guān)鍵詞：基于HDFS的小文件存儲(chǔ)模型研究與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：333949