天堂国产午夜亚洲专区-少妇人妻综合久久蜜臀-国产成人户外露出视频在线-国产91传媒一区二区三区

基于HDFS的小文件存儲(chǔ)模型研究與實(shí)現(xiàn)

發(fā)布時(shí)間:2017-04-29 02:01

  本文關(guān)鍵詞:基于HDFS的小文件存儲(chǔ)模型研究與實(shí)現(xiàn),,由筆耕文化傳播整理發(fā)布。


【摘要】:大數(shù)據(jù)是當(dāng)前計(jì)算機(jī)領(lǐng)域研究的熱點(diǎn)問(wèn)題之一。企業(yè)通過(guò)大數(shù)據(jù)分析消費(fèi)者行為,部門(mén)銷售數(shù)據(jù)等指標(biāo),能得出對(duì)企業(yè)增加市場(chǎng)競(jìng)爭(zhēng)力產(chǎn)生重要作用的情報(bào)數(shù)據(jù)。隨著大數(shù)據(jù)對(duì)企業(yè)發(fā)展帶來(lái)積極的影響,越來(lái)越多的企業(yè)將利用大數(shù)據(jù),以及尋求適用于大數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)解決方案。HDFS是一個(gè)開(kāi)源的分布式文件系統(tǒng),因其較低的成本,良好的可靠性等特點(diǎn)而成為企業(yè)與科研院所首選的海量數(shù)據(jù)存儲(chǔ)解決方案。HDFS適用于采用流式數(shù)據(jù)訪問(wèn)和存儲(chǔ)超大文件,在存儲(chǔ)大數(shù)據(jù)研究過(guò)程中產(chǎn)生的海量小文件時(shí),則表現(xiàn)出存儲(chǔ)空間不足,讀寫(xiě)效率低下等問(wèn)題。如何使HDFS高效存儲(chǔ)小文件,是一個(gè)十分有意義的研究方向。針對(duì)HDFS在存儲(chǔ)小文件時(shí)表現(xiàn)出的效率低下等問(wèn)題,本文從磁盤(pán)、網(wǎng)絡(luò)通信和元數(shù)據(jù)等因素詳細(xì)分析小文件問(wèn)題產(chǎn)生原因,并提出包含管理節(jié)點(diǎn)與工作節(jié)點(diǎn)的小文件存儲(chǔ)模型以優(yōu)化HDFS上的小文件問(wèn)題。論文主要工作如下:(1)提出小文件存儲(chǔ)模型架構(gòu)。存儲(chǔ)模型是一個(gè)基于HDFS的應(yīng)用。它通過(guò)采用小文件優(yōu)化存儲(chǔ)策略,代替HDFS處理客戶端的讀寫(xiě)小文件請(qǐng)求,達(dá)到優(yōu)化小文件存儲(chǔ)的目的。(2)小文件合并存儲(chǔ)。即多個(gè)客戶端上傳的小文件共同保存在一個(gè)HDFS文件中,該方法能有效減少HDFS中系統(tǒng)元數(shù)據(jù)的數(shù)目,并降低HDFS讀取小文件數(shù)據(jù)的磁盤(pán)尋道時(shí)間。(3)小文件索引管理。索引管理主要包括:創(chuàng)建、序列化與反序列化小文件索引。每個(gè)工作節(jié)點(diǎn)在內(nèi)存中保存與其相關(guān)的小文件集合的索引信息。通過(guò)查詢索引表實(shí)現(xiàn)工作節(jié)點(diǎn)快速定位小文件數(shù)據(jù)在HDFS文件中的偏移地址。(4)小文件緩存管理。本文在工作節(jié)點(diǎn)的內(nèi)存和磁盤(pán)上構(gòu)建小文件緩存區(qū),保存最近寫(xiě)入的和訪問(wèn)頻率的小文件。緩存管理內(nèi)置多種常用緩存置換算法,有效減少工作節(jié)點(diǎn)與HDFS交互次數(shù),提高客戶端訪問(wèn)小文件的效率。(5)通過(guò)部署多節(jié)點(diǎn)實(shí)驗(yàn)平臺(tái),對(duì)小文件存儲(chǔ)模型進(jìn)行了讀寫(xiě)性能測(cè)試。測(cè)試結(jié)果與HDFS讀寫(xiě)文件性能對(duì)比發(fā)現(xiàn):小文件存儲(chǔ)模型方案具有可行性,且表現(xiàn)出良好的小文件讀寫(xiě)性能。
【關(guān)鍵詞】:HDFS 小文件 分布式 合并存儲(chǔ) 元數(shù)據(jù) 緩存
【學(xué)位授予單位】:東北大學(xué)
【學(xué)位級(jí)別】:碩士
【學(xué)位授予年份】:2014
【分類號(hào)】:TP333
【目錄】:
  • 摘要5-7
  • Abstract7-12
  • 第1章 緒論12-16
  • 1.1 研究背景12-13
  • 1.2 研究現(xiàn)狀13-14
  • 1.3 研究?jī)?nèi)容14
  • 1.4 論文結(jié)構(gòu)14-16
  • 第2章 Hadoop分布式文件系統(tǒng)16-32
  • 2.1 HDFS架構(gòu)16-19
  • 2.1.1 名字節(jié)點(diǎn)17-18
  • 2.1.2 數(shù)據(jù)節(jié)點(diǎn)18-19
  • 2.2 HDFS集群?jiǎn)?dòng)19-21
  • 2.2.1 名字節(jié)點(diǎn)啟動(dòng)19-20
  • 2.2.2 數(shù)據(jù)節(jié)點(diǎn)啟動(dòng)與心跳20-21
  • 2.3 HDFS元數(shù)據(jù)管理21-23
  • 2.4 HDFS文件讀寫(xiě)分析23-26
  • 2.4.1 HDFS讀文件23-24
  • 2.4.2 HDFS寫(xiě)文件24-26
  • 2.5 HDFS序列文件26-28
  • 2.5.1 SequenceFile26-28
  • 2.5.2 MapFile28
  • 2.6 HDFS集中式緩存28-29
  • 2.7 本章小結(jié)29-32
  • 第3章 小文件存儲(chǔ)模型設(shè)計(jì)32-50
  • 3.1 小文件問(wèn)題分析32-33
  • 3.2 小文件存儲(chǔ)模型33-37
  • 3.2.1 模型架構(gòu)34-35
  • 3.2.2 管理節(jié)點(diǎn)35-36
  • 3.2.3 工作節(jié)點(diǎn)36-37
  • 3.3 小文件合并存儲(chǔ)37-41
  • 3.3.1 存儲(chǔ)空間37-38
  • 3.3.2 存儲(chǔ)塊文件38-39
  • 3.3.3 小文件合并存儲(chǔ)流程39-41
  • 3.4 小文件索引管理41-44
  • 3.4.1 文件全局編號(hào)41
  • 3.4.2 索引文件41-42
  • 3.4.3 索引表42-43
  • 3.4.4 索引創(chuàng)建與保存43-44
  • 3.5 小文件緩存管理44-49
  • 3.5.1 緩存技術(shù)介紹44-45
  • 3.5.2 緩存管理設(shè)計(jì)目標(biāo)45
  • 3.5.3 緩存管理模塊劃分45-46
  • 3.5.4 緩存管理工作流程46-47
  • 3.5.5 緩存管理置換策略47-48
  • 3.5.6 緩存管理實(shí)現(xiàn)48-49
  • 3.6 本章小結(jié)49-50
  • 第4章 小文件存儲(chǔ)模型實(shí)現(xiàn)與優(yōu)化50-62
  • 4.1 網(wǎng)絡(luò)通信的實(shí)現(xiàn)50-53
  • 4.1.1 寫(xiě)數(shù)據(jù)50-51
  • 4.1.2 讀數(shù)據(jù)51-53
  • 4.2 文件I/O的實(shí)現(xiàn)53-57
  • 4.2.1 上傳小文件53-54
  • 4.2.2 訪問(wèn)小文件54-55
  • 4.2.3 刪除小文件55-57
  • 4.3 小文件存儲(chǔ)模型的優(yōu)化57-60
  • 4.3.1 客戶端關(guān)系緩存表57-58
  • 4.3.2 最優(yōu)可寫(xiě)存儲(chǔ)塊文件數(shù)58-60
  • 4.4 本章小結(jié)60-62
  • 第5章 性能測(cè)試與分析62-68
  • 5.1 實(shí)驗(yàn)平臺(tái)部署與配置62-63
  • 5.1.1 實(shí)驗(yàn)環(huán)境62
  • 5.1.2 實(shí)驗(yàn)節(jié)點(diǎn)部署62
  • 5.1.3 存儲(chǔ)模型配置62-63
  • 5.2 最優(yōu)可寫(xiě)存儲(chǔ)塊個(gè)數(shù)測(cè)試63-64
  • 5.3 小文件存儲(chǔ)測(cè)試64-66
  • 5.3.1 讀測(cè)試64-65
  • 5.3.2 寫(xiě)測(cè)試65-66
  • 5.4 本章小結(jié)66-68
  • 第6章 總結(jié)與展望68-70
  • 6.1 工作總結(jié)68
  • 6.2 工作展望68-70
  • 參考文獻(xiàn)70-76
  • 致謝76-78
  • 科研項(xiàng)目與論文工作情況78

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前1條

1 楊公平,曾廣周,盧朝霞;移動(dòng)Agent系統(tǒng)中的排隊(duì)機(jī)制研究[J];計(jì)算機(jī)學(xué)報(bào);2005年11期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 李寧;基于HDFS的小文件存儲(chǔ)模型研究與實(shí)現(xiàn)[D];東北大學(xué);2014年


  本文關(guān)鍵詞:基于HDFS的小文件存儲(chǔ)模型研究與實(shí)現(xiàn),由筆耕文化傳播整理發(fā)布。



本文編號(hào):333949

資料下載
論文發(fā)表

本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/333949.html


Copyright(c)文論論文網(wǎng)All Rights Reserved | 網(wǎng)站地圖 |

版權(quán)申明:資料由用戶48adb***提供,本站僅收錄摘要或目錄,作者需要?jiǎng)h除請(qǐng)E-mail郵箱bigeng88@qq.com
天海翼高清二区三区在线| 九七人妻一区二区三区| 久久精品亚洲情色欧美| 午夜精品国产一区在线观看| 精品一区二区三区不卡少妇av| 麻豆tv传媒在线观看| 精品亚洲香蕉久久综合网| 免费观看日韩一级黄色大片| 九九热精彩视频在线免费| 国产丝袜极品黑色高跟鞋| 国产综合欧美日韩在线精品| 日韩精品亚洲精品国产精品| 麻豆蜜桃星空传媒在线观看| 有坂深雪中文字幕亚洲中文| 老熟妇2久久国内精品| 国产成人高清精品尤物| 国产精品刮毛视频不卡| 日韩夫妻午夜性生活视频| 日韩一区二区三区有码| 日韩欧美一区二区久久婷婷| 日韩精品免费一区三区| 中文字幕精品一区二区年下载| 免费特黄一级一区二区三区| 国产亚洲欧美日韩精品一区 | 草草草草在线观看视频| 欧美国产日本免费不卡| 亚洲熟妇中文字幕五十路| 国产又粗又猛又长又大| 又大又长又粗又黄国产| 中文字幕区自拍偷拍区| 中国美女草逼一级黄片视频| 亚洲熟女国产熟女二区三区| 欧美国产日本高清在线| 91精品蜜臀一区二区三区| 国产真人无遮挡免费视频一区| 国产精品免费视频久久| 99久久精品一区二区国产| 国产午夜精品福利免费不| 日本三区不卡高清更新二区| 久草热视频这里只有精品| 日韩精品一区二区不卡|