本文關鍵詞：面向HDFS的批量文件存儲性能的研究與優(yōu)化，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著經(jīng)濟、社會和科技的發(fā)展,個人電腦、智能手機等設備大規(guī)模普及,互聯(lián)網(wǎng)應用越來越廣泛和深入,人們進入了大數(shù)據(jù)的時代。云計算、大數(shù)據(jù)、云存儲共同組成了學術界和商業(yè)界研究的前沿課題。Hadoop是目前主流的開源大數(shù)據(jù)平臺,已經(jīng)成為處理大數(shù)據(jù)問題事實上的標準,它涵蓋一個能夠?qū)崿F(xiàn)云計算、云存儲功能的生態(tài)系統(tǒng)；其中HDFS作為Hadoop最底層的基礎設施,為其提供了高可靠性、高可擴展性的數(shù)據(jù)存儲管理服務,HDFS的工作效率直接決定了Hadoop其他上層工具的性能,也極大地影響了基于HDFS的應用系統(tǒng)的工作效率。 HDFS盡管具有很多優(yōu)點,但是依舊處于不斷發(fā)展成熟的過程中,特別是當處理大規(guī)模數(shù)據(jù)集時會出現(xiàn)很多問題,具體表現(xiàn)在NameNode節(jié)點單點失效、NameNode節(jié)點內(nèi)存瓶頸和負載過大、大量文件訪問時DataNode節(jié)點磁盤I/O尋址頻繁、HDFS集群后臺管理工作負載過大等等,這些都極大地制約了HDFS作為一個分布式文件存儲系統(tǒng)的應用。為此,本文在對]HDFS進行詳細介紹和相關性能因素分析的基礎上,從訪問性能和系統(tǒng)架構兩方面對HDFS進行了優(yōu)化,進一步提高HDFS的工作效率。本文的主要工作及創(chuàng)新點如下： 1,在研讀HDFS系統(tǒng)源代碼的基礎上,介紹了HDFS典型操作流程和后臺管理工作,剖析了HDFS中元數(shù)據(jù)架構體系和通信機制,討論了HDFS系統(tǒng)在批量文件處理時面臨的一些問題和缺陷。 2,針對批量文件存儲時存在的問題,重構了批量文件存儲的機制和讀寫流程。在寫入批量用戶文件時,Client客戶端將批量文件合并成一個組文件,并且創(chuàng)建用戶文件、數(shù)據(jù)片段、組文件、數(shù)據(jù)塊之間的映射元數(shù)據(jù),然后將組文件和相關元數(shù)據(jù)都存儲到HDFS中；在讀取批量用戶文件時,Client客戶端首先獲取用戶文件的元數(shù)據(jù),其次按照存儲位置對數(shù)據(jù)片段進行分類,然后按類向DataNode發(fā)出數(shù)據(jù)讀取請求,獲得所有數(shù)據(jù)片斷,最后將數(shù)據(jù)片段組裝成用戶所求的文件。 3,在批量文件存儲優(yōu)化的基礎上,提出了將NameNode節(jié)點中容易分離的元數(shù)據(jù)遷移存儲到Redis服務器節(jié)點的方法,實現(xiàn)“元數(shù)據(jù)分布,訪問分布”,以此來進一步降低NameNode節(jié)點的內(nèi)存消耗和訪問負載。 4,對于以上的優(yōu)化方案,在HDFS開源系統(tǒng)上做了編程實現(xiàn),并進行了實驗測試,實驗結果驗證了優(yōu)化策略的有效性。
【關鍵詞】：Hadoop分布式文件系統(tǒng) 批量文件 系統(tǒng)架構 Redis
【學位授予單位】：南京師范大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要4-5
• Abstract5-11
• 第一章 緒論11-16
• 1.1 研究背景和意義11-12
• 1.2 研究現(xiàn)狀12-14
• 1.3 本文主要工作及結構安排14-16
• 第二章 HDFS系統(tǒng)的介紹和性能相關因素分析16-30
• 2.1 HDFS系統(tǒng)中的元數(shù)據(jù)分析16-22
• 2.1.1 文件和目錄的元數(shù)據(jù)信息16-18
• 2.1.2 數(shù)據(jù)塊及副本的元數(shù)據(jù)信息18-19
• 2.1.3 文件、數(shù)據(jù)塊、數(shù)據(jù)節(jié)點之間的映射關系19-20
• 2.1.4 NameNode節(jié)點集中統(tǒng)一管理的元數(shù)據(jù)信息20-22
• 2.2 HDFS系統(tǒng)中的通信機制分析22-24
• 2.3 HDFS系統(tǒng)中典型操作解析24-26
• 2.3.1 文件寫入操作24-25
• 2.3.2 文件讀取操作25-26
• 2.3.3 數(shù)據(jù)塊復制操作26
• 2.4 HDFS系統(tǒng)中主要后臺管理工作26-28
• 2.5 HDFS系統(tǒng)性能相關因素分析與面臨的問題28-30
• 第三章 HDFS中批量文件存儲的優(yōu)化30-54
• 3.1 批量文件存儲的優(yōu)化策略30-35
• 3.1.1 文件數(shù)據(jù)部署原則32
• 3.1.2 用戶文件合并操作32-33
• 3.1.3 數(shù)據(jù)片段的關聯(lián)性分析33
• 3.1.4 數(shù)據(jù)片段的組裝33-34
• 3.1.5 “先偽刪除,后真刪除”策略34-35
• 3.2 相關的元數(shù)據(jù)類型與結構35-36
• 3.3 相關算法36-41
• 3.3.1 文件數(shù)據(jù)部署算法36-38
• 3.3.2 用戶文件合并算法38-39
• 3.3.3 數(shù)據(jù)片段關聯(lián)性分析算法39-40
• 3.3.4 數(shù)據(jù)片段的組裝算法40-41
• 3.4 批量文件的操作流程與接口41-45
• 3.4.1 批量文件的寫入操作41-42
• 3.4.2 批量文件的讀取操作42-44
• 3.4.3 以組文件方式寫入的文件的刪除操作44-45
• 3.5 程序功能實現(xiàn)45-47
• 3.6 實驗47-54
• 3.6.1 實驗環(huán)境47
• 3.6.2 時間性能測試結果與數(shù)據(jù)分析47-51
• 3.6.3 NameNode元數(shù)據(jù)大小測試結果與數(shù)據(jù)分析51-54
• 第四章 HDFS系統(tǒng)架構優(yōu)化方案54-69
• 4.1 NoSQL概述54-55
• 4.2 NoSQL數(shù)據(jù)庫產(chǎn)品簡介55-57
• 4.3 Redis數(shù)據(jù)庫介紹57-61
• 4.3.1 Redis是什么57-58
• 4.3.2 Redis的數(shù)據(jù)類型58-59
• 4.3.3 Redis的客戶端庫59
• 4.3.4 Redis的事務、持久化與主從復制59-61
• 4.4 HDFS系統(tǒng)架構的優(yōu)化策略61-64
• 4.5 程序功能實現(xiàn)64-65
• 4.6 實驗65-69
• 4.6.1 實驗環(huán)境65
• 4.6.2 時間性能測試結果與數(shù)據(jù)分析65-67
• 4.6.3 NameNode元數(shù)據(jù)大小測試結果與數(shù)據(jù)分析67-69
• 第五章 總結和展望69-71
• 5.1 總結69-70
• 5.2 展望70-71
• 參考文獻71-75
• 致謝75

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前9條

1 張健;;云計算概念和影響力解析[J];電信網(wǎng)技術;2009年01期

2 王敏;;改進的雙向選擇排序算法[J];信息技術;2010年09期

3 范凱;;NoSQL數(shù)據(jù)庫綜述[J];程序員;2010年06期

4 曹寧;吳中海;劉宏志;張齊勛;;HDFS下載效率的優(yōu)化[J];計算機應用;2010年08期

5 張春明;芮建武;何婷婷;;一種Hadoop小文件存儲和讀取的方法[J];計算機應用與軟件;2012年11期

6 江敏;雙向選擇排序算法[J];泰州職業(yè)技術學院學報;2005年01期

7 周可;王樺;李春花;;云存儲技術及其應用[J];中興通訊技術;2010年04期

8 劉小俊;徐正全;潘少明;;一種結合RDBMS和Hadoop的海量小文件存儲方法[J];武漢大學學報(信息科學版);2013年01期

9 洪旭升;林世平;;基于MapFile的HDFS小文件存儲效率問題[J];計算機系統(tǒng)應用;2012年11期

  本文關鍵詞：面向HDFS的批量文件存儲性能的研究與優(yōu)化，由筆耕文化傳播整理發(fā)布。

，

本文編號：452357