本文關(guān)鍵詞：基于HDFS的分布式存儲系統(tǒng)的研究與實(shí)現(xiàn)

  更多相關(guān)文章： 分布式存儲系統(tǒng) HDFS Hadoop

【摘要】：物質(zhì)、能量和信息是自然科學(xué)研究的三個基本對象,處理、傳輸和存儲是信息計(jì)算的三大基本任務(wù)。隨著網(wǎng)絡(luò)技術(shù)及信息處理技術(shù)的不斷發(fā)展,個人數(shù)據(jù)和企業(yè)數(shù)據(jù)的產(chǎn)生量呈現(xiàn)爆炸性膨脹的趨勢,IT系統(tǒng)正面臨著海量數(shù)據(jù)存儲成本高、管理困難、可靠性低的問題,為了充分利用資源,減少重復(fù)的投資,數(shù)據(jù)存儲作為IT系統(tǒng)的主要架構(gòu)和基礎(chǔ)設(shè)施之一,逐步被作為一個完整的系統(tǒng)從IT系統(tǒng)中獨(dú)立出來,分布式存儲系統(tǒng)因?yàn)榫哂泻Ａ繑?shù)據(jù)存儲、高擴(kuò)展性、高性能、高可靠性、高可用性的特點(diǎn),目前正被作為企業(yè)海量數(shù)據(jù)存儲方案被業(yè)界所廣泛討論和應(yīng)用[1]。因此對于分布式存儲系統(tǒng)的研究不僅緊跟目前發(fā)展的趨勢,而且具有較高的應(yīng)用價值。本文基于對分布式存儲系統(tǒng)的研究,旨在通過在網(wǎng)絡(luò)環(huán)境下構(gòu)建具有高傳輸性能、高可靠性、高可用性的網(wǎng)絡(luò)分布式文件系統(tǒng),通過網(wǎng)絡(luò)數(shù)據(jù)流方式實(shí)現(xiàn)對海量文件系統(tǒng)中的數(shù)據(jù)進(jìn)行存儲和訪問,解決大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)的存儲、查詢、高性能讀取、高容錯性的問題,為IT系統(tǒng)提供高性能、高可靠性、高可用性的存儲應(yīng)用服務(wù),并為今后的分布式計(jì)算研究提供技術(shù)基礎(chǔ)。本文闡述的主要內(nèi)容如下:(1)分布式架構(gòu)的相關(guān)理論以及分布式存儲系統(tǒng)的應(yīng)用現(xiàn)狀,介紹了分布式存儲系統(tǒng)概念;(2)然后引入開源項(xiàng)目Hadoop的HDFS分布式文件系統(tǒng),接著對HDFS關(guān)鍵運(yùn)行機(jī)制進(jìn)行了詳細(xì)分析;(3)并在此基礎(chǔ)上,通過搭建基于HDFS 1.1.2版本的實(shí)驗(yàn)環(huán)境進(jìn)行實(shí)際的測試驗(yàn)證,采集實(shí)驗(yàn)數(shù)據(jù),并對實(shí)驗(yàn)結(jié)果作出進(jìn)一步的分析總結(jié),得到理論和實(shí)際結(jié)合的第一手資料;最后,通過結(jié)合實(shí)際需求,對中小企業(yè)存儲體系、功能結(jié)構(gòu)及運(yùn)行環(huán)境進(jìn)行了設(shè)計(jì)和規(guī)劃。
【關(guān)鍵詞】：分布式存儲系統(tǒng) HDFS Hadoop
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP333
【目錄】：

• 摘要5-6
• Abstract6-9
• 第一章 引言9-12
• 1.1 研究背景9
• 1.2 關(guān)于磁盤存儲9-10
• 1.3 網(wǎng)絡(luò)存儲應(yīng)用10-11
• 1.4 本文的主要工作11-12
• 第二章 分布式存儲相關(guān)理論12-19
• 2.1 分布式系統(tǒng)概念12
• 2.2 分布式存儲系統(tǒng)概念12
• 2.3 分布式存儲系統(tǒng)的應(yīng)用現(xiàn)狀12-13
• 2.4 分布式存儲系統(tǒng)架構(gòu)分析13-19
• 2.4.1 中心化體系架構(gòu)14-15
• 2.4.2 去中心化體系架構(gòu)15-17
• 2.4.3 中心化體系結(jié)構(gòu)與去中心化體系結(jié)構(gòu)的比較17-18
• 2.4.4“中心化”與“去中心化”混合架構(gòu)18
• 2.4.5“中心化”與“去中心化”間的選擇18-19
• 第三章 HDFS分布式存儲系統(tǒng)研究19-42
• 3.1 HSDF系統(tǒng)架構(gòu)和設(shè)計(jì)要點(diǎn)19-25
• 3.1.1 HDFS的特點(diǎn)19
• 3.1.2 HDFS的系統(tǒng)架構(gòu)19-20
• 3.1.3 NameNode是整個集群的中樞20-21
• 3.1.4 DataNode用于存儲數(shù)據(jù)21
• 3.1.5 HDFS的設(shè)計(jì)要點(diǎn)21-25
• 3.2 HDFS關(guān)鍵運(yùn)行流程解析25-32
• 3.2.1 格式化26
• 3.2.2 啟動過程26-27
• 3.2.3 DataNode注冊27-29
• 3.2.4 心跳連接29
• 3.2.5 寫入文件29-30
• 3.2.6 讀取文件30-32
• 3.2.7 刪除文件32
• 3.2.8 數(shù)據(jù)校驗(yàn)32
• 3.3 HDFS的不足以及改進(jìn)策略32-42
• 3.3.1 斷點(diǎn)續(xù)傳33-37
• 3.3.2 壓縮處理37-38
• 3.3.3 小文件優(yōu)化38-42
• 第四章 HDFS應(yīng)用實(shí)現(xiàn)的技術(shù)方法42-54
• 4.1 系統(tǒng)內(nèi)部通信的實(shí)現(xiàn)方法42-47
• 4.2 NameNode實(shí)現(xiàn)方法47-49
• 4.3 DataNode實(shí)現(xiàn)方法49-50
• 4.4 客戶端實(shí)現(xiàn)方法50-54
• 第五章 基于HDFS的分布式存儲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)54-78
• 5.1 系統(tǒng)需求分析54
• 5.2 系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)54-55
• 5.3 數(shù)據(jù)庫結(jié)構(gòu)55-56
• 5.4 系統(tǒng)運(yùn)行環(huán)境56
• 5.5 系統(tǒng)運(yùn)行安裝配置56-58
• 5.6 登錄功能模塊58-63
• 5.7 文件管理模塊63-66
• 5.8 文件上傳模塊66-69
• 5.9 文件下載模塊69-71
• 5.10 文件刪除模塊71-73
• 5.11 系統(tǒng)功能測試73-78
• 第六章 結(jié)論與展望78-79
• 參考文獻(xiàn)79-80
• 致謝80-81
• 附件81

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 何公明;張?jiān)獫?;面向數(shù)字媒體的高性能分布式存儲系統(tǒng)的研究與應(yīng)用[J];廣播電視信息;2009年10期

2 范劍波,郭建康;分布式存儲系統(tǒng)性能模型的建立與應(yīng)用[J];計(jì)算機(jī)工程與應(yīng)用;2001年13期

3 范劍波,徐利浩;分布式存儲系統(tǒng)可靠性的研究[J];計(jì)算機(jī)工程;2001年06期

4 吳英;謝廣軍;劉t，

本文編號：900769