本文關鍵詞：適配海量小文件的分布式文件系統(tǒng)關鍵技術研究及系統(tǒng)實現(xiàn)

  更多相關文章： 分布式文件系統(tǒng) 海量小文件 元數(shù)據(jù)管理 負載均衡 數(shù)據(jù)容災

【摘要】：面對井噴式的大小不一的數(shù)據(jù)文件,單機存儲系統(tǒng)會變得手忙腳亂。對此,國內外工程師們設計了形態(tài)各異的分布式文件系統(tǒng)。本文分析了海量小文件的存儲問題,剖析了分布式文件系統(tǒng)的數(shù)據(jù)路由策略與系統(tǒng)架構,總結出在設計適配海量小文件的分布式文件系統(tǒng)過程中有待解決的三個問題。針對元數(shù)據(jù)的高速讀寫與容災擴容的沖突問題,本文提出了分布式內存數(shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫結合的元數(shù)據(jù)管理方案。該方案將元數(shù)據(jù)分散在分布式內存數(shù)據(jù)庫中,在處理好海量小文件存儲問題的同時,解除單機內存大小對可容納文件數(shù)量的限制,再使用基于固態(tài)硬盤的傳統(tǒng)數(shù)據(jù)庫做備份,實現(xiàn)元數(shù)據(jù)的有效容災。針對小文件與大文件的共存問題,本文提出了小文件合并大文件分割的存儲方案。該方案在優(yōu)化海量小文件存儲的前提下,不影響甚至改良大文件的存儲方式,提高系統(tǒng)對大文件讀寫的吞吐性能,實現(xiàn)系統(tǒng)的通用性。針對存儲節(jié)點的負載均衡問題,本文提出了基于對等集群架構的動態(tài)數(shù)據(jù)路由策略。該方案使數(shù)據(jù)副本能均衡分布在性能各異的存儲節(jié)點中,并對外提供強一致性,在提供友好的容災與擴容機制的同時,有效解決系統(tǒng)的單點故障問題。基于上述三個關鍵技術,本文提出了一個適配海量小文件的分布式文件系統(tǒng)架構,并闡述其存儲機制、擴容機制與容災機制,再詳細設計并實現(xiàn)了各個功能模塊。最后,本文對上述實現(xiàn)的分布式文件系統(tǒng)進行測試實驗,主要考察其小文件與大文件的處理情況、容災情況、系統(tǒng)擴容情況,分析其功能與性能。實驗結果表明上述方案確實能夠有效地管理海量的大小不一的數(shù)據(jù)文件。
【關鍵詞】：分布式文件系統(tǒng) 海量小文件 元數(shù)據(jù)管理 負載均衡 數(shù)據(jù)容災
【學位授予單位】：華南理工大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP333
【目錄】：

• 摘要5-6
• ABSTRACT6-12
• 第一章 緒論12-25
• 1.1 研究背景12
• 1.2 國內外研究現(xiàn)狀12-22
• 1.2.1 海量小文件存儲問題的研究現(xiàn)狀13-17
• 1.2.2 分布式數(shù)據(jù)路由策略的研究現(xiàn)狀17-19
• 1.2.3 分布式文件系統(tǒng)架構的研究現(xiàn)狀19-22
• 1.3 存在的問題22-23
• 1.3.1 元數(shù)據(jù)的高速讀寫與容災擴容的沖突問題22
• 1.3.2 小文件與大文件的共存問題22
• 1.3.3 存儲節(jié)點的負載均衡問題22-23
• 1.4 本文完成的工作23-24
• 1.5 本文結構24-25
• 第二章 適配海量小文件的分布式文件系統(tǒng)關鍵技術25-36
• 2.1 分布式內存數(shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫結合的元數(shù)據(jù)管理方案25-27
• 2.1.1 工作原理25-26
• 2.1.2 本方案特性26-27
• 2.2 小文件合并與大文件分割的存儲方案27-29
• 2.2.1 本方案特性27-28
• 2.2.2 小文件合并的工作原理28-29
• 2.2.3 大文件分割的工作原理29
• 2.3 基于對等集群架構的動態(tài)數(shù)據(jù)路由策略29-34
• 2.3.1 讀操作的路由策略29-31
• 2.3.2 寫操作的路由策略31-32
• 2.3.3 讀寫分離32-33
• 2.3.4 基于主從選舉的對等集群架構33-34
• 2.3.5 本方案特性34
• 2.4 本章小結34-36
• 第三章 適配海量小文件的分布式文件系統(tǒng)整體架構36-46
• 3.1 功能需求概述36
• 3.2 系統(tǒng)框架與架構36-39
• 3.3 存儲機制39-42
• 3.3.1 元數(shù)據(jù)讀寫操作39-40
• 3.3.2 文件數(shù)據(jù)讀操作40-41
• 3.3.3 文件數(shù)據(jù)寫操作41-42
• 3.4 平滑擴容機制42-44
• 3.4.1 存儲集群擴容42
• 3.4.2 分布式內存數(shù)據(jù)庫擴容42-43
• 3.4.3 備份數(shù)據(jù)庫分表43-44
• 3.5 容災機制44-45
• 3.5.1 數(shù)據(jù)容災44
• 3.5.2 無單點故障44-45
• 3.6 本章小結45-46
• 第四章 適配海量小文件的分布式文件系統(tǒng)模塊實現(xiàn)46-65
• 4.1 系統(tǒng)整體架構46-47
• 4.2 數(shù)據(jù)庫的設計47-51
• 4.2.1 數(shù)據(jù)庫的部署47-48
• 4.2.2 文件元數(shù)據(jù)表的設計48
• 4.2.3 數(shù)據(jù)路由信息表的設計48-49
• 4.2.4 Redis的應用49-51
• 4.3 用戶接口模塊的實現(xiàn)51-54
• 4.3.1 需求分析51-52
• 4.3.2 接口定義52-53
• 4.3.3 內部結構53-54
• 4.4 分布式協(xié)調系統(tǒng)的實現(xiàn)54-56
• 4.4.1 需求分析54
• 4.4.2 Zookeeper的應用54-56
• 4.5 代理節(jié)點的實現(xiàn)56-62
• 4.5.1 內部結構56-57
• 4.5.2 HTTP服務模塊的實現(xiàn)57-59
• 4.5.3 存儲節(jié)點管理模塊的實現(xiàn)59-61
• 4.5.4 其它模塊與存儲節(jié)點管理模塊之間的通信61-62
• 4.6 存儲節(jié)點的實現(xiàn)62-63
• 4.6.1 內部結構62-63
• 4.6.2 文件索引的實現(xiàn)63
• 4.7 負載均衡器的實現(xiàn)63-64
• 4.8 本章小結64-65
• 第五章 系統(tǒng)測試與結果分析65-79
• 5.1 測試目的65
• 5.2 實驗環(huán)境65-68
• 5.2.1 系統(tǒng)部署65-67
• 5.2.2 測試工具67-68
• 5.3 系統(tǒng)測試68-77
• 5.3.1 基本存儲功能測試68-69
• 5.3.2 海量小文件的空間利用率測試69-72
• 5.3.3 小文件讀寫速率測試72-73
• 5.3.4 大文件讀寫速率測試73-74
• 5.3.5 容災測試74-76
• 5.3.6 平滑擴容測試76-77
• 5.4 測試結果分析77
• 5.5 本章小結77-79
• 總結與展望79-81
• 參考文獻81-84
• 攻讀碩士學位期間取得的研究成果84-85
• 致謝85-87
• 附件87

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前5條

1 Alexander Libman;Vladimir Gilbourd;羅小平;;兩種高性能I/O設計模式的比較[J];程序員;2007年04期

2 王珊;肖艷芹;劉大為;覃雄派;;內存數(shù)據(jù)庫關鍵技術研究[J];計算機應用;2007年10期

3 張桂剛;李超;張勇;邢春曉;;一種基于海量信息處理的云存儲模型研究[J];計算機研究與發(fā)展;2012年S1期

4 王鈴惠;李小勇;張軼彬;;海量小文件存儲文件系統(tǒng)研究綜述[J];計算機應用與軟件;2012年08期

5 鄭靈翔,劉君堯,陳輝煌;Linux下的負載均衡集群LVS實現(xiàn)分析與測試[J];廈門大學學報(自然科學版);2002年06期

中國博士學位論文全文數(shù)據(jù)庫 前2條

1 劉立坤;海量文件系統(tǒng)元數(shù)據(jù)查詢方法與技術[D];清華大學;2011年

2 項菲;面向環(huán)境可靠和體系可靠的云存儲關鍵技術研究[D];北京郵電大學;2013年

中國碩士學位論文全文數(shù)據(jù)庫 前1條

1 梁U_成;面向公有云存儲的高并發(fā)關鍵技術研究及系統(tǒng)實現(xiàn)[D];華南理工大學;2013年

，

本文編號：667611