本文關鍵詞：優(yōu)化性能的分布式存儲子系統(tǒng)的設計與實現(xiàn)

  更多相關文章： 分布式理論 云端數(shù)據 性能瓶頸 負載均衡 一致性

【摘要】：現(xiàn)今,人們趕上了互聯(lián)網的大潮,進入了互聯(lián)網爆炸的時代。數(shù)據以超乎過去幾十甚至幾百倍的速度在不斷增長,這導致了人們處理的信息量較之過去呈現(xiàn)指數(shù)級上升。當面臨問題時,已經不再是幾臺個人計算機能夠搞定的范疇。互聯(lián)網將全世界人類的大腦集中在一起的同時,也拋出了一個難題:如何處理海量爆炸式增長的數(shù)據。為了解決這一難題,人們提出了云的概念,由此衍生出了分布式理論的雛形。另外,各大公司的不同應用對云端數(shù)據存儲的要求越來越高,尤其是針對不同場景提出了不同的要求,都使得傳統(tǒng)的分布式框架在處理問題的時候有氣無力。為了豐富用戶不斷增加的需求的變化以及為了提高更好的用戶體驗,現(xiàn)有的分布式文件系統(tǒng)做了其相應的改變。實驗室也本著科研的目的,借鑒國內外經典的分布式系統(tǒng)框架,設計了我們自己的分布式文件系統(tǒng)C_STORE。本文首先介紹了國內外集中主流的分布式文件系統(tǒng),并對它們進行了研究,繼而給出本系統(tǒng)數(shù)據管理模塊的設計方案,之后提出性能瓶頸,并進行了改進。C_STORE采用了負載均衡和恢復策略,具有良好的可擴展性和可靠性。它將數(shù)據與元數(shù)據分離管理,這使客戶端對服務器的訪問高效化,同時也使資源的管理方便化,既充分利用了資源,又減輕了服務端的壓力。在客戶端方面,我們分別實現(xiàn)了基于不同平臺的客戶端軟件,如UNIX、ANDROID以及WIN平臺下都有其可用的客戶端。同時實現(xiàn)了用戶認證模塊,方便了用戶登錄以及用戶存儲配額的分配,保證了用戶賬戶的安全。數(shù)據存儲模塊主要為用戶提供良好的數(shù)據存儲功能,為了保證用戶數(shù)據的可用性,它采取了冗余策略,將每份數(shù)據進行備份;恢復機制保證了數(shù)據的可靠性;采用邏輯時鐘來保證數(shù)據的一致性。模塊在副本之間采用了心跳連接推送分片數(shù)據的備份副本,一旦出現(xiàn)熱點機器,遷移機制和擴容機制保證了模塊間數(shù)據的負載均衡。本文最后將給出模塊基本功能測試與針對大小文件的基本性能測試,并給出性能優(yōu)化之后的機器各項硬件參數(shù)消耗指標,證明系統(tǒng)真實可用。
【關鍵詞】：分布式理論 云端數(shù)據 性能瓶頸 負載均衡 一致性
【學位授予單位】：電子科技大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要5-6
• ABSTRACT6-12
• 第一章 緒論12-20
• 1.1 背景介紹12-13
• 1.2 國內外研究現(xiàn)狀13-17
• 1.2.1 GFS13-15
• 1.2.2 HDFS15-16
• 1.2.3 TFS16-17
• 1.3 主要研究內容17-18
• 1.4 論文組織18-20
• 第二章 系統(tǒng)相關理論與技術支持20-29
• 2.1 分布式文件系統(tǒng)20-25
• 2.1.1 名字空間概述20-22
• 2.1.1.1 基于文件系統(tǒng)的設計20-21
• 2.1.1.2 基于全內存的分層設計21
• 2.1.1.3 基于全內存的Hash設計21-22
• 2.1.1.4 基于全內存的雙重Hash設計22
• 2.1.2 可用性22-23
• 2.1.3 可擴展性23-24
• 2.1.4 負載均衡24-25
• 2.2 數(shù)據查找和定位的相關技術25-27
• 2.2.1 分布式哈希表（Distributed Hash Table，，DHT）25-26
• 2.2.1.1 一致性哈希25
• 2.2.1.2 Chord25-26
• 2.2.2 CRUSH技術26-27
• 2.3 其他理論技術簡介27-28
• 2.3.1 復制27
• 2.3.2 重復數(shù)據刪除（De-duplication）27-28
• 2.4 本章小結28-29
• 第三章 分布式系統(tǒng)存儲子模塊總體設計29-44
• 3.1 系統(tǒng)需求分析29-30
• 3.2 設計方案30-34
• 3.2.1 可擴展性30-31
• 3.2.2 可靠性31
• 3.2.3 重復數(shù)據刪除31-33
• 3.2.4 高性能33-34
• 3.3 系統(tǒng)框架及各模塊簡介34-38
• 3.3.1 客戶端模塊36
• 3.3.2 元數(shù)據單元模塊36-37
• 3.3.3 配置和規(guī)則服務器模塊37-38
• 3.4 典型的系統(tǒng)初始化流程38-39
• 3.5 規(guī)則的設計詳解39-43
• 3.5.1 規(guī)則的設計原理39-40
• 3.5.2 資源查詢與位置更新40
• 3.5.3 規(guī)則的實現(xiàn)40-43
• 3.5.3.1 重要數(shù)據結構41-42
• 3.5.3.2 業(yè)務流程簡介42-43
• 3.6 本章小結43-44
• 第四章 數(shù)據存儲模塊的設計44-54
• 4.1 總體概要設計44-49
• 4.1.1 序列號的設計46-47
• 4.1.2 數(shù)據單元物理存儲模型47-48
• 4.1.3 負載均衡策略48-49
• 4.2 桶的狀態(tài)機設計49
• 4.3 副本一致性維護策略49-50
• 4.4 宕機恢復流程的設計50-51
• 4.5 通信協(xié)議設計概要51-53
• 4.6 本章小結53-54
• 第五章 數(shù)據存儲單元的實現(xiàn)54-65
• 5.1 數(shù)據存儲模塊的實現(xiàn)框架圖54-55
• 5.2 網絡通信模塊的設計實現(xiàn)55-56
• 5.3 定時器管理模塊的設計實現(xiàn)56
• 5.4 線程池模塊的設計實現(xiàn)56-57
• 5.5 客戶端業(yè)務處理模塊設計實現(xiàn)57-59
• 5.6 CS業(yè)務模塊設計實現(xiàn)59
• 5.7 桶業(yè)務處理模塊設計實現(xiàn)59-61
• 5.8 典型業(yè)務流程舉例61-64
• 5.8.1 上傳流程61-62
• 5.8.2 恢復流程62-63
• 5.8.3 桶遷移流程63-64
• 5.9 本章小結64-65
• 第六章 數(shù)據存儲模塊性能瓶頸分析與優(yōu)化改進65-74
• 6.1 原有程序框架以及流程65-66
• 6.1.1 程序的總體框架65-66
• 6.1.2 現(xiàn)有客戶端業(yè)務處理流程66
• 6.2 現(xiàn)有客戶端與SU交互時存在的問題66-69
• 6.2.1 在現(xiàn)有框架的基礎上SU出現(xiàn)的問題66-67
• 6.2.2 測試中客戶端與SU交互問題的分析67-69
• 6.3 修改方案69-73
• 6.3.1 短連接到長連接的修改69-72
• 6.3.2 修改為長連接之后的流控處理問題72-73
• 6.4 本章小結73-74
• 第七章 數(shù)據分析以及測試結果74-86
• 7.1 測試前的相關環(huán)境準備74-75
• 7.2 測試內容75
• 7.3 測試結果75-85
• 7.3.1 基本功能測試結果75-77
• 7.3.1.1 上傳75-76
• 7.3.1.2 下載76
• 7.3.1.3 查詢76-77
• 7.3.2 負載均衡流程測試77-80
• 7.3.2.1 桶遷移流程測試77-78
• 7.3.2.2 桶分裂流程測試78-80
• 7.3.3 宕機恢復流程測試80-82
• 7.3.4 性能測試82-85
• 7.3.4.1 文件讀寫硬件性能測試82-83
• 7.3.4.2 大文件讀寫測試83-84
• 7.3.4.3 小文件讀寫測試84-85
• 7.4 本章小結85-86
• 第八章 結論與展望86-88
• 致謝88-89
• 參考文獻89-91
• 攻研期間的研究成果91-92

【相似文獻】

中國期刊全文數(shù)據庫 前10條

1 寒江約叟;N個資源一次看——分布式文件系統(tǒng)妙用[J];電腦應用文萃;2004年07期

2 黃華;張建剛;許魯;;藍鯨分布式文件系統(tǒng)的客戶端元數(shù)據緩存模型[J];計算機科學;2005年09期

3 黃華;張敬亮;張建剛;許魯;;藍鯨分布式文件系統(tǒng)的物理資源管理模型[J];計算機工程;2006年06期

4 姚毓才;張琳娜;;淺析分布式文件系統(tǒng)原理及改進[J];銅陵學院學報;2008年06期

5 劉光博;;分布式文件系統(tǒng)在氣象業(yè)務中的應用初探[J];氣象研究與應用;2009年01期

6 岳衛(wèi)榮;;淺談分布式文件系統(tǒng)的使用[J];河南農業(yè);2009年14期

7 何公明;許嚴;;高性能分布式文件系統(tǒng)相關技術研究[J];有線電視技術;2009年12期

8 薛志強;劉鵬;文艾;周游;許闖;;分布式文件系統(tǒng)管理策略研究[J];電腦知識與技術;2011年01期

9 田怡萌;李小勇;劉海濤;;分布式文件系統(tǒng)副本一致性檢測研究[J];計算機研究與發(fā)展;2012年S1期

10 熊文;喻之斌;須成忠;;幾個常見分布式文件系統(tǒng)特征分析和性能對比(英文)[J];集成技術;2012年04期

中國重要會議論文全文數(shù)據庫 前4條

1 華清;黃林鵬;;基于分片、松耦合的分布式文件系統(tǒng)的設計與實現(xiàn)[A];2006年全國開放式分布與并行計算學術會議論文集（二）[C];2006年

2 洪穗;;微軟WINDOWS Server 2003 R2分布式文件系統(tǒng)解決方案分析[A];中國新聞技術工作者聯(lián)合會2008年學術年會論文集（上）[C];2008年

3 羅志明;張大華;王電鋼;常健;;電力分布式云存儲關鍵技術研究[A];2012年電力通信管理暨智能電網通信技術論壇論文集[C];2013年

4 徐文斌;;大數(shù)據時代的交管綜合應用云平臺[A];第八屆中國智能交通年會論文集[C];2013年

中國重要報紙全文數(shù)據庫 前10條

1 國家高性能計算機工程技術研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)的歷史與現(xiàn)狀[N];中國計算機報;2005年

2 國家高性能計算機工程技術研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)趨向成熟[N];中國計算機報;2005年

3 國防科學技術大學計算機學院軟件所 董勇 周恩強;構建分布式文件系統(tǒng)[N];中國計算機報;2005年

4 ;分布式文件系統(tǒng)一瞥[N];網絡世界;2002年

5 王春海 劉立;分布式文件系統(tǒng)在網絡中的應用[N];電腦報;2004年

6 ;Hadoop：為構建海量數(shù)據架構而生[N];人民郵電;2012年

7 本報記者 于翔;“大數(shù)據”的大承諾[N];網絡世界;2010年

8 IBM大數(shù)據專家 James Kobielus　范范 編譯;YARN動搖了MapReduce對Hadoop的掌控[N];網絡世界;2013年

9 張力平;云計算和物聯(lián)網的美妙融合[N];學習時報;2014年

10 《網絡世界》記者 于翔;大數(shù)據治理多管齊下[N];網絡世界;2012年

中國博士學位論文全文數(shù)據庫 前4條

1 趙鐵柱;分布式文件系統(tǒng)性能建模及應用研究[D];華南理工大學;2011年

2 史小冬;分布式文件系統(tǒng)高可用問題研究[D];中國科學院研究生院（計算技術研究所）;2002年

3 黃華;藍鯨分布式文件系統(tǒng)的資源管理[D];中國科學院研究生院（計算技術研究所）;2005年

4 楊德志;分布式文件系統(tǒng)可擴展元數(shù)據服務關鍵問題研究[D];中國科學院研究生院（計算技術研究所）;2008年

本文編號：945079