本文關(guān)鍵詞：基于FastDFS架構(gòu)的小文件存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 存儲(chǔ) 分布式系統(tǒng) FastDFS 高并發(fā) 高擴(kuò)展 海量數(shù)據(jù)

【摘要】：馮諾依曼計(jì)算機(jī)體系結(jié)構(gòu)的五大組成部分:運(yùn)算器、控制器、存儲(chǔ)器、輸入設(shè)備、輸出設(shè)備,而處理、傳輸和存儲(chǔ)是信息計(jì)算的三大基本任務(wù),由此可見,存儲(chǔ)占據(jù)了重要的位置。隨著時(shí)代的發(fā)展,網(wǎng)民人數(shù)的不斷增加,個(gè)人數(shù)據(jù)和企業(yè)數(shù)據(jù)成爆炸性增長(zhǎng)。許多系統(tǒng)都面臨了海量數(shù)據(jù)的問題,如何高效管理、降低存儲(chǔ)成本、提高可靠性是存儲(chǔ)系統(tǒng)的共同面對(duì)的問題。為了解決這些問題,分布式文件存儲(chǔ)系統(tǒng)應(yīng)運(yùn)而生。分布式文件存儲(chǔ)系統(tǒng)具有海量數(shù)據(jù)存儲(chǔ)、高擴(kuò)展性、高并發(fā)、高可靠等特點(diǎn),是目前火熱的技術(shù)領(lǐng)域之一,許多技術(shù)專家都在致力于分布式存儲(chǔ)系統(tǒng)。本文基于對(duì)FastDFS架構(gòu)的小文件存儲(chǔ)系統(tǒng)的研究,存儲(chǔ)對(duì)象主要是10KB至10M之間的小文件。在參考了Fast DFS分布式文件架構(gòu)后,針對(duì)Fast DFS中一些問題提出了改進(jìn)措施,加入File Index模塊,起到全局排重和防空下載的作用,構(gòu)建一個(gè)高性能、高并發(fā)、高可用、高擴(kuò)展的分布式文件存儲(chǔ)系統(tǒng)。本文首先分析了國(guó)內(nèi)外分布式文件存儲(chǔ)系統(tǒng)的研究狀況,主流的分布式文件存儲(chǔ)系統(tǒng)的一些特點(diǎn),然后描述了小文件存儲(chǔ)系統(tǒng)的需求分析以及架構(gòu)設(shè)計(jì),接著對(duì)基于Fast DFS架構(gòu)的小文件存儲(chǔ)系統(tǒng)的設(shè)計(jì)方案以及邏輯流程做了介紹,然后詳細(xì)介紹了基于Fast DFS架構(gòu)的小文件存儲(chǔ)系統(tǒng)的詳細(xì)設(shè)計(jì),主要包括數(shù)據(jù)結(jié)構(gòu)的設(shè)計(jì)、公用類庫的設(shè)計(jì)、主要功能模塊的詳細(xì)設(shè)計(jì)等。在此基礎(chǔ)上,針對(duì)系統(tǒng)進(jìn)行了功能性測(cè)試以及非功能性測(cè)試,并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行總結(jié),得到實(shí)驗(yàn)結(jié)論。
【關(guān)鍵詞】：存儲(chǔ) 分布式系統(tǒng) FastDFS 高并發(fā) 高擴(kuò)展 海量數(shù)據(jù)
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP311.52;TP333
【目錄】：

• 摘要4-5
• Abstract5-8
• 第1章 緒論8-14
• 1.1 課題背景及研究的目的和意義8-9
• 1.1.1 課題來源8
• 1.1.2 目的和意義8-9
• 1.2 與本課題有關(guān)的國(guó)內(nèi)外研究狀況9-11
• 1.3 本課題研究的主要內(nèi)容11-13
• 1.4 論文的組織結(jié)構(gòu)13-14
• 第2章 小文件存儲(chǔ)系統(tǒng)的需求分析14-23
• 2.1 需求分析14-22
• 2.1.1 系統(tǒng)功能性需求14-21
• 2.1.2 系統(tǒng)非功能性需求21-22
• 2.2 本章小結(jié)22-23
• 第3章 小文件存儲(chǔ)系統(tǒng)的總體設(shè)計(jì)23-34
• 3.1 系統(tǒng)總體設(shè)計(jì)23-25
• 3.2 系統(tǒng)功能25-26
• 3.3 主要流程邏輯26-31
• 3.3.1 文件上傳26-29
• 3.3.2 文件下載29
• 3.3.3 文件同步29-31
• 3.3.4 文件刪除31
• 3.4 文件系統(tǒng)的容錯(cuò)機(jī)制31-33
• 3.5 本章小結(jié)33-34
• 第4章 小文件存儲(chǔ)系統(tǒng)的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)34-70
• 4.1 數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)34-43
• 4.1.1 通用鏈表34
• 4.1.2 內(nèi)存池34-38
• 4.1.3 共享內(nèi)存分配器38-40
• 4.1.4 消息隊(duì)列40-42
• 4.1.5 文件分片隊(duì)列42-43
• 4.2 公用類庫43-50
• 4.2.1 配置文件解析43-45
• 4.2.2 Md5類庫45-46
• 4.2.3 鎖46-47
• 4.2.4 序列化47
• 4.2.5 Cache dump47-49
• 4.2.6 流水日志49-50
• 4.3 主要模塊設(shè)計(jì)與實(shí)現(xiàn)50-60
• 4.3.1 Master詳細(xì)設(shè)計(jì)53-56
• 4.3.2 Server詳細(xì)設(shè)計(jì)56-58
• 4.3.3 FileIndex詳細(xì)設(shè)計(jì)58-60
• 4.4 系統(tǒng)實(shí)現(xiàn)60-68
• 4.4.1 核心模塊運(yùn)行界面60-62
• 4.4.2 核心功能實(shí)現(xiàn)62-68
• 4.5 主要難點(diǎn)68-69
• 4.5.1 全異步網(wǎng)絡(luò)模型68-69
• 4.5.2 文件同步延遲69
• 4.6 本章小結(jié)69-70
• 第5章 小文件存儲(chǔ)系統(tǒng)的測(cè)試70-78
• 5.1 測(cè)試目標(biāo)和測(cè)試方法70
• 5.2 功能測(cè)試70-75
• 5.2.1 測(cè)試環(huán)境70
• 5.2.2 測(cè)試用例70-75
• 5.3 性能測(cè)試75-77
• 5.4 本章小結(jié)77-78
• 結(jié)論78-80
• 參考文獻(xiàn)80-84
• 致謝84-85
• 個(gè)人簡(jiǎn)歷85

【參考文獻(xiàn)】

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 毛華堅(jiān);支持異構(gòu)網(wǎng)絡(luò)存儲(chǔ)服務(wù)的YaFS文件系統(tǒng)研究與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2009年

，

本文編號(hào)：638199