本文關(guān)鍵詞：面向城軌線網(wǎng)的海量小文件存儲方法的研究與實現(xiàn)

  更多相關(guān)文章： 小文件存儲 城軌線網(wǎng) FastDFS Redis 訪問性能

【摘要】：隨著城市軌道交通線路規(guī)模的增長,建立城軌線網(wǎng)數(shù)據(jù)中心的需求日益凸顯,因此城軌線網(wǎng)數(shù)據(jù)中心面臨存儲海量文件的需求。城軌線網(wǎng)的文件數(shù)據(jù)包括大文件和小文件,目前,大文件存儲技術(shù)已有成熟的技術(shù)和系統(tǒng),然而,由于元數(shù)據(jù)管理低效、I/O訪問流程復(fù)雜和數(shù)據(jù)布局單一等原因,小文件的高效存儲問題尚未得到很好的解決。目前,Facebook等互聯(lián)網(wǎng)公司各自開發(fā)了面向特定應(yīng)用場景的海量小文件存儲系統(tǒng)。然而,這些系統(tǒng)與城軌線網(wǎng)海量小文件存儲系統(tǒng)具有不同的設(shè)計需求,難以直接應(yīng)用于城軌線網(wǎng)海量小文件數(shù)據(jù)存儲。本文根據(jù)城軌業(yè)務(wù)層次性的數(shù)據(jù)特點和按組順序讀的讀取特點,提出基于Fast DFS分布式文件系統(tǒng)和Redis鍵值數(shù)據(jù)庫的城軌線網(wǎng)海量小文件存儲方法,包括小文件聚合存儲方法將客戶端中具有業(yè)務(wù)相關(guān)性的小文件聚合存儲到Fast DFS的同一數(shù)據(jù)文件中;小文件全局索引管理方法將Fast DFS返回的文件索引與小文件的局部索引合并建立全局索引,使用Redis的持久化功能存儲小文件名與其全局索引的鍵值對;小文件讀取方法預(yù)取同一數(shù)據(jù)文件中往后相鄰的多個文件,并且將預(yù)取的文件內(nèi)容寫入到客戶端緩存中;小文件刪除方法通過設(shè)置文件記錄的狀態(tài)值,使用惰性刪除方法對小文件進行刪除;小文件修改方法通過小文件刪除方法刪除原小文件,直接在數(shù)據(jù)文件的尾部追加新修改的小文件。通過設(shè)計實驗對海量小文件存儲系統(tǒng)進行了小文件合并寫、小文件追加寫、小文件讀取、小文件刪除、小文件修改五個功能進行功能測試,驗證了本文提出的面向城軌線網(wǎng)的海量小文件存儲方法的可行性。同時,也進行了性能測試,實驗結(jié)果表明,當(dāng)預(yù)取文件數(shù)量為5個和客戶端緩存為500MB時,小文件讀取吞吐量最高;同時,相較于Fast DFS系統(tǒng),Fast DFS-Redis系統(tǒng)的小文件讀寫吞吐量分別提高了13.26%和10.47%,達到明顯改善城軌線網(wǎng)海量小文件的訪問效率的目的。
【關(guān)鍵詞】：小文件存儲 城軌線網(wǎng) FastDFS Redis 訪問性能
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：U29-39;TP333
【目錄】：

• 摘要5-6
• ABSTRACT6-11
• 第一章 緒論11-16
• 1.1 課題背景及研究意義11-12
• 1.2 國內(nèi)外研究現(xiàn)狀12-14
• 1.2.1 小文件合并優(yōu)化12-13
• 1.2.2 元數(shù)據(jù)管理優(yōu)化13
• 1.2.3 文件緩存優(yōu)化13-14
• 1.3 研究內(nèi)容14
• 1.4 本文章節(jié)安排14-16
• 第二章 相關(guān)技術(shù)研究16-32
• 2.1 小文件存儲問題16-18
• 2.1.1 傳統(tǒng)磁盤的小文件存儲問題16
• 2.1.2 虛擬文件系統(tǒng)的小文件存儲問題16-17
• 2.1.2 分布式文件系統(tǒng)的小文件存儲問題17-18
• 2.2 FASTDFS分布式文件系統(tǒng)18-24
• 2.2.1 FastDFS的系統(tǒng)架構(gòu)18-20
• 2.2.2 FastDFS的讀寫文件機制20-23
• 2.2.3 文件索引23
• 2.2.4 文件同步23-24
• 2.2.5 FastDFS在小文件存儲問題的優(yōu)缺點24
• 2.3 REDIS緩存數(shù)據(jù)庫24-31
• 2.3.1 Redis數(shù)據(jù)庫的底層實現(xiàn)24-28
• 2.3.2 Redis的RDB數(shù)據(jù)持久化機制28-29
• 2.3.3 Redis的AOF數(shù)據(jù)持久化機制29-31
• 2.4 本章小結(jié)31-32
• 第三章 海量小文件存儲方法的設(shè)計32-42
• 3.1 系統(tǒng)需求分析32-33
• 3.1.1 城軌線網(wǎng)的數(shù)據(jù)特點32-33
• 3.1.2 城軌線網(wǎng)的讀寫特點33
• 3.2 海量小文件存儲方法的總體設(shè)計33-34
• 3.3 小文件聚合存儲模塊34-36
• 3.3.1 數(shù)據(jù)文件的設(shè)計34-35
• 3.3.2 小文件寫入方法35-36
• 3.4 小文件全局索引管理模塊36-39
• 3.4.1 小文件全局索引結(jié)構(gòu)36-38
• 3.4.2 小文件全局索引的存儲38-39
• 3.5 小文件讀取模塊39
• 3.6 小文件刪除模塊39-40
• 3.7 小文件修改模塊40-41
• 3.8 本章小結(jié)41-42
• 第四章 海量小文件存儲方法的實現(xiàn)42-54
• 4.1 系統(tǒng)架構(gòu)42-43
• 4.2 FASTDFS和REDIS的客戶端接口43
• 4.3 小文件寫機制的實現(xiàn)43-45
• 4.3.1 小文件合并寫43-44
• 4.3.2 小文件追加寫44-45
• 4.4 小文件讀機制的實現(xiàn)45-48
• 4.4.1 小文件讀流程45-47
• 4.4.2 FastDFS讀小文件接口的增加47
• 4.4.3 客戶端緩存的實現(xiàn)47-48
• 4.5 小文件刪除機制的實現(xiàn)48-50
• 4.5.1 小文件刪除48-49
• 4.5.2 FastDFS刪除小文件接口的增加49-50
• 4.6 小文件修改機制的實現(xiàn)50-51
• 4.6.1 小文件修改50-51
• 4.6.2 FastDFS修改小文件接口的增加51
• 4.7 文件碎片清理的實現(xiàn)51-53
• 4.8 本章小結(jié)53-54
• 第五章 系統(tǒng)實驗及分析54-64
• 5.1 實驗?zāi)康?/span>54
• 5.2 實驗系統(tǒng)的搭建54-56
• 5.2.1 實驗環(huán)境54-55
• 5.2.2 實驗系統(tǒng)的安裝與部署55-56
• 5.2.3 實驗數(shù)據(jù)56
• 5.3 功能測試56-59
• 5.3.1 小文件合并寫功能測試56-57
• 5.3.2 小文件追加寫功能測試57
• 5.3.3 小文件讀取功能測試57-58
• 5.3.4 小文件刪除功能測試58
• 5.3.5 小文件修改功能測試58-59
• 5.4 性能測試59-63
• 5.4.1 預(yù)取文件數(shù)量測試59-60
• 5.4.2 小文件寫入性能對比測試60-61
• 5.4.3 小文件讀取性能對比測試61-63
• 5.5 本章小結(jié)63-64
• 第六章 總結(jié)與展望64-66
• 6.1 本文工作總結(jié)64-65
• 6.2 本文工作展望65-66
• 參考文獻66-69
• 攻讀碩士學(xué)位期間取得的研究成果69-70
• 致謝70-71
• 附件71

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前3條

1 趙躍龍;謝曉玲;蔡詠才;王國華;劉霖;;一種性能優(yōu)化的小文件存儲訪問策略的研究[J];計算機研究與發(fā)展;2012年07期

2 張春明;芮建武;何婷婷;;一種Hadoop小文件存儲和讀取的方法[J];計算機應(yīng)用與軟件;2012年11期

3 王鈴惠;李小勇;張軼彬;;海量小文件存儲文件系統(tǒng)研究綜述[J];計算機應(yīng)用與軟件;2012年08期

，

本文編號：552025