本文關(guān)鍵詞：面向大容量SCM的融合式文件系統(tǒng)，，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著新型非易失性存儲器(Non-Volatile Memory,NVM)技術(shù)的飛快發(fā)展,這類存儲器件在訪問性能、寫壽命等方面越來越接近內(nèi)存。存儲級內(nèi)存技術(shù)(Storage Class Memory,SCM)是針對采用NVM后大大縮小了內(nèi)外存之間性能差距的特性,在計算機(jī)系統(tǒng)中構(gòu)建高速的統(tǒng)一存儲系統(tǒng)。由于NVM器件集成度和DIMM接口數(shù)量的限制,使用DIMM和PCIe接口NVM存儲設(shè)備是當(dāng)前構(gòu)建大容量SCM的有效選擇。兩類NVM存儲設(shè)備在物理接口、訪問性能和容量上存在差異,同時文件的數(shù)據(jù)與元數(shù)據(jù)、文件與文件之間也具有不同的訪問特性�，F(xiàn)有內(nèi)外存管理算法均只是針對單一存儲設(shè)備,無法同時有效管理兩類NVM存儲設(shè)備。本文針對由兩類NVM存儲設(shè)備構(gòu)建的混合大容量SCM,研究和設(shè)計了一種新型的文件系統(tǒng)SCMCFS。首先分析兩類NVM存儲設(shè)備特性和傳統(tǒng)文件系統(tǒng)應(yīng)用到NVM存儲設(shè)備時存在的問題,在此基礎(chǔ)上針對統(tǒng)一管理兩類NVM存儲設(shè)備的要求,設(shè)計了面向SCMCFS的結(jié)構(gòu)。接著給出SCMCFS的組織和管理方法,設(shè)計頭尾式的文件系統(tǒng)空間布局和基于兩層radix-tree的存儲空間組織方式,構(gòu)建包含兩類NVM存儲設(shè)備的統(tǒng)一邏輯地址空間和組織管理,避免了存儲空間不足的問題;設(shè)計融合式文件組織結(jié)構(gòu)、動態(tài)存儲策略和非對稱文件緩沖區(qū)調(diào)入策略,通過構(gòu)建文件內(nèi)緩存,提高了訪問響應(yīng)速度和I/O性能。并且基于Fuse實(shí)現(xiàn)了原型系統(tǒng),使用Postmark進(jìn)行測試與分析,驗(yàn)證了針對兩類NVM存儲設(shè)備構(gòu)建文件內(nèi)緩存,相比使用單一數(shù)據(jù)組織結(jié)構(gòu)的Ext3能提高30%-63%的I/O性能,同時還避免了DIMM接口NVM存儲設(shè)備容量的限制。其次設(shè)計SCMCFS的一致性機(jī)制,保障文件系統(tǒng)提供持續(xù)可靠的存儲服務(wù);使用DIMM接口NVM存儲設(shè)備作為日志設(shè)備,提高SCMCFS一致性機(jī)制的執(zhí)行效率和靈活性;針對SCM的訪問特性,設(shè)計混合式一致性策略,根據(jù)更新數(shù)據(jù)量的大小動態(tài)調(diào)整一致性保障方法,從而實(shí)現(xiàn)文件系統(tǒng)的強(qiáng)一致性保證,同時大大減少了保障一致性的時間開銷。并且基于PMFS分別實(shí)現(xiàn)了三種一致性策略的原型系統(tǒng),實(shí)驗(yàn)結(jié)果表明在修改數(shù)據(jù)量較小的場合,clflush/sfence策略和tornbit RAWL策略相比兩次fence策略減少了10%的時間開銷,在修改數(shù)據(jù)量相對較大的場合,兩次fence策略則相比另外兩個策略分別減少了8%~170%的時間開銷,驗(yàn)證了混合式一致性策略的有效性。最后,本文在Linux下實(shí)現(xiàn)了SCMCFS的原型,使用Fio、Postmark和Filebench等測試工具,以及多個數(shù)據(jù)集進(jìn)行了測試,并與現(xiàn)有文件系統(tǒng)PMFS、PMBD上的Ext2和Ext4進(jìn)行了對比與分析;實(shí)驗(yàn)結(jié)果表明SCMCFS性能接近于PMFS;相比PMBD上的Ext2和Ext4,讀性能提高了4.4倍和5倍、寫性能提高了2.8和1.9倍、IOPS提高了45%和62%;SCMCFS相比Ext4修改每個B的平均一致性額外時間開銷減少了60%-90%、總額外時間開銷減少了50%-92%。
【關(guān)鍵詞】：存儲級內(nèi)存 文件系統(tǒng) 非易失性存儲器 混合存儲系統(tǒng)
【學(xué)位授予單位】：江蘇大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP333
【目錄】：

• 摘要4-6
• ABSTRACT6-10
• 第一章 緒論10-20
• 1.1 研究的內(nèi)容和意義10-12
• 1.2 構(gòu)建SCM的存儲設(shè)備12-15
• 1.3 大容量SCM的結(jié)構(gòu)15-17
• 1.4 國內(nèi)外研究現(xiàn)狀17-18
• 1.5 本文的主要工作和組織結(jié)構(gòu)18-20
• 1.5.1 本文的主要工作18-19
• 1.5.2 本文的組織結(jié)構(gòu)19-20
• 第二章 面向大容量SCM融合式文件系統(tǒng)的結(jié)構(gòu)20-29
• 2.1 SCM訪問接口及文件系統(tǒng)優(yōu)化技術(shù)20-23
• 2.1.1 SCM訪問接口設(shè)計與優(yōu)化20-22
• 2.1.2 SCM文件系統(tǒng)設(shè)計與優(yōu)化22-23
• 2.2 面向大容量SCM融合式文件系統(tǒng)的分析23-25
• 2.3 面向大容量SCM融合式文件系統(tǒng)的結(jié)構(gòu)25-28
• 2.4 本章小結(jié)28-29
• 第三章 SCMCFS的組織與管理29-41
• 3.1 頭尾式空間布局29-31
• 3.2 基于雙層radix-tree的元數(shù)據(jù)組織31-32
• 3.3 存儲空間的分配32-33
• 3.4 融合式文件組織與管理33-38
• 3.4.1 大容量SCM中文件管理的問題33-34
• 3.4.2 融合式文件組織結(jié)構(gòu)34-35
• 3.4.3 動態(tài)存儲策略35-36
• 3.4.4 非對稱文件緩沖區(qū)調(diào)入策略36-38
• 3.5 原型系統(tǒng)的測試與分析38-40
• 3.5.1 測試環(huán)境38-39
• 3.5.2 I/O性能的測試與分析39
• 3.5.3 改變字節(jié)分區(qū)大小的測試與分析39-40
• 3.6 本章小結(jié)40-41
• 第四章 SCMCFS的一致性機(jī)制41-47
• 4.1 文件系統(tǒng)一致性問題的產(chǎn)生41-42
• 4.2 現(xiàn)有面向SCM的一致性策略42-44
• 4.3 混合式一致性策略44-45
• 4.4 原型系統(tǒng)的測試與分析45-46
• 4.4.1 測試環(huán)境45
• 4.4.2 三種一致性策略的測試與分析45-46
• 4.5 本章小結(jié)46-47
• 第五章 SCMCFS的測試與分析47-58
• 5.1 SCMCFS的實(shí)現(xiàn)及測試環(huán)境47-50
• 5.1.1 SCMCFS的實(shí)現(xiàn)47-49
• 5.1.2 測試環(huán)境49-50
• 5.2 SCMCFS的I/O性能50-52
• 5.3 文件緩沖區(qū)大小的影響52-53
• 5.4 SCMCFS的一致性開銷53-55
• 5.5 綜合負(fù)載環(huán)境下的測試55-57
• 5.6 本章小結(jié)57-58
• 第六章 總結(jié)與展望58-60
• 6.1 工作總結(jié)58-59
• 6.2 工作展望59-60
• 參考文獻(xiàn)60-63
• 致謝63-64
• 在學(xué)期間發(fā)表的學(xué)術(shù)論文及其他科研成果64

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 徐鶯,李永寧,曾曦;網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)中文件系統(tǒng)的設(shè)計與實(shí)現(xiàn)[J];現(xiàn)代計算機(jī)(專業(yè)版);2002年12期

2 劉可嘉;梁阿磊;;實(shí)現(xiàn)實(shí)時FAT文件系統(tǒng)的一種簡單方法[J];計算機(jī)工程與應(yīng)用;2008年16期

3 盧萍;陳進(jìn)才;;一種基于對象存儲的文件系統(tǒng)的設(shè)計[J];計算機(jī)科學(xué);2008年10期

4 李濤;梁洪亮;;具有事件恢復(fù)功能的文件系統(tǒng)的研究與實(shí)現(xiàn)[J];計算機(jī)科學(xué);2009年03期

5 馮新國，徐秋元;基于文件系統(tǒng)的封鎖機(jī)制[J];計算機(jī)工程與應(yīng)用;1995年05期

6 高天真,卞立平;三種文件系統(tǒng)之剖析[J];市場與電腦;1998年12期

7 符碧丹,倪曉明;群集環(huán)境下的直接文件系統(tǒng)訪問[J];四川通信技術(shù);2001年02期

8 刺猬;文件系統(tǒng)全面介紹[J];電腦愛好者;2001年09期

9 ;文件、文件系統(tǒng)、文件庫[J];電子科技文摘;2001年09期

10 曲東才;光盤文件系統(tǒng)標(biāo)準(zhǔn)[J];電腦技術(shù);2002年09期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 謝菲;錢曙霞;;并行文件系統(tǒng)技術(shù)在新華社奧運(yùn)報道系統(tǒng)中的實(shí)現(xiàn)及應(yīng)用[A];中國新聞技術(shù)工作者聯(lián)合會2008年學(xué)術(shù)年會論文集（上）[C];2008年

2 馮新國;陶志成;;基于文件系統(tǒng)的封鎖機(jī)制[A];第十一屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集[C];1993年

3 仇建偉;鄭紅;;適用于視頻文件系統(tǒng)的有效調(diào)度方法[A];中國圖象圖形科學(xué)技術(shù)新進(jìn)展——第九屆全國圖象圖形科技大會論文集[C];1998年

4 王永瑞;熊劍平;;基于CF卡的特定FAT文件系統(tǒng)的軟硬件設(shè)計與實(shí)現(xiàn)[A];2008中國儀器儀表與測控技術(shù)進(jìn)展大會論文集（Ⅲ）[C];2008年

5 高杰;陸應(yīng)華;陳世文;;基于文件過濾驅(qū)動的信息保護(hù)研究[A];教育部中南地區(qū)高等學(xué)校電子電氣基礎(chǔ)課教學(xué)研究會第二十屆學(xué)術(shù)年會會議論文集（下冊）[C];2010年

6 盧雪山;戴華東;顏躍進(jìn);;Ext文件系統(tǒng)檢測和修復(fù)工具的研究與改進(jìn)[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

7 鄭思;楊尹;;Checksum技術(shù)在文件系統(tǒng)中應(yīng)用的研究[A];全國第20屆計算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會議(CACIS·2009)暨全國第1屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會議論文集（下冊）[C];2009年

8 汪黎;章文嵩;楊學(xué)軍;;Cfslight:一個新型的輕量級對象存儲集群文件系統(tǒng)[A];2006年全國開放式分布與并行計算學(xué)術(shù)會議論文集（一）[C];2006年

9 魏環(huán)宇;陽國貴;;一個基于數(shù)據(jù)庫的文件系統(tǒng)(XFS)的設(shè)計與實(shí)現(xiàn)[A];2008通信理論與技術(shù)新進(jìn)展——第十三屆全國青年通信學(xué)術(shù)會議論文集（上）[C];2008年

10 沈志榮;薛矛;薛巍;舒繼武;;Corslet安全文件系統(tǒng)的分析和優(yōu)化[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 谷治平;文件系統(tǒng)———結(jié)合實(shí)際重在內(nèi)容[N];中國醫(yī)藥報;2003年

2 江蘇 王志軍;磁盤的文件系統(tǒng)[N];電腦報;2001年

3 張群英;超級文件系統(tǒng)規(guī)模再突破[N];網(wǎng)絡(luò)世界;2006年

4 ;施樂公司推出頂級數(shù)碼工程文件系統(tǒng)[N];網(wǎng)絡(luò)世界;2000年

5 凡妮;IBM TotalStorage SAN文件系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)共享[N];電腦商報;2004年

6 ;共享單一文件系統(tǒng)[N];網(wǎng)絡(luò)世界;2005年

7 黑龍江 馬憲廷;玩轉(zhuǎn)文件系統(tǒng)格式轉(zhuǎn)換[N];電腦報;2003年

8 記者 楊婧瀚;管道公司召開電子文件系統(tǒng)啟動視頻會[N];石油管道報;2007年

9 樂天邋編譯;近距離觀看Snow Leopard Server[N];計算機(jī)世界;2008年

10 ;集群儲存技術(shù)解決“大”問題[N];計算機(jī)世界;2004年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 陳杰;本地文件系統(tǒng)數(shù)據(jù)更新模式研究[D];華中科技大學(xué);2014年

2 談華芳;基于共享對象存儲設(shè)備的并行文件系統(tǒng)研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2005年

3 夏鵬;文件系統(tǒng)語義分析技術(shù)研究[D];華中科技大學(xué);2011年

4 熊勁;大規(guī)模機(jī)群文件系統(tǒng)的關(guān)鍵技術(shù)研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2006年

5 劉立坤;海量文件系統(tǒng)元數(shù)據(jù)查詢方法與技術(shù)[D];清華大學(xué);2011年

6 涂旭東;基于對象的并行文件系統(tǒng)接口語義擴(kuò)展研究[D];華中科技大學(xué);2011年

7 孫凝暉;可擴(kuò)展I/O的研究和參考實(shí)現(xiàn)[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;1999年

8 徐虎;基于SAN的安全單映像Cluster文件系統(tǒng)關(guān)鍵技術(shù)的研究[D];國防科學(xué)技術(shù)大學(xué);2003年

9 常青;瘦型服務(wù)器及個人/家庭事務(wù)處理應(yīng)用研究[D];太原理工大學(xué);2011年

10 李慶虎;基于P2P架構(gòu)的網(wǎng)格文件系統(tǒng)研究[D];清華大學(xué);2004年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 劉佩;基于糾刪碼技術(shù)的HD_EC文件系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D];曲阜師范大學(xué);2015年

2 羅思斌;嵌入式Linux支持exFAT文件系統(tǒng)研究及移植[D];電子科技大學(xué);2014年

3 陶濤;隱私信息保護(hù)系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

4 畢宇;注冊表文件系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

5 丘文未;基于軟硬件協(xié)同設(shè)計的閃存存儲系統(tǒng)關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2013年

6 賴尚校;基于ARM的嵌入式閃存驅(qū)動與UBIFS文件系統(tǒng)的分析與實(shí)現(xiàn)[D];浙江工業(yè)大學(xué);2014年

7 王維;基于Linux的手持式UHF RFID讀寫器設(shè)計[D];濟(jì)南大學(xué);2015年

8 宋亞利;Btrfs文件系統(tǒng)自動化測試工具的設(shè)計與實(shí)現(xiàn)[D];吉林大學(xué);2015年

9 梁鐘麗;基于嵌入式平臺的文件系統(tǒng)研究[D];大連海事大學(xué);2016年

10 李吉樂;Linux文件系統(tǒng)性能優(yōu)化技術(shù)的研究[D];中國石油大學(xué)(華東);2014年

  本文關(guān)鍵詞：面向大容量SCM的融合式文件系統(tǒng)，由筆耕文化傳播整理發(fā)布。

本文編號：368909