本文選題：文件系統(tǒng) + 非易失存儲��； 參考：《計算機研究與發(fā)展》2015年06期

【摘要】：在文件系統(tǒng)進(jìn)行用戶數(shù)據(jù)和元數(shù)據(jù)的持久化過程中,如果出現(xiàn)異常掉電或系統(tǒng)崩潰,可能導(dǎo)致文件系統(tǒng)出現(xiàn)數(shù)據(jù)的不一致性問題.現(xiàn)有的Ext4文件系統(tǒng)通過寫前日志(write-ahead logging,WAL)技術(shù)結(jié)合事務(wù)機制來保證持久化操作的一致性.寫前日志技術(shù)將文件系統(tǒng)元數(shù)據(jù)寫入磁盤2次,元數(shù)據(jù)的粒度小、數(shù)量大、重復(fù)度高,影響了程序的性能,也縮短了Flash存儲介質(zhì)的使用壽命.針對這一問題,提出了使用新型非易失存儲(non-volatile memory,NVM)作為存放日志的獨立外部設(shè)備,并通過存取指令(load/store)接口直接訪問;同時使用倒序掃描(reverse scan)技術(shù)對檢查點(checkpoint)流程進(jìn)行優(yōu)化,減少同一數(shù)據(jù)塊的重復(fù)寫操作.實驗結(jié)果表明,使用NVM作為外部日志分區(qū),對于寫操作比重較大的程序,在HDD上帶寬提升接近50%;在SSD上帶寬提升達(dá)到23%;在checkpoint時使用倒序掃描之后,寫入次數(shù)降低明顯,帶寬提升接近20%.
[Abstract]:In the process of file system persistence of user data and metadata, if there is abnormal power failure or system crash, it may lead to the problem of data inconsistency in the file system. The existing Ext4 file system combines the transaction mechanism with the write-ahead logging technique to ensure the consistency of the persistence operation. The file system metadata is written to disk twice by the pre-write log technology. The metadata is small in granularity, large in quantity and high in repetition, which affects the performance of the program and shortens the service life of the Flash storage medium. In order to solve this problem, a new non-volatile memory NVM is proposed as an independent external device for storing logs, which can be accessed directly through the load-store interface of access instructions, and the checkpoint flow is optimized by using reverse scan technique. Reduce the repeat write operation of the same data block. The experimental results show that using NVM as an external log partition, for programs with a large proportion of write operations, the bandwidth increase is close to 50 on HDD, the bandwidth increase on SSD reaches 23 percent, and the number of writes decreases obviously after the use of inverted order scanning in checkpoint. Bandwidth gain is close to 20.
【作者單位】： 首都師范大學(xué)信息工程學(xué)院;計算機體系結(jié)構(gòu)國家重點實驗室(中國科學(xué)院計算技術(shù)研究所);高可靠嵌入式系統(tǒng)技術(shù)北京市工程研究中心(首都師范大學(xué));
【基金】：國家自然科學(xué)基金項目(61472260,61402302) 北京市自然科學(xué)基金項目(4143060) 計算機體系結(jié)構(gòu)國家重點實驗室開放課題(CARCH201203) 北京市屬高等學(xué)校人才強教項目-國外訪學(xué)(067135300100) 北京市屬高等學(xué)校創(chuàng)新團(tuán)隊建設(shè)與教師職業(yè)發(fā)展計劃基金項目(IDHT20150507)
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 蔡濤;牛德姣;劉揚寬;李帥;鞠時光;;NVMMDS——一種面向非易失存儲器的元數(shù)據(jù)管理方法[J];計算機研究與發(fā)展;2013年01期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孫志卓;李元章;左偉歡;萬軍;何翔;譚毓安;;LSF:一種面向S-RAID 5的能量管理算法[J];北京理工大學(xué)學(xué)報;2014年02期

2 陳利躍;陶濤;葉海明;盧冰;宓群超;;基于Md-tree的電力調(diào)度自動化黑匣子系統(tǒng)技術(shù)研究[J];電信技術(shù);2015年06期

3 王振;王雷;王宇;;基于虛擬磁盤塊存儲的分布式文件系統(tǒng)研究[J];華中科技大學(xué)學(xué)報(自然科學(xué)版);2013年S2期

4 房俊華;王翰虎;陳梅;馬丹;;DB-Tree:一種高性能的閃存數(shù)據(jù)庫索引結(jié)構(gòu)[J];計算機應(yīng)用與軟件;2013年11期

5 Hong-yan LI;Nai-xue XIONG;Ping HUANG;Chao GUI;;PASS: a simple, efficient parallelism-aware solid state drive I/O scheduler[J];Journal of Zhejiang University-Science C(Computers & Electronics);2014年05期

6 魯亮;于炯;英昌甜;王政英;劉建礦;;內(nèi)存云架構(gòu)的磁盤節(jié)能策略[J];計算機應(yīng)用;2014年09期

7 Hui SUN;Xiao QIN;Chang-sheng XIE;;Exploring optimal combination of a file system and an I/O scheduler for underlying solid state disks[J];Journal of Zhejiang University-Science C(Computers & Electronics);2014年08期

8 黃嵐;孫珂;陳曉竹;周敏奇;;內(nèi)存集群計算:交互式數(shù)據(jù)分析[J];華東師范大學(xué)學(xué)報(自然科學(xué)版);2014年05期

9 程付超;苗放;陳墾;;自適應(yīng)的分布式文件系統(tǒng)元數(shù)據(jù)管理模型[J];計算機工程與設(shè)計;2014年03期

10 黃健;馮暄;翁凱;盧軍;郭本俊;;DCQD:一種物聯(lián)網(wǎng)高性能數(shù)據(jù)采集平臺的設(shè)計與實現(xiàn)[J];四川大學(xué)學(xué)報(自然科學(xué)版);2014年04期

相關(guān)博士學(xué)位論文 前3條

1 劉洋;層次混合存儲系統(tǒng)中緩存和預(yù)取技術(shù)研究[D];華中科技大學(xué);2013年

2 謝雨來;溯源的高效存儲管理及在安全方面的應(yīng)用研究[D];華中科技大學(xué);2013年

3 孫輝;NAND固態(tài)盤有限編程/擦除次數(shù)的評測模型及優(yōu)化方法[D];華中科技大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 陳席林;分布式持久化緩存系統(tǒng)的研究與實現(xiàn)[D];重慶大學(xué);2013年

2 何小春;Web信息挖掘服務(wù)平臺及數(shù)據(jù)備份技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2012年

3 牛琪鍇;基于閃存的海量非關(guān)系存儲方法研究[D];哈爾濱工業(yè)大學(xué);2012年

4 慎涵;一種基于PCM的文件系統(tǒng)設(shè)計與實現(xiàn)[D];華中科技大學(xué);2013年

5 楊麗麗;云存儲網(wǎng)關(guān)的研究與實現(xiàn)[D];華中科技大學(xué);2013年

6 陳起;高性能計算中并行文件系統(tǒng)可擴展元數(shù)據(jù)服務(wù)的研究[D];華中科技大學(xué);2013年

7 汪紅敏;基于固態(tài)硬盤的倒排索引動態(tài)更新策略及其優(yōu)化研究[D];華中科技大學(xué);2013年

8 陳華;面向多媒體存儲的FAT文件系統(tǒng)研究與應(yīng)用[D];華中科技大學(xué);2013年

9 肖飛;分布式文件系統(tǒng)Cappella日志設(shè)計與實現(xiàn)[D];華中科技大學(xué);2013年

10 常誠;基于PaaS云存儲服務(wù)的文件系統(tǒng)設(shè)計與實現(xiàn)[D];湖南大學(xué);2013年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 陳卓;熊勁;馬燦;;基于SSD的機群文件系統(tǒng)元數(shù)據(jù)存儲系統(tǒng)[J];計算機研究與發(fā)展;2012年S1期

2 穆飛;薛巍;舒繼武;鄭緯民;;基于定位目錄的元數(shù)據(jù)管理方法[J];清華大學(xué)學(xué)報(自然科學(xué)版)網(wǎng)絡(luò).預(yù)覽;2009年08期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 姜良華;崔建明;;Serv-U FTP服務(wù)器日志分析系統(tǒng)設(shè)計與實現(xiàn)[J];電腦知識與技術(shù);2010年28期

2 李玉榮;楊樹強;賈焰;周斌;樊宇;;分布式日志服務(wù)關(guān)鍵技術(shù)研究[J];計算機工程與應(yīng)用;2006年07期

3 李哲;李先國;;基于關(guān)聯(lián)規(guī)則的日志分析系統(tǒng)的研究與設(shè)計[J];微型電腦應(yīng)用;2009年03期

4 陳文;鄧韻東;釧濤;;電網(wǎng)網(wǎng)絡(luò)系統(tǒng)運行日志分析[J];云南電力技術(shù);2011年05期

5 李燕南;劉新;蔣偉宏;趙群;;主機日志分析與研究[J];中國高新技術(shù)企業(yè);2010年04期

6 李先捷;湯艷君;;基于日志的提取已修改計算機系統(tǒng)時間的方法[J];信息網(wǎng)絡(luò)安全;2013年05期

7 劉虎球;馬超;白家駒;;面向驅(qū)動配置的自動日志插入方法研究[J];計算機學(xué)報;2013年10期

8 方航鋒,汪海航;日志提取分析系統(tǒng)的設(shè)計和實現(xiàn)[J];計算機工程;2004年14期

9 陳海宇;曾德勝;;基于日志的異常軟件使用模式檢測[J];淮海工學(xué)院學(xué)報(自然科學(xué)版);2011年01期

10 袁佳;郭燕慧;;基于rabbitmq的海量日志的分布式處理[J];軟件;2013年07期

相關(guān)會議論文 前10條

1 馬辰;武斌;;一種基于攻擊事件圖的蜜網(wǎng)日志分析方法[A];虛擬運營與云計算——第十八屆全國青年通信學(xué)術(shù)年會論文集（下冊）[C];2013年

2 周濤;;基于數(shù)據(jù)挖掘的入侵檢測日志分析技術(shù)研究[A];第二屆中國科學(xué)院博士后學(xué)術(shù)年會暨高新技術(shù)前沿與發(fā)展學(xué)術(shù)會議程序冊[C];2010年

3 陳晨;鄭康鋒;;一種基于支持向量機的蜜網(wǎng)系統(tǒng)日志分析方法[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國通信學(xué)會學(xué)術(shù)年會論文集[C];2011年

4 劉莉;;基于多協(xié)議技術(shù)的日志集中管理安全方案[A];2008年中國通信學(xué)會無線及移動通信委員會學(xué)術(shù)年會論文集[C];2008年

5 耿濤;;Web日志分析在電子數(shù)據(jù)取證中的應(yīng)用[A];第二十一次全國計算機安全學(xué)術(shù)交流會論文集[C];2006年

6 閆龍川;王懷宇;李楓;毛一凡;;基于Hadoop的郵件日志分析與研究[A];2012電力行業(yè)信息化年會論文集[C];2012年

7 陳慶章;王磊;毛科技;戴國勇;;基于防火墻日志的在線攻擊偵查系統(tǒng)的設(shè)計與實現(xiàn)(英文)[A];全國第19屆計算機技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會議論文集（下冊）[C];2008年

8 王振亞;武斌;;基于MFI-WT算法的蜜網(wǎng)日志分析方法[A];第十七屆全國青年通信學(xué)術(shù)年會論文集[C];2012年

9 金松昌;方濱興;楊樹強;賈焰;;基于Hadoop的網(wǎng)絡(luò)安全日志分析系統(tǒng)的設(shè)計與實現(xiàn)[A];全國計算機安全學(xué)術(shù)交流會論文集·第二十五卷[C];2010年

10 朱金清;王建新;陳志泊;;基于APRIORI的層次化聚類算法及其在IDS日志分析中的應(yīng)用[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2007年

相關(guān)重要報紙文章 前10條

1 中航工業(yè)南方航空工業(yè)集團(tuán)(有限)公司科技與信息部 鄒滬湘;分析日志識別暴力破解[N];計算機世界;2013年

2 ;日志分析中的五個誤區(qū)[N];網(wǎng)絡(luò)世界;2004年

3 陳代壽;網(wǎng)管的四兩撥千斤[N];中國計算機報;2004年

4 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;大數(shù)據(jù)日志分析借機器學(xué)習(xí)騰飛[N];網(wǎng)絡(luò)世界;2014年

5 《網(wǎng)絡(luò)世界》評測實驗室 于洋;用好Web日志[N];網(wǎng)絡(luò)世界;2004年

6 重慶 航行者;IIS的安全[N];電腦報;2002年

7 河南工業(yè)職業(yè)技術(shù)學(xué)院 邱建新;監(jiān)測Squid日志的五種方法[N];計算機世界;2005年

8 shotgun;入侵檢測初步（上）[N];電腦報;2001年

9 朱閔;淺談企業(yè)核心應(yīng)用的安全審計(下)[N];網(wǎng)絡(luò)世界;2008年

10 覃進(jìn)文;在Windows 2000&&2003下快速安裝Webalizer[N];中國電腦教育報;2003年

相關(guān)博士學(xué)位論文 前3條

1 饒翔;基于日志的大規(guī)模分布式軟件系統(tǒng)可信保障技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

2 曹志波;基于日志的任務(wù)建模及調(diào)度優(yōu)化的研究[D];華南理工大學(xué);2014年

3 胡蓉;WEB日志和子空間聚類挖掘算法研究[D];華中科技大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 王瀟博;基于挖掘算法的日志分析系統(tǒng)設(shè)計與實現(xiàn)[D];北京交通大學(xué);2008年

2 孫寅林;基于分布式計算平臺的海量日志分析系統(tǒng)的設(shè)計與實現(xiàn)[D];西安電子科技大學(xué);2012年

3 鄧海川;日志分析系統(tǒng)的任務(wù)調(diào)度方法研究[D];南京航空航天大學(xué);2013年

4 宋浩;綜合審計平臺之后臺日志處理服務(wù)的設(shè)計與實現(xiàn)[D];山東大學(xué);2008年

5 馮綠音;網(wǎng)絡(luò)信息系統(tǒng)日志分析與審計技術(shù)研究[D];上海交通大學(xué);2007年

6 楊書思;一種可配置的網(wǎng)絡(luò)報警日志匿名工具的設(shè)計與實現(xiàn)[D];廣州大學(xué);2009年

7 吳靜;面向異構(gòu)數(shù)據(jù)源的內(nèi)網(wǎng)綜合日志審計技術(shù)研究[D];中國工程物理研究院;2010年

8 黃靜賓;面向增量數(shù)據(jù)檢測的日志分析技術(shù)的研究[D];暨南大學(xué);2011年

9 李海峰;網(wǎng)絡(luò)日志分析技術(shù)研究與實現(xiàn)[D];北京化工大學(xué);2005年

10 朱寶金;面向云計算系統(tǒng)的日志過濾系統(tǒng)的設(shè)計與實現(xiàn)[D];杭州電子科技大學(xué);2014年

，

本文編號：1815523