持久性內(nèi)存系統(tǒng)中高效的數(shù)據(jù)一致性機(jī)制研究
發(fā)布時(shí)間:2020-09-16 12:42
新型非易失性存儲(chǔ)介質(zhì),諸如閃存(flash)、相變內(nèi)存(phase-change memory, PCM)、可變電阻式內(nèi)存(ReRAM)等,可同時(shí)提供傳統(tǒng)硬盤等外部存儲(chǔ)器的數(shù)據(jù)持久化能力和接近動(dòng)態(tài)隨機(jī)訪問內(nèi)存(DRAM)等內(nèi)部存儲(chǔ)器的存取性能。非易失性內(nèi)存介質(zhì)及其軟硬件系統(tǒng)共同構(gòu)成持久性內(nèi)存(persistent memory)系統(tǒng),可以融合傳統(tǒng)易失性內(nèi)部存儲(chǔ)和非易失性外部存儲(chǔ)的優(yōu)良特性,提升上層應(yīng)用軟件和系統(tǒng)整體的性能。持久性內(nèi)存系統(tǒng)使得內(nèi)存數(shù)據(jù)在系統(tǒng)發(fā)生故障時(shí)依然得以保留。該特性在減少傳統(tǒng)持久化機(jī)制帶來的性能損耗方面作用顯著,但于此同時(shí),也使得發(fā)生系統(tǒng)故障時(shí)的數(shù)據(jù)一致性(crash consistency)問題尤為突出。而為保證故障時(shí)的數(shù)據(jù)一致性,往往需要對(duì)上層應(yīng)用程序訪問內(nèi)存的接口加以限制。因此,數(shù)據(jù)一致性機(jī)制及其應(yīng)用程序接口方式在持久性內(nèi)存系統(tǒng)性能、易用性及兩者間的平衡等方面扮演著非常重要的角色。從應(yīng)用層到系統(tǒng)層,再到硬件層,持久性內(nèi)存提供接口的形式主要包括文件系統(tǒng)、事務(wù)性內(nèi)存和硬件接口等。本論文研究了持久性內(nèi)存系統(tǒng)在文件系統(tǒng)、事務(wù)性內(nèi)存和軟件透明三種主要數(shù)據(jù)存取接口方式下,如何設(shè)計(jì)和實(shí)現(xiàn)高效的故障時(shí)數(shù)據(jù)一致性保證機(jī)制的問題。主要?jiǎng)?chuàng)新點(diǎn)和研究成果包括:·文件系統(tǒng)接口下的多版本緩存事務(wù)技術(shù)。將原子性事務(wù)(atomic transaction)機(jī)制引入到操作系統(tǒng)頁緩存中,解決由動(dòng)態(tài)內(nèi)存和非易失性內(nèi)存構(gòu)成的持久性內(nèi)存系統(tǒng)的故障時(shí)數(shù)據(jù)一致性問題。將該技術(shù)應(yīng)用于移動(dòng)系統(tǒng)環(huán)境,在新的持久性內(nèi)存系統(tǒng)假設(shè)下,改進(jìn)現(xiàn)有手機(jī)文件系統(tǒng)設(shè)計(jì),提出優(yōu)化手機(jī)能耗和應(yīng)用響應(yīng)的新指標(biāo)及相應(yīng)的三組新算法。實(shí)際測試表明,該技術(shù)可使現(xiàn)有安卓平臺(tái)上應(yīng)用的響應(yīng)時(shí)間和能耗分別下降51.6%和35.8%!な聞(wù)性內(nèi)存接口下的小緩沖區(qū)組技術(shù)。根據(jù)NVM Express接口和固態(tài)硬盤的新特性,為事務(wù)性內(nèi)存設(shè)計(jì)了一種高效的一致性持久化機(jī)制,為持久性內(nèi)存提供了一種新的實(shí)現(xiàn)方式。該系統(tǒng)采用的快照隔離技術(shù)可以使實(shí)時(shí)分析等只讀負(fù)載不受持久化開銷的影響;小緩沖區(qū)組(small buffer array)的設(shè)計(jì),在保證故障時(shí)數(shù)據(jù)一致性的同時(shí),可顯著降低組提交(group commit)中提交者相互等待的時(shí)間,兼得理想的吞吐量和延遲。實(shí)驗(yàn)測評(píng)中,該設(shè)計(jì)在讀寫混合的負(fù)載下,可比最優(yōu)的傳統(tǒng)實(shí)現(xiàn)的性能提高32.5%!ぼ浖该鹘涌谙碌碾p模式檢查點(diǎn)生成技術(shù)。提出支持對(duì)軟件透明的故障時(shí)數(shù)據(jù)一致性的混合持久性內(nèi)存設(shè)計(jì)方法,通過雙模式檢查點(diǎn)生成技術(shù)高效地生成一致的可恢復(fù)的檢查點(diǎn)。該方法同時(shí)在緩存塊粒度和操作系統(tǒng)頁粒度上產(chǎn)生檢查點(diǎn),可使軟件執(zhí)行與產(chǎn)生檢查點(diǎn)的延遲重合,實(shí)現(xiàn)的停滯時(shí)間比頁粒度的檢查點(diǎn)生成機(jī)制減少了86.2%;同時(shí)實(shí)現(xiàn)可行的存儲(chǔ)空間占用,是塊粒度檢查點(diǎn)生成機(jī)制所需存儲(chǔ)空間的26%。·軟件透明的數(shù)據(jù)一致性協(xié)議及其形式化證明。雙模式檢查點(diǎn)生成技術(shù),對(duì)數(shù)據(jù)一致性保證提出了新的挑戰(zhàn)。多個(gè)數(shù)據(jù)版本的隔離和維護(hù),在程序執(zhí)行和生成檢查點(diǎn)過程重合的情況下變得尤為復(fù)雜。為此提出并利用狀態(tài)機(jī)模型表達(dá)了故障時(shí)數(shù)據(jù)一致性協(xié)議;對(duì)代碼級(jí)實(shí)現(xiàn)進(jìn)行了符號(hào)抽象,利用不變式和數(shù)學(xué)歸納法對(duì)故障時(shí)數(shù)據(jù)一致性協(xié)議的正確性進(jìn)行了形式化證明。
【學(xué)位單位】:清華大學(xué)
【學(xué)位級(jí)別】:博士
【學(xué)位年份】:2015
【中圖分類】:TP333
【部分圖文】:
原理1當(dāng)前手機(jī)內(nèi)存DRAM的容量足夠支持應(yīng)用數(shù)據(jù)存儲(chǔ)。逡逑手機(jī)內(nèi)存DRAM的容量經(jīng)歷了快速的增長(自2010年W來8倍增長,從逡逑512邋MB至。4邋GB,女口圖3.1所示),當(dāng)前標(biāo)配已達(dá)至。2邋GB或更多。而該DRAM大小逡逑已經(jīng)可W支持在桌面電腦上運(yùn)行Windows邋XP系統(tǒng)。盡管手機(jī)應(yīng)用的數(shù)據(jù)量需求逡逑也在增長,但其增長率相對(duì)較低。我們W網(wǎng)頁請(qǐng)求的大小為例,其自2010年W來逡逑的同期增長率僅為94%心4]。此外,手機(jī)環(huán)境下限于屏幕大小,用戶通常只使用一逡逑①對(duì)于管理諸如無法重現(xiàn)的照片等關(guān)鍵數(shù)據(jù)的應(yīng)用,依然可W通過簡單配置選項(xiàng)使用常規(guī)的文件系統(tǒng)功能。逡逑14逡逑
對(duì)于相同的數(shù)據(jù)刷出量,被覆寫的數(shù)據(jù)較多,也就是節(jié)約的能耗較多。(3)基于逡逑上面兩個(gè)定義,我們描繪5上的e曲線來表現(xiàn)增加數(shù)據(jù)滯后量帶來的能量效率的逡逑變化。如圖3.2所示,不同應(yīng)用的e曲線呈現(xiàn)不同的形狀,反映出對(duì)于不同應(yīng)用最逡逑佳刷出時(shí)間會(huì)有所不同(亦適用于不同用戶)。理想狀況下,應(yīng)用的內(nèi)存數(shù)據(jù)應(yīng)該逡逑在e曲線達(dá)到峰值時(shí)進(jìn)行刷出,寫入閃存。逡逑100邋邐1邐J邐J邐■!邐叫逡逑9。r2...\邐盧r^逡逑g邋80邋薩一邐/邐■逡逑^邐70邋I邐/邐邐\邐-逡逑!邐Facebaok:邋0-11.4MB\^邐逡逑Twittsr!邋0-156.2MB邐—逡逑60邐/邐Angry團(tuán)rds:邋0-6.9MB邋邐-逡逑GoogleMaps:邋0-175.8MB邋邐逡逑Browser:邋0-9.SMB邋邐逡逑50邋邐 ̄'邐'邐'邐'邐逡逑0邐20邐40邐60邐80邐100逡逑數(shù)據(jù)滯后量(統(tǒng)一化)逡逑圖3.2不同形狀的e曲線表明特定于應(yīng)用的I/O模式。圖中數(shù)據(jù)滯后量的范圍統(tǒng)一到0.逡逑至100,實(shí)際數(shù)值標(biāo)記在應(yīng)用名稱旁。逡逑3.2.2系統(tǒng)架構(gòu)逡逑MobiFS主要由五個(gè)模塊構(gòu)成:(1)頁緩存,負(fù)責(zé)在內(nèi)存中存儲(chǔ)文件數(shù)據(jù);(2)逡逑寫日志,負(fù)責(zé)維護(hù)寫操作的歷史,由按序排列的許多記錄項(xiàng)構(gòu)成,每個(gè)記錄項(xiàng)會(huì)逡逑引用一個(gè)頁緩存中的物理頁;(3)事務(wù),寫日志中的若干記錄項(xiàng)歸并為一組,它逡逑們的一致性不受覆寫和重排序等優(yōu)化的影響;(4)檢查點(diǎn)生成器(checkpointer),逡逑負(fù)責(zé)調(diào)用底層閃存管理組件W原子性方式完成事務(wù)的持久化;(5)策略引擎
3IutohiFS著毒統(tǒng)架才鑫圖
【學(xué)位單位】:清華大學(xué)
【學(xué)位級(jí)別】:博士
【學(xué)位年份】:2015
【中圖分類】:TP333
【部分圖文】:
原理1當(dāng)前手機(jī)內(nèi)存DRAM的容量足夠支持應(yīng)用數(shù)據(jù)存儲(chǔ)。逡逑手機(jī)內(nèi)存DRAM的容量經(jīng)歷了快速的增長(自2010年W來8倍增長,從逡逑512邋MB至。4邋GB,女口圖3.1所示),當(dāng)前標(biāo)配已達(dá)至。2邋GB或更多。而該DRAM大小逡逑已經(jīng)可W支持在桌面電腦上運(yùn)行Windows邋XP系統(tǒng)。盡管手機(jī)應(yīng)用的數(shù)據(jù)量需求逡逑也在增長,但其增長率相對(duì)較低。我們W網(wǎng)頁請(qǐng)求的大小為例,其自2010年W來逡逑的同期增長率僅為94%心4]。此外,手機(jī)環(huán)境下限于屏幕大小,用戶通常只使用一逡逑①對(duì)于管理諸如無法重現(xiàn)的照片等關(guān)鍵數(shù)據(jù)的應(yīng)用,依然可W通過簡單配置選項(xiàng)使用常規(guī)的文件系統(tǒng)功能。逡逑14逡逑
對(duì)于相同的數(shù)據(jù)刷出量,被覆寫的數(shù)據(jù)較多,也就是節(jié)約的能耗較多。(3)基于逡逑上面兩個(gè)定義,我們描繪5上的e曲線來表現(xiàn)增加數(shù)據(jù)滯后量帶來的能量效率的逡逑變化。如圖3.2所示,不同應(yīng)用的e曲線呈現(xiàn)不同的形狀,反映出對(duì)于不同應(yīng)用最逡逑佳刷出時(shí)間會(huì)有所不同(亦適用于不同用戶)。理想狀況下,應(yīng)用的內(nèi)存數(shù)據(jù)應(yīng)該逡逑在e曲線達(dá)到峰值時(shí)進(jìn)行刷出,寫入閃存。逡逑100邋邐1邐J邐J邐■!邐叫逡逑9。r2...\邐盧r^逡逑g邋80邋薩一邐/邐■逡逑^邐70邋I邐/邐邐\邐-逡逑!邐Facebaok:邋0-11.4MB\^邐逡逑Twittsr!邋0-156.2MB邐—逡逑60邐/邐Angry團(tuán)rds:邋0-6.9MB邋邐-逡逑GoogleMaps:邋0-175.8MB邋邐逡逑Browser:邋0-9.SMB邋邐逡逑50邋邐 ̄'邐'邐'邐'邐逡逑0邐20邐40邐60邐80邐100逡逑數(shù)據(jù)滯后量(統(tǒng)一化)逡逑圖3.2不同形狀的e曲線表明特定于應(yīng)用的I/O模式。圖中數(shù)據(jù)滯后量的范圍統(tǒng)一到0.逡逑至100,實(shí)際數(shù)值標(biāo)記在應(yīng)用名稱旁。逡逑3.2.2系統(tǒng)架構(gòu)逡逑MobiFS主要由五個(gè)模塊構(gòu)成:(1)頁緩存,負(fù)責(zé)在內(nèi)存中存儲(chǔ)文件數(shù)據(jù);(2)逡逑寫日志,負(fù)責(zé)維護(hù)寫操作的歷史,由按序排列的許多記錄項(xiàng)構(gòu)成,每個(gè)記錄項(xiàng)會(huì)逡逑引用一個(gè)頁緩存中的物理頁;(3)事務(wù),寫日志中的若干記錄項(xiàng)歸并為一組,它逡逑們的一致性不受覆寫和重排序等優(yōu)化的影響;(4)檢查點(diǎn)生成器(checkpointer),逡逑負(fù)責(zé)調(diào)用底層閃存管理組件W原子性方式完成事務(wù)的持久化;(5)策略引擎
3IutohiFS著毒統(tǒng)架才鑫圖
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 張曉梅;;文獻(xiàn)數(shù)據(jù)庫生產(chǎn)中的數(shù)據(jù)一致性問題分析[J];中華醫(yī)學(xué)圖書情報(bào)雜志;2010年02期
2 黃淑冬;;客戶數(shù)據(jù)一致性管理系統(tǒng)的研究與應(yīng)用[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年21期
3 呂艷娥;周力青;;基于策略協(xié)商的數(shù)據(jù)一致性的維護(hù)方法[J];大眾科技;2009年02期
4 帖軍;王小榮;金佳;;移動(dòng)實(shí)時(shí)環(huán)境下的數(shù)據(jù)一致性研究[J];中南民族大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年02期
5 杜毅迪;數(shù)據(jù)一致性模型的設(shè)計(jì)與實(shí)現(xiàn)[J];湖北郵電技術(shù);2001年04期
6 宋長宏,劉宇棟,朱R
本文編號(hào):2819865
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/2819865.html
最近更新
教材專著