【摘要】：隨著大數(shù)據(jù)時(shí)代的來臨和數(shù)據(jù)科學(xué)發(fā)展的不斷深入,被采集,存儲(chǔ)和處理的數(shù)據(jù)量急劇膨脹,傳統(tǒng)計(jì)算機(jī)體系架構(gòu)中以“計(jì)算為中心”的模式,難以應(yīng)對(duì)數(shù)據(jù)規(guī)模與數(shù)據(jù)處理能力之間日益突出的矛盾,現(xiàn)存的計(jì)算機(jī)體系架構(gòu)面臨著嚴(yán)峻的挑戰(zhàn)和生存瓶頸。近年來,隨著新型非易失性內(nèi)存介質(zhì)技術(shù)的興起,打破傳統(tǒng)的體系架構(gòu),構(gòu)建大容量,非易失,高可靠的內(nèi)存系統(tǒng),將數(shù)據(jù)大量或整體存放于內(nèi)存中,形成以內(nèi)存為主體的新型內(nèi)存計(jì)算模式,從而完成計(jì)算模式從以“計(jì)算為中心”向以“數(shù)據(jù)為中心”的轉(zhuǎn)變,成為學(xué)術(shù)界和工業(yè)界關(guān)注的熱點(diǎn)。該技術(shù)減少了數(shù)據(jù)存儲(chǔ)的軟件層次,降低了數(shù)據(jù)訪問的延遲,提升了數(shù)據(jù)處理的性能,具備相當(dāng)?shù)膭?chuàng)新價(jià)值和市場(chǎng)價(jià)值,成為學(xué)術(shù)界和工業(yè)界關(guān)注的熱點(diǎn)。其中,將非易失性內(nèi)存引入計(jì)算機(jī)內(nèi)存系統(tǒng)中,構(gòu)建既有易失性內(nèi)存又有非易失性內(nèi)存的內(nèi)存系統(tǒng),又成為研究熱點(diǎn)中的熱點(diǎn),吸引了大量的學(xué)術(shù)界研究者和行業(yè)翹楚的目光。本論文以非易失性內(nèi)存為介質(zhì)背景,基于異構(gòu)混合內(nèi)存體系架構(gòu),以存儲(chǔ)類的系統(tǒng)軟件為研究對(duì)象,主要探討非易失性內(nèi)存介質(zhì)引入后對(duì)軟件設(shè)計(jì)帶來的影響與變化,提出在異構(gòu)混合內(nèi)存體系架構(gòu)下,存儲(chǔ)類軟件設(shè)計(jì)面臨的挑戰(zhàn)和解決方法,選取了具有代表性的存儲(chǔ)類系統(tǒng)軟件,文件系統(tǒng)和鍵值對(duì)數(shù)據(jù)庫系統(tǒng),詳細(xì)闡述基于非易失性內(nèi)存環(huán)境下文件系統(tǒng)以及鍵值對(duì)系統(tǒng)的設(shè)計(jì)原理,實(shí)現(xiàn)方法,數(shù)據(jù)一致性保障機(jī)制,實(shí)驗(yàn)驗(yàn)證等方面的問題。在文件系統(tǒng)層面,針對(duì)文件系統(tǒng)的數(shù)據(jù)一致性問題,對(duì)文件系統(tǒng)的數(shù)據(jù)一致性給出了層次劃分,并針對(duì)較高層級(jí)的版本數(shù)據(jù)一致性給出了一種新型的多版本一致性保障機(jī)制,論證了該多版本一致性機(jī)制的有效性和正確性。針對(duì)非易失性內(nèi)存有限的訪問壽命,文件系統(tǒng)采用了日志型的數(shù)據(jù)更新方式,盡量保證對(duì)底層非易失性內(nèi)存介質(zhì)的均勻訪問,提升系統(tǒng)的耐久性和非易失性介質(zhì)的使用壽命,并通過實(shí)驗(yàn)的方法驗(yàn)證了日志型文件系統(tǒng)設(shè)計(jì)方法對(duì)非易失性內(nèi)存介質(zhì)的訪問均衡的改善效果。在鍵值對(duì)系統(tǒng)層面,針對(duì)現(xiàn)有鍵值對(duì)系統(tǒng)在整個(gè)系統(tǒng)中所占據(jù)的位置和作用,提出不依靠文件系統(tǒng)直接將鍵值對(duì)存儲(chǔ)在非易失性內(nèi)存的存儲(chǔ)方法,減少了存儲(chǔ)軟件棧的層級(jí),降低了系統(tǒng)數(shù)據(jù)持久化的代價(jià)。同時(shí),基于散列表為主要存儲(chǔ)數(shù)據(jù)結(jié)構(gòu),分別在傳統(tǒng)內(nèi)存DRAM和新型非易失性內(nèi)存NVM中上使用靜態(tài)散列表和動(dòng)態(tài)散列表,該設(shè)計(jì)有效地取得了系統(tǒng)性能和內(nèi)存使用效率的平衡,解決了數(shù)據(jù)量不固定的前提下,散列表容量難以固定初始化的問題,大大提升了系統(tǒng)的可移植性和普適性。本文以非易失性內(nèi)存為主要介質(zhì)背景,以存儲(chǔ)類系統(tǒng)軟件為主要研究對(duì)象,以文件系統(tǒng)和鍵值對(duì)存儲(chǔ)系統(tǒng)為具體研究對(duì)象,提出了基于非易失性內(nèi)存環(huán)境下,存儲(chǔ)類系統(tǒng)軟件的設(shè)計(jì)和實(shí)現(xiàn)方法,并討論了數(shù)據(jù)一致性保障機(jī)制的實(shí)現(xiàn)方法,提出了一種新型的,有效的數(shù)據(jù)一致性保障機(jī)制。本論文的主要工作及創(chuàng)新如下:1.設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)異構(gòu)混合內(nèi)存文件系統(tǒng)HMFS,該文件系統(tǒng)基于異構(gòu)混合內(nèi)存體系架構(gòu),以非易失性內(nèi)存為主要存儲(chǔ)介質(zhì),具備多版本控制和版本一致性保障機(jī)制,實(shí)現(xiàn)了文件系統(tǒng)中較高級(jí)別的一致性保障層級(jí),文件系統(tǒng)中對(duì)文件系統(tǒng)元數(shù)據(jù)和數(shù)據(jù)采用不同的更新方式,對(duì)于文件系統(tǒng)數(shù)據(jù)采用原地更新方式,并緩存一部分在DRAM中,以提高數(shù)據(jù)查找的速度,對(duì)于文件系統(tǒng)數(shù)據(jù)采用日志型的更新方式,以實(shí)現(xiàn)對(duì)內(nèi)存介質(zhì)的盡量均勻訪問,增長NVM介質(zhì)的使用壽命。該文件系統(tǒng)提出了一種基于圖的多版本控制數(shù)據(jù)結(jié)構(gòu),并給出一系列的的多版本操作相關(guān)算法設(shè)計(jì),該設(shè)計(jì)打破了傳統(tǒng)基于樹結(jié)構(gòu)的多版本實(shí)現(xiàn)方法,提升了版本生成,刪除和獲取的性能,降低了文件系統(tǒng)元數(shù)據(jù)的體量大小,設(shè)計(jì)并實(shí)施了全面的實(shí)驗(yàn)方案,從性能,多版本有效性以及介質(zhì)耐久性等多個(gè)方面評(píng)測(cè)了文件系統(tǒng)性能,多版本有效性和對(duì)底層非易失性內(nèi)存介質(zhì)的訪問均衡。2.設(shè)計(jì)并實(shí)現(xiàn)了一套文件系統(tǒng)多版本實(shí)現(xiàn)機(jī)制,該機(jī)制以一種新型的支持多版本功能的數(shù)據(jù)結(jié)構(gòu)和一套完整的版本控制算法組成,實(shí)現(xiàn)了版本控制的基本功能,如創(chuàng)建、讀取、刪除等,并實(shí)現(xiàn)了完全的多版本功能,即可基于已存于系統(tǒng)中的任一版本進(jìn)行版本演化,子版本與父版本之間無嚴(yán)格的生成時(shí)間先后順序限制,并可以基于多個(gè)版本進(jìn)行版本合并等,該多版本控制機(jī)制有效地提升了版本生成,讀取和刪除的性能,并實(shí)現(xiàn)了空間利用效率的提升。該多版本機(jī)制同時(shí)支持逆向查找功能,可以確定同一個(gè)文件屬于哪些版本,并可以列出文件及所屬版本的信息,該多版本控制機(jī)制有別于現(xiàn)存的多版本控制機(jī)制,全面支持多版本功能的所有操作,并降低了維護(hù)多版本所需的元數(shù)據(jù)量,在提升性能的同時(shí)取得了良好的空間利用效率。3.設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)異構(gòu)混合內(nèi)存鍵值對(duì)系統(tǒng)LibreKV,該鍵值對(duì)系統(tǒng)基于異構(gòu)混合內(nèi)存體系架構(gòu),以非易失性內(nèi)存為主要存儲(chǔ)介質(zhì),使用靜態(tài)散列表和動(dòng)態(tài)散列表相結(jié)合的設(shè)計(jì)方法,實(shí)現(xiàn)系統(tǒng)性能和內(nèi)存使用效率的平衡,提出一套動(dòng)態(tài)擴(kuò)展機(jī)制,實(shí)現(xiàn)散列表大小的動(dòng)態(tài)擴(kuò)展和內(nèi)存的按需分配。利用傳統(tǒng)內(nèi)存的高性能特點(diǎn),在DRAM中對(duì)鍵值對(duì)的讀寫請(qǐng)求進(jìn)行快速響應(yīng),利用新型非易失性內(nèi)存容量大,存儲(chǔ)密度高的特點(diǎn),完成對(duì)鍵值對(duì)的持久存儲(chǔ),并在DRAM和NVM中使用不同的散列表結(jié)構(gòu),DRAM中使用靜態(tài)散列表結(jié)構(gòu),在靜態(tài)散列表中使用布谷鳥散列算法,該方法可快速接收來自客戶端的讀寫請(qǐng)求,并使靜態(tài)散列表到達(dá)較高的使用效率。在NVM中,使用動(dòng)態(tài)散列表和動(dòng)態(tài)擴(kuò)展算法,以實(shí)現(xiàn)散列表規(guī)模隨實(shí)際數(shù)據(jù)量大小而動(dòng)態(tài)改變的功能,提高了系統(tǒng)的自適應(yīng)性和可擴(kuò)展性。同時(shí),針對(duì)鍵值對(duì)系統(tǒng)數(shù)據(jù)吞吐率高,對(duì)數(shù)據(jù)響應(yīng)速度要求較高的特點(diǎn),在數(shù)據(jù)一致性保障方面,摒棄了傳統(tǒng)的使用高代價(jià)的硬件原語來保證內(nèi)存寫順序的方法,采用了基于鍵值對(duì)校驗(yàn)和和合并檢查點(diǎn)的一致性保障機(jī)制,該機(jī)制有效地結(jié)合了動(dòng)態(tài)散列表和檢查點(diǎn)機(jī)制的特性,有效降低了系統(tǒng)恢復(fù)時(shí)所需要檢驗(yàn)的鍵值對(duì)個(gè)數(shù),避免了因維護(hù)一致性而導(dǎo)致的過大的系統(tǒng)開銷,提升了系統(tǒng)性能。4.提出一種基于校驗(yàn)和檢查點(diǎn)技術(shù)的數(shù)據(jù)一致性保障機(jī)制,并將其應(yīng)用于異構(gòu)混合內(nèi)存鍵值對(duì)系統(tǒng)LibreKV中,結(jié)合基于動(dòng)態(tài)散列表的檢查點(diǎn)機(jī)制,實(shí)現(xiàn)鍵值對(duì)系統(tǒng)數(shù)據(jù)一致性的保障,該一致性保障機(jī)制,避免了使用硬件原語保證寫順序來維護(hù)一致性的開銷,降低了系統(tǒng)開銷,提升了系統(tǒng)性能。該一致性保障機(jī)制可以充分利用鍵值對(duì)系統(tǒng)計(jì)算鍵值散列值的特性,利用簡(jiǎn)單的算法計(jì)算鍵值對(duì)散列值,并將散列值作為元數(shù)據(jù)一部分進(jìn)行存儲(chǔ),作為發(fā)生系統(tǒng)異常和一致性檢驗(yàn)時(shí)的依據(jù)。該方法非常適用于單個(gè)數(shù)據(jù)體量不太大的鍵值對(duì)存儲(chǔ)系統(tǒng),具有良好的應(yīng)用系統(tǒng)場(chǎng)景,適應(yīng)了系統(tǒng)的設(shè)計(jì)需求,完成了系統(tǒng)的基本要求,為在非易失性內(nèi)存中設(shè)計(jì)有效的數(shù)據(jù)一致性保障機(jī)制維護(hù)數(shù)據(jù)的最終一致性并完成鍵值對(duì)在非易失性內(nèi)存介質(zhì)上的持久存儲(chǔ)提供了一種參考方案。
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP333
【圖文】：

學(xué)位論文 第二章 文件系統(tǒng)及存儲(chǔ)類圖 2 3 LSM 樹兩組件結(jié)構(gòu)系統(tǒng)通常會(huì)設(shè)計(jì)一個(gè)上限機(jī)制，在當(dāng) C0 樹因持續(xù)的寫入操作達(dá)到或候，將會(huì)啟動(dòng)一個(gè)合并過程，來將某些連續(xù)的記錄段從 C0 樹中刪除其過程在圖 2 4 中給出。同時(shí)為了有效地利用磁盤，在根節(jié)點(diǎn)之下的續(xù)的多頁面磁盤塊上，類似的優(yōu)化也被放在 B 樹中，在匹配性的查緩存需求，對(duì)于根節(jié)點(diǎn)之外的節(jié)點(diǎn)使用 256KB 的多頁面塊大小。

的系統(tǒng)軟件若干問題的研究 上海交通則保存在磁盤上去。在所有的組件對(duì) (Ci-1，Ci) 之間都有一個(gè)異步當(dāng)較小的組件 Ci-1 超過規(guī)定的閾值大小的時(shí)候，將其中的記錄移動(dòng)到LSM 樹中的所有記錄都會(huì)被檢查到，對(duì)于一個(gè)精確匹配查詢和區(qū)間查件。為了盡量簡(jiǎn)化搜索的范圍，提高檢索的效率，盡可能少地涉及少們還設(shè)計(jì)了許多種優(yōu)化的方法，可以使搜索限制在這些組件的某一體來說，多組件 LSM 樹的算法是，我們將一個(gè)具有組件 C0、C1、 樹，將其索引樹的大小伴隨著下標(biāo)的增加而增大，第一個(gè)分部最小其中 C0 組件是駐留在內(nèi)存中的，其他組件則保存在磁盤上。在所有用一個(gè)異步的滾動(dòng)合并的進(jìn)程來負(fù)責(zé)在當(dāng)較小的的組件 Ci-1 超過規(guī)轉(zhuǎn)移到 Ci 中去，最終實(shí)現(xiàn)全部到達(dá)磁盤。

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 錢璐;李弋;吳毅堅(jiān);趙文耘;;異構(gòu)非易失性內(nèi)存卷模式實(shí)現(xiàn)與應(yīng)用[J];計(jì)算機(jī)應(yīng)用與軟件;2018年08期

2 ;創(chuàng)造存儲(chǔ)的無限機(jī)會(huì)——非易失性內(nèi)存再進(jìn)化[J];電子與電腦;2006年11期

3 孫強(qiáng);諸葛晴鳳;陳咸彰;沙行勉;吳林;;帶磨損均衡的小粒度非易失性內(nèi)存管理機(jī)制[J];計(jì)算機(jī)科學(xué);2018年S2期

4 ;科技信息[J];黑龍江科技信息;2011年32期

5 ;全新的非易失性內(nèi)存——第二代3D Xpoint[J];今日電子;2018年08期

6 舒繼武;劉志勇;;前言[J];計(jì)算機(jī)研究與發(fā)展;2018年09期

7 游理通;王振杰;黃林鵬;;一個(gè)基于日志結(jié)構(gòu)的非易失性內(nèi)存鍵值存儲(chǔ)系統(tǒng)[J];計(jì)算機(jī)研究與發(fā)展;2018年09期

8 ;HOLTEK推出最新器件[J];電子制作;2008年05期

9 ;惠普工作站打造最強(qiáng)解決方案陣容[J];計(jì)算機(jī)與網(wǎng)絡(luò);2013年08期

10 任啟;;Atmel力推系統(tǒng)方案 重點(diǎn)發(fā)展中國市場(chǎng)[J];世界電子元器件;2006年04期

相關(guān)重要報(bào)紙文章 前5條

1 阿君;IT管理走向智能化[N];電腦報(bào);2010年

2 編譯 沈建苗;新存儲(chǔ)技術(shù)新在哪兒[N];計(jì)算機(jī)世界;2013年

3 于博;任啟中國情 Atmel亞洲意[N];電子資訊時(shí)報(bào);2006年

4 徐昕邋朱杰 劉洪宇 霍光;“脅迫”你用安全PC的四個(gè)理由[N];中國計(jì)算機(jī)報(bào);2007年

5 顧國林;廉價(jià)＋多能[N];計(jì)算機(jī)世界;2004年

相關(guān)博士學(xué)位論文 前3條

1 劉昊;面向非易失性內(nèi)存的系統(tǒng)軟件若干問題的研究[D];上海交通大學(xué);2018年

2 龍林波;非易失性內(nèi)存的磨損均衡與管理優(yōu)化研究[D];重慶大學(xué);2016年

3 陳咸彰;面向非易失性內(nèi)存的文件系統(tǒng)與頁面交換機(jī)制研究[D];重慶大學(xué);2017年

相關(guān)碩士學(xué)位論文 前7條

1 董康平;基于非易失性內(nèi)存和RDMA的低延遲分布式鍵值存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2018年

2 陳波;面向分布式非易失性內(nèi)存的新型存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];江蘇大學(xué);2019年

3 秦杰杰;Redis數(shù)據(jù)庫在非易失性內(nèi)存上的交換技術(shù)的研究與實(shí)現(xiàn)[D];重慶大學(xué);2018年

4 孫強(qiáng);帶磨損均衡的小粒度非易失性內(nèi)存管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];重慶大學(xué);2018年

5 劉志祥;基于RDMA的非易失性內(nèi)存文件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];重慶大學(xué);2018年

6 張小國;基于NVDIMM的非易失性內(nèi)存系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];東南大學(xué);2016年

7 賈揚(yáng);基于非易失性內(nèi)存的用戶態(tài)內(nèi)存文件系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[D];重慶大學(xué);2017年

本文編號(hào)：2730122