【摘要】：非易失性存儲(chǔ)器(Non-Volatile Memory,簡(jiǎn)稱NVM)是一種擁有傳統(tǒng)DRAM內(nèi)存級(jí)別讀寫速度,同時(shí)兼具HDD、SSD等外存材料一般的數(shù)據(jù)持久安全保存性能和大密度存儲(chǔ)特性的新一代存儲(chǔ)材料。由于這些優(yōu)點(diǎn),NVM近年來正受到越來越多來自學(xué)術(shù)界與工業(yè)界人士的青睞。然而,由于NVM誕生時(shí)間并不長(zhǎng),其相關(guān)理論與技術(shù)并不完善,無法進(jìn)行大規(guī)模生產(chǎn)。同時(shí),隨著研究的不斷深入,NVM自身的一些缺陷也在逐步暴露。若直接將NVM引入到當(dāng)下的存儲(chǔ)系統(tǒng),不僅不能保證NVM的優(yōu)異性能得到充分發(fā)揮,還可能因?yàn)椴磺‘?dāng)?shù)氖褂?使得NVM的缺點(diǎn)被放大,從而反過來傷害當(dāng)前系統(tǒng)的性能。針對(duì)這些問題,本文從NVM與當(dāng)下熱門應(yīng)用的角度切入,對(duì)NVM在當(dāng)下計(jì)算、存儲(chǔ)環(huán)境下的恰當(dāng)使用以及針對(duì)性優(yōu)化,進(jìn)行了一些探索。首先,本文使用NVM優(yōu)化了當(dāng)下流行的HDD+SSD混合存儲(chǔ)系統(tǒng)結(jié)構(gòu)設(shè)計(jì)中,利用NVM的優(yōu)異特性,提高混合存儲(chǔ)系統(tǒng)的相關(guān)性能。以充分利用每一塊NVM存儲(chǔ)單元為原則,在傳統(tǒng)存儲(chǔ)管理機(jī)制上引入了一個(gè)額外的存儲(chǔ)單元“數(shù)據(jù)桶”,降低NVM存儲(chǔ)空間的碎片率。另外,根據(jù)數(shù)據(jù)的讀寫特性、歷史訪問信息等將NVM按存儲(chǔ)單元使用壽命進(jìn)行數(shù)據(jù)分區(qū)存儲(chǔ),以提高NVM存儲(chǔ)單元利用率和NVM設(shè)備實(shí)際使用壽命。然后,針對(duì)分布式緩存系統(tǒng)的持久化問題,本文先探討了影響分布式緩存系統(tǒng)持久化性能的幾個(gè)關(guān)鍵因素。根據(jù)對(duì)影響持久化性能的關(guān)鍵因素進(jìn)行分析,對(duì)當(dāng)前持久化機(jī)制進(jìn)行了一些針對(duì)性修改。最后,本文針對(duì)Spark平臺(tái)的不足,將一種基于NVM設(shè)計(jì)的共享緩存結(jié)構(gòu)引入Spark平臺(tái)的硬件體系中。通過修改Spark的持久化機(jī)制、RDD分區(qū)管理算法,使Spark能正確識(shí)別并使用NVM。同時(shí)通過NVM共享緩存結(jié)構(gòu),提升Spark任務(wù)處理能力,強(qiáng)化了Spark對(duì)存儲(chǔ)空間內(nèi)數(shù)據(jù)的管理能力,進(jìn)一步提高了空間的利用率。本文通過對(duì)幾個(gè)當(dāng)前常用應(yīng)用場(chǎng)景與NVM的結(jié)合,探索了NVM在當(dāng)前存儲(chǔ)計(jì)算環(huán)境下的合理應(yīng)用方式。通過對(duì)已有存儲(chǔ)的適當(dāng)改造,在基本特性不改變的前提下強(qiáng)化了NVM在當(dāng)前環(huán)境下的性能與優(yōu)勢(shì),同時(shí)避免了NVM的一些缺點(diǎn)。為NVM邁入實(shí)質(zhì)性應(yīng)用提供了一些參考依據(jù)。
【圖文】：

圖 1-1 存儲(chǔ)系統(tǒng)應(yīng)用結(jié)構(gòu)（1） 針對(duì)存儲(chǔ)系統(tǒng)的碎片處理，對(duì)基于 NVM 的混合存儲(chǔ)系統(tǒng)的數(shù)據(jù)存儲(chǔ)策略進(jìn)行優(yōu)化因?yàn)樗槠谴鎯?chǔ)系統(tǒng)的一個(gè)無法回避的問題，理論上講完全避免碎片的最優(yōu)文件切片解是不存在的，我們所能夠做的就是盡可能的降低碎片產(chǎn)生的幾率，，并減小碎片的大小。而 NVM 在存儲(chǔ)單元壽命上要優(yōu)于一般 SSD，但和 DRAM與 HDD 相比還有很大差距。為了充分利用每一塊 NVM 存儲(chǔ)單元，我們?cè)谠芯獠翆懛椒ǖ幕A(chǔ)上，綜合前面的存儲(chǔ)管理機(jī)制優(yōu)化方案，對(duì) NVM 存儲(chǔ)設(shè)備進(jìn)行分區(qū)管理。針對(duì) HDD 和 SSD，傳統(tǒng)存儲(chǔ)機(jī)制主要采用數(shù)據(jù)切片映射和數(shù)據(jù)替換方法來降低存儲(chǔ)系統(tǒng)的碎片情況。從兩者的實(shí)施結(jié)果來看，均起到了很好的效果，然而代價(jià)也很明顯。針對(duì)上述難題，本文以傳統(tǒng) DRAM 的段頁式內(nèi)存管理為基礎(chǔ)設(shè)計(jì)了一個(gè)對(duì) NVM 特性更加友好的存儲(chǔ)空間管理機(jī)制。通過對(duì) NVM 存儲(chǔ)空間進(jìn)行二次組織，使得保存于其中的數(shù)據(jù)能夠以更為緊湊的形式存放在 NVM 存儲(chǔ)單元內(nèi)。最后通過仿真實(shí)驗(yàn)，檢驗(yàn)算法的有效性。對(duì)

源消耗相差不大。2.5 共享內(nèi)存技術(shù)圖 2-1 給出了一個(gè)簡(jiǎn)易的共享內(nèi)存結(jié)構(gòu)。共享內(nèi)存是一種在多處理器環(huán)境下，為了加速某些數(shù)據(jù)的交換速度，而在內(nèi)存空間里開辟的一塊區(qū)域。由于內(nèi)存內(nèi)的數(shù)據(jù)可能被多個(gè) CPU 共同使用，而各個(gè) CPU 之間的計(jì)算、處理并不一致，導(dǎo)致這些數(shù)據(jù)可能會(huì)被同時(shí)修改。如果不加以處理，會(huì)對(duì)多進(jìn)程、多處理器等計(jì)算環(huán)境造成非常嚴(yán)重的邏輯混亂。為此而誕生了共享內(nèi)存技術(shù)，其主要方式包括：以 Linux內(nèi)的 mmap()函數(shù)為代表的進(jìn)程、處理器緩沖區(qū)訪問方法，和通過數(shù)據(jù)映射使用共享數(shù)據(jù)等方法。通過共享內(nèi)存，可以實(shí)現(xiàn)計(jì)算機(jī)系統(tǒng)內(nèi)各個(gè)進(jìn)程，以及各個(gè)處理單元之間的高速通信，同時(shí)保證了數(shù)據(jù)的一致性以及計(jì)算處理結(jié)果的邏輯性。共享內(nèi)存相比其他數(shù)據(jù)一致性方法具有更好的數(shù)據(jù)控制性能，數(shù)據(jù)讀寫過程更加透明。進(jìn)程與處理器通過類似指針的方法便可訪問共享內(nèi)存內(nèi)數(shù)據(jù)。共享內(nèi)存的缺點(diǎn)是，數(shù)據(jù)寫入進(jìn)程或數(shù)據(jù)讀出進(jìn)程中，需要附加的數(shù)據(jù)結(jié)構(gòu)控制。
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王卓;張美玲;康健;方瑤;賈軍;郝永梅;;虛擬化平臺(tái)與存儲(chǔ)系統(tǒng)結(jié)合在地震臺(tái)網(wǎng)中的部署和應(yīng)用[J];防災(zāi)減災(zāi)學(xué)報(bào);2018年02期

2 王龍江;陳越;嚴(yán)新成;黃愷翔;;網(wǎng)絡(luò)編碼云存儲(chǔ)系統(tǒng)差分?jǐn)?shù)據(jù)更新方案[J];通信學(xué)報(bào);2017年03期

3 陳震;劉文潔;張曉;卜海龍;;基于磁盤和固態(tài)硬盤的混合存儲(chǔ)系統(tǒng)研究綜述[J];計(jì)算機(jī)應(yīng)用;2017年05期

4 李阿妮;張曉;張伯陽;柳春懿;趙曉南;;公有云存儲(chǔ)系統(tǒng)性能評(píng)測(cè)方法研究[J];計(jì)算機(jī)應(yīng)用;2017年05期

5 王國(guó)慶;;安全云存儲(chǔ)系統(tǒng)綜述[J];科技視界;2017年05期

6 沈海靈;;移動(dòng)云存儲(chǔ)系統(tǒng)的關(guān)鍵問題與技術(shù)方案[J];福建電腦;2017年08期

7 王海濤;李戰(zhàn)懷;張曉;;一種云存儲(chǔ)系統(tǒng)分層性能監(jiān)測(cè)和采集方法[J];西北工業(yè)大學(xué)學(xué)報(bào);2016年03期

8 齊嬋穎;李育超;聶睿;覃楊森;;基于開放云存儲(chǔ)協(xié)議的云存儲(chǔ)系統(tǒng)性能評(píng)測(cè)方法研究[J];電子設(shè)計(jì)工程;2016年19期

9 趙文敬;吳彥波;;一種云存儲(chǔ)系統(tǒng)安全擴(kuò)展框架設(shè)計(jì)[J];黑龍江科技信息;2014年31期

10 湯赫男;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用[J];信息技術(shù)與信息化;2014年07期

相關(guān)會(huì)議論文 前10條

1 黃敏;;安全云存儲(chǔ)系統(tǒng)與關(guān)鍵技術(shù)研究[A];《教師教學(xué)能力發(fā)展研究》科研成果集（第六卷）[C];2017年

2 ;以數(shù)據(jù),成就未來![A];第25屆中國(guó)數(shù)字廣播電視與網(wǎng)絡(luò)發(fā)展年會(huì)暨第16屆全國(guó)互聯(lián)網(wǎng)與音視頻廣播發(fā)展研討會(huì)論文集[C];2017年

3 孫哲;李昌銀;;構(gòu)建核電高可用云存儲(chǔ)系統(tǒng)[A];2012電力行業(yè)信息化年會(huì)優(yōu)秀論文專輯[C];2012年

4 趙志剛;;存儲(chǔ)系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

5 蘇秀紅;;多路并行存儲(chǔ)系統(tǒng)的壞塊管理策略研究[A];第七屆四川省博士專家論壇論文集[C];2014年

6 陳鵬濤;;云存儲(chǔ)在廣播電視監(jiān)測(cè)工作中的作用[A];第23屆中國(guó)數(shù)字廣播電視與網(wǎng)絡(luò)發(fā)展年會(huì)暨第14屆全國(guó)互聯(lián)網(wǎng)與音視頻廣播發(fā)展研討會(huì)論文集[C];2015年

7 焦超;周天彤;李祥學(xué);李建華;;面向?yàn)?zāi)備的高性能可信存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];第十一屆保密通信與信息安全現(xiàn)狀研討會(huì)論文集[C];2009年

8 程鵬;劉偉;;電力SCADA系統(tǒng)運(yùn)行平臺(tái)的存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];2010年第16屆全國(guó)信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

9 羅志明;張大華;王鐵軍;李凡;;面向智能電網(wǎng)的分布式云存儲(chǔ)系統(tǒng)實(shí)現(xiàn)[A];2012電力行業(yè)信息化年會(huì)論文集[C];2012年

10 胡維;劉光明;李瓊;劉欣;;基于智能預(yù)警的自恢復(fù)存儲(chǔ)系統(tǒng)研究[A];2010年第16屆全國(guó)信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 ;人工智能時(shí)代高性能存儲(chǔ)受熱捧[N];中國(guó)信息化周報(bào);2017年

2 劉永梅;如何選擇存儲(chǔ)系統(tǒng)[N];光明日?qǐng)?bào);2001年

3 本報(bào)記者 劉麗麗;Oracle構(gòu)建業(yè)務(wù)就緒存儲(chǔ)系統(tǒng)愿景[N];計(jì)算機(jī)世界;2011年

4 ;企業(yè)存儲(chǔ)系統(tǒng)選購(gòu)要素[N];中國(guó)計(jì)算機(jī)報(bào);2002年

5 方糧;存儲(chǔ)系統(tǒng)何時(shí)自我管理[N];中國(guó)計(jì)算機(jī)報(bào);2003年

6 張偉;NetApp FAS3100系列存儲(chǔ)系統(tǒng)[N];中國(guó)計(jì)算機(jī)報(bào);2008年

7 本報(bào)記者 李瀛寰;朗登：存儲(chǔ)系統(tǒng)設(shè)計(jì)院[N];中國(guó)計(jì)算機(jī)報(bào);2001年

8 ;存儲(chǔ)系統(tǒng)：市場(chǎng)增幅回落[N];中國(guó)計(jì)算機(jī)報(bào);2003年

9 特約撰稿 張冬;傳統(tǒng)外置存儲(chǔ)系統(tǒng)或?qū)⒂瓉矶?上)[N];計(jì)算機(jī)世界;2011年

10 本報(bào)記者 郭平;同有飛驥自主研發(fā)統(tǒng)一存儲(chǔ)系統(tǒng)[N];計(jì)算機(jī)世界;2010年

相關(guān)博士學(xué)位論文 前10條

1 曾坤;事務(wù)存儲(chǔ)系統(tǒng)：事務(wù)沖突與事務(wù)并行[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

2 劉科;內(nèi)容感知存儲(chǔ)系統(tǒng)中的信息檢索關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2012年

3 劉勁松;關(guān)于存儲(chǔ)系統(tǒng)性能的測(cè)試、仿真與評(píng)價(jià)的研究[D];華中科技大學(xué);2004年

4 侯方勇;存儲(chǔ)系統(tǒng)數(shù)據(jù)機(jī)密性與完整性保護(hù)的關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2005年

5 王俊偉;大規(guī)模多媒體存儲(chǔ)系統(tǒng)中數(shù)據(jù)放置與調(diào)度策略的研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2005年

6 郇丹丹;高性能存儲(chǔ)系統(tǒng)研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2006年

7 劉曉光;二級(jí)網(wǎng)絡(luò)條紋數(shù)據(jù)布局及其相關(guān)問題的研究[D];南開大學(xué);2002年

8 胡風(fēng)華;基于以太網(wǎng)的存儲(chǔ)系統(tǒng)研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2005年

9 田敬;對(duì)等存儲(chǔ)系統(tǒng)中的數(shù)據(jù)可用性與安全性研究[D];北京大學(xué);2007年

10 李懷陽;進(jìn)化存儲(chǔ)系統(tǒng)數(shù)據(jù)組織模式研究[D];華中科技大學(xué);2006年

相關(guān)碩士學(xué)位論文 前10條

1 韓召寶;A公司ETV行李存儲(chǔ)系統(tǒng)項(xiàng)目的敏捷開發(fā)和進(jìn)度管理研究[D];華東理工大學(xué);2018年

2 王峻龍;NVM存儲(chǔ)系統(tǒng)的性能優(yōu)化研究[D];電子科技大學(xué);2018年

3 肖肇宇;基于節(jié)能與可靠性的并行存儲(chǔ)系統(tǒng)模型的設(shè)計(jì)與分析[D];湖南大學(xué);2017年

4 鄧俊杰;云存儲(chǔ)中基于非均勻保護(hù)策略的糾刪碼技術(shù)研究與實(shí)現(xiàn)[D];湖南大學(xué);2017年

5 朱繼生;基于MIC架構(gòu)的內(nèi)存鍵值存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];湖南大學(xué);2017年

6 彎勇輝;面向?qū)徲?jì)領(lǐng)域的云存儲(chǔ)技術(shù)的研究及應(yīng)用[D];哈爾濱工程大學(xué);2015年

7 萬進(jìn);一種自適應(yīng)分級(jí)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2017年

8 程帥;云存儲(chǔ)系統(tǒng)中密文檢索與訪問控制技術(shù)的研究[D];武漢理工大學(xué);2015年

9 朱林;基于MPI的高性能云計(jì)算平臺(tái)的優(yōu)化與存儲(chǔ)系統(tǒng)研究[D];武漢理工大學(xué);2015年

10 孫東東;容錯(cuò)存儲(chǔ)系統(tǒng)校驗(yàn)更新及修復(fù)優(yōu)化技術(shù)研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2017年

本文編號(hào)：2590784