【摘要】：非易失性存儲器(Non-Volatile Memory,簡稱NVM)是一種擁有傳統(tǒng)DRAM內存級別讀寫速度,同時兼具HDD、SSD等外存材料一般的數(shù)據(jù)持久安全保存性能和大密度存儲特性的新一代存儲材料。由于這些優(yōu)點,NVM近年來正受到越來越多來自學術界與工業(yè)界人士的青睞。然而,由于NVM誕生時間并不長,其相關理論與技術并不完善,無法進行大規(guī)模生產(chǎn)。同時,隨著研究的不斷深入,NVM自身的一些缺陷也在逐步暴露。若直接將NVM引入到當下的存儲系統(tǒng),不僅不能保證NVM的優(yōu)異性能得到充分發(fā)揮,還可能因為不恰當?shù)氖褂?使得NVM的缺點被放大,從而反過來傷害當前系統(tǒng)的性能。針對這些問題,本文從NVM與當下熱門應用的角度切入,對NVM在當下計算、存儲環(huán)境下的恰當使用以及針對性優(yōu)化,進行了一些探索。首先,本文使用NVM優(yōu)化了當下流行的HDD+SSD混合存儲系統(tǒng)結構設計中,利用NVM的優(yōu)異特性,提高混合存儲系統(tǒng)的相關性能。以充分利用每一塊NVM存儲單元為原則,在傳統(tǒng)存儲管理機制上引入了一個額外的存儲單元“數(shù)據(jù)桶”,降低NVM存儲空間的碎片率。另外,根據(jù)數(shù)據(jù)的讀寫特性、歷史訪問信息等將NVM按存儲單元使用壽命進行數(shù)據(jù)分區(qū)存儲,以提高NVM存儲單元利用率和NVM設備實際使用壽命。然后,針對分布式緩存系統(tǒng)的持久化問題,本文先探討了影響分布式緩存系統(tǒng)持久化性能的幾個關鍵因素。根據(jù)對影響持久化性能的關鍵因素進行分析,對當前持久化機制進行了一些針對性修改。最后,本文針對Spark平臺的不足,將一種基于NVM設計的共享緩存結構引入Spark平臺的硬件體系中。通過修改Spark的持久化機制、RDD分區(qū)管理算法,使Spark能正確識別并使用NVM。同時通過NVM共享緩存結構,提升Spark任務處理能力,強化了Spark對存儲空間內數(shù)據(jù)的管理能力,進一步提高了空間的利用率。本文通過對幾個當前常用應用場景與NVM的結合,探索了NVM在當前存儲計算環(huán)境下的合理應用方式。通過對已有存儲的適當改造,在基本特性不改變的前提下強化了NVM在當前環(huán)境下的性能與優(yōu)勢,同時避免了NVM的一些缺點。為NVM邁入實質性應用提供了一些參考依據(jù)。
【圖文】：

圖 1-1 存儲系統(tǒng)應用結構（1） 針對存儲系統(tǒng)的碎片處理，對基于 NVM 的混合存儲系統(tǒng)的數(shù)據(jù)存儲策略進行優(yōu)化因為碎片是存儲系統(tǒng)的一個無法回避的問題，理論上講完全避免碎片的最優(yōu)文件切片解是不存在的，我們所能夠做的就是盡可能的降低碎片產(chǎn)生的幾率，，并減小碎片的大小。而 NVM 在存儲單元壽命上要優(yōu)于一般 SSD，但和 DRAM與 HDD 相比還有很大差距。為了充分利用每一塊 NVM 存儲單元，我們在原有均衡擦寫方法的基礎上，綜合前面的存儲管理機制優(yōu)化方案，對 NVM 存儲設備進行分區(qū)管理。針對 HDD 和 SSD，傳統(tǒng)存儲機制主要采用數(shù)據(jù)切片映射和數(shù)據(jù)替換方法來降低存儲系統(tǒng)的碎片情況。從兩者的實施結果來看，均起到了很好的效果，然而代價也很明顯。針對上述難題，本文以傳統(tǒng) DRAM 的段頁式內存管理為基礎設計了一個對 NVM 特性更加友好的存儲空間管理機制。通過對 NVM 存儲空間進行二次組織，使得保存于其中的數(shù)據(jù)能夠以更為緊湊的形式存放在 NVM 存儲單元內。最后通過仿真實驗，檢驗算法的有效性。對

源消耗相差不大。2.5 共享內存技術圖 2-1 給出了一個簡易的共享內存結構。共享內存是一種在多處理器環(huán)境下，為了加速某些數(shù)據(jù)的交換速度，而在內存空間里開辟的一塊區(qū)域。由于內存內的數(shù)據(jù)可能被多個 CPU 共同使用，而各個 CPU 之間的計算、處理并不一致，導致這些數(shù)據(jù)可能會被同時修改。如果不加以處理，會對多進程、多處理器等計算環(huán)境造成非常嚴重的邏輯混亂。為此而誕生了共享內存技術，其主要方式包括：以 Linux內的 mmap()函數(shù)為代表的進程、處理器緩沖區(qū)訪問方法，和通過數(shù)據(jù)映射使用共享數(shù)據(jù)等方法。通過共享內存，可以實現(xiàn)計算機系統(tǒng)內各個進程，以及各個處理單元之間的高速通信，同時保證了數(shù)據(jù)的一致性以及計算處理結果的邏輯性。共享內存相比其他數(shù)據(jù)一致性方法具有更好的數(shù)據(jù)控制性能，數(shù)據(jù)讀寫過程更加透明。進程與處理器通過類似指針的方法便可訪問共享內存內數(shù)據(jù)。共享內存的缺點是，數(shù)據(jù)寫入進程或數(shù)據(jù)讀出進程中，需要附加的數(shù)據(jù)結構控制。
【學位授予單位】：電子科技大學
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：TP333

【相似文獻】

相關期刊論文 前10條

1 王卓;張美玲;康健;方瑤;賈軍;郝永梅;;虛擬化平臺與存儲系統(tǒng)結合在地震臺網(wǎng)中的部署和應用[J];防災減災學報;2018年02期

2 王龍江;陳越;嚴新成;黃愷翔;;網(wǎng)絡編碼云存儲系統(tǒng)差分數(shù)據(jù)更新方案[J];通信學報;2017年03期

3 陳震;劉文潔;張曉;卜海龍;;基于磁盤和固態(tài)硬盤的混合存儲系統(tǒng)研究綜述[J];計算機應用;2017年05期

4 李阿妮;張曉;張伯陽;柳春懿;趙曉南;;公有云存儲系統(tǒng)性能評測方法研究[J];計算機應用;2017年05期

5 王國慶;;安全云存儲系統(tǒng)綜述[J];科技視界;2017年05期

6 沈海靈;;移動云存儲系統(tǒng)的關鍵問題與技術方案[J];福建電腦;2017年08期

7 王海濤;李戰(zhàn)懷;張曉;;一種云存儲系統(tǒng)分層性能監(jiān)測和采集方法[J];西北工業(yè)大學學報;2016年03期

8 齊嬋穎;李育超;聶睿;覃楊森;;基于開放云存儲協(xié)議的云存儲系統(tǒng)性能評測方法研究[J];電子設計工程;2016年19期

9 趙文敬;吳彥波;;一種云存儲系統(tǒng)安全擴展框架設計[J];黑龍江科技信息;2014年31期

10 湯赫男;;云存儲系統(tǒng)的分析與應用[J];信息技術與信息化;2014年07期

相關會議論文 前10條

1 黃敏;;安全云存儲系統(tǒng)與關鍵技術研究[A];《教師教學能力發(fā)展研究》科研成果集（第六卷）[C];2017年

2 ;以數(shù)據(jù),成就未來![A];第25屆中國數(shù)字廣播電視與網(wǎng)絡發(fā)展年會暨第16屆全國互聯(lián)網(wǎng)與音視頻廣播發(fā)展研討會論文集[C];2017年

3 孫哲;李昌銀;;構建核電高可用云存儲系統(tǒng)[A];2012電力行業(yè)信息化年會優(yōu)秀論文專輯[C];2012年

4 趙志剛;;存儲系統(tǒng)在企業(yè)信息化中的應用[A];2005年安徽通信論文集[C];2006年

5 蘇秀紅;;多路并行存儲系統(tǒng)的壞塊管理策略研究[A];第七屆四川省博士專家論壇論文集[C];2014年

6 陳鵬濤;;云存儲在廣播電視監(jiān)測工作中的作用[A];第23屆中國數(shù)字廣播電視與網(wǎng)絡發(fā)展年會暨第14屆全國互聯(lián)網(wǎng)與音視頻廣播發(fā)展研討會論文集[C];2015年

7 焦超;周天彤;李祥學;李建華;;面向災備的高性能可信存儲系統(tǒng)設計[A];第十一屆保密通信與信息安全現(xiàn)狀研討會論文集[C];2009年

8 程鵬;劉偉;;電力SCADA系統(tǒng)運行平臺的存儲系統(tǒng)設計[A];2010年第16屆全國信息存儲技術大會（IST2010）論文集[C];2010年

9 羅志明;張大華;王鐵軍;李凡;;面向智能電網(wǎng)的分布式云存儲系統(tǒng)實現(xiàn)[A];2012電力行業(yè)信息化年會論文集[C];2012年

10 胡維;劉光明;李瓊;劉欣;;基于智能預警的自恢復存儲系統(tǒng)研究[A];2010年第16屆全國信息存儲技術大會（IST2010）論文集[C];2010年

相關重要報紙文章 前10條

1 ;人工智能時代高性能存儲受熱捧[N];中國信息化周報;2017年

2 劉永梅;如何選擇存儲系統(tǒng)[N];光明日報;2001年

3 本報記者 劉麗麗;Oracle構建業(yè)務就緒存儲系統(tǒng)愿景[N];計算機世界;2011年

4 ;企業(yè)存儲系統(tǒng)選購要素[N];中國計算機報;2002年

5 方糧;存儲系統(tǒng)何時自我管理[N];中國計算機報;2003年

6 張偉;NetApp FAS3100系列存儲系統(tǒng)[N];中國計算機報;2008年

7 本報記者 李瀛寰;朗登：存儲系統(tǒng)設計院[N];中國計算機報;2001年

8 ;存儲系統(tǒng)：市場增幅回落[N];中國計算機報;2003年

9 特約撰稿 張冬;傳統(tǒng)外置存儲系統(tǒng)或將迎來冬天(上)[N];計算機世界;2011年

10 本報記者 郭平;同有飛驥自主研發(fā)統(tǒng)一存儲系統(tǒng)[N];計算機世界;2010年

相關博士學位論文 前10條

1 曾坤;事務存儲系統(tǒng)：事務沖突與事務并行[D];國防科學技術大學;2011年

2 劉科;內容感知存儲系統(tǒng)中的信息檢索關鍵技術研究[D];華中科技大學;2012年

3 劉勁松;關于存儲系統(tǒng)性能的測試、仿真與評價的研究[D];華中科技大學;2004年

4 侯方勇;存儲系統(tǒng)數(shù)據(jù)機密性與完整性保護的關鍵技術研究[D];國防科學技術大學;2005年

5 王俊偉;大規(guī)模多媒體存儲系統(tǒng)中數(shù)據(jù)放置與調度策略的研究[D];國防科學技術大學;2005年

6 郇丹丹;高性能存儲系統(tǒng)研究[D];中國科學院研究生院（計算技術研究所）;2006年

7 劉曉光;二級網(wǎng)絡條紋數(shù)據(jù)布局及其相關問題的研究[D];南開大學;2002年

8 胡風華;基于以太網(wǎng)的存儲系統(tǒng)研究[D];中國科學院研究生院（計算技術研究所）;2005年

9 田敬;對等存儲系統(tǒng)中的數(shù)據(jù)可用性與安全性研究[D];北京大學;2007年

10 李懷陽;進化存儲系統(tǒng)數(shù)據(jù)組織模式研究[D];華中科技大學;2006年

相關碩士學位論文 前10條

1 韓召寶;A公司ETV行李存儲系統(tǒng)項目的敏捷開發(fā)和進度管理研究[D];華東理工大學;2018年

2 王峻龍;NVM存儲系統(tǒng)的性能優(yōu)化研究[D];電子科技大學;2018年

3 肖肇宇;基于節(jié)能與可靠性的并行存儲系統(tǒng)模型的設計與分析[D];湖南大學;2017年

4 鄧俊杰;云存儲中基于非均勻保護策略的糾刪碼技術研究與實現(xiàn)[D];湖南大學;2017年

5 朱繼生;基于MIC架構的內存鍵值存儲系統(tǒng)的設計與實現(xiàn)[D];湖南大學;2017年

6 彎勇輝;面向審計領域的云存儲技術的研究及應用[D];哈爾濱工程大學;2015年

7 萬進;一種自適應分級存儲系統(tǒng)的設計與實現(xiàn)[D];華中科技大學;2017年

8 程帥;云存儲系統(tǒng)中密文檢索與訪問控制技術的研究[D];武漢理工大學;2015年

9 朱林;基于MPI的高性能云計算平臺的優(yōu)化與存儲系統(tǒng)研究[D];武漢理工大學;2015年

10 孫東東;容錯存儲系統(tǒng)校驗更新及修復優(yōu)化技術研究[D];中國科學技術大學;2017年

本文編號：2590784