本文關(guān)鍵詞：基于閃存特性的存儲(chǔ)優(yōu)化及應(yīng)用研究，由筆耕文化傳播整理發(fā)布。

【摘要】：存儲(chǔ)介質(zhì)是計(jì)算機(jī)存儲(chǔ)體系結(jié)構(gòu)的基礎(chǔ)。從磁帶、軟盤到機(jī)械硬盤,存儲(chǔ)工業(yè)的每一次進(jìn)步都帶來了體系結(jié)構(gòu)和系統(tǒng)軟件層的進(jìn)一步發(fā)展。近年來,隨著閃存存儲(chǔ)器芯片成本不斷下降,各種基于閃存芯片的存儲(chǔ)設(shè)備被大量使用。固態(tài)盤等形式的閃存設(shè)備,由于其可兼容傳統(tǒng)存儲(chǔ)系統(tǒng),并具有高性能、低功耗等優(yōu)點(diǎn),被廣泛使用在I/O密集型應(yīng)用環(huán)境中替換傳統(tǒng)機(jī)械硬盤。這類設(shè)備內(nèi)部的閃存地址轉(zhuǎn)換層(FTL)使其內(nèi)部閃存特性對(duì)上層系統(tǒng)透明,使得傳統(tǒng)文件系統(tǒng)及數(shù)據(jù)庫系統(tǒng)軟件等將閃存設(shè)備當(dāng)作普通塊設(shè)備使用,這造成了軟硬件之間的設(shè)計(jì)冗余、策略沖突、協(xié)同缺失等問題。針對(duì)這些問題,本文對(duì)包括事務(wù)處理、并行I/O、存儲(chǔ)入侵檢測(cè)以及云存儲(chǔ)緩存四個(gè)不同應(yīng)用場(chǎng)景下基于閃存特性的存儲(chǔ)優(yōu)化進(jìn)行了研究。論文的主要成果與貢獻(xiàn)包括:1.針對(duì)事務(wù)處理應(yīng)用場(chǎng)景,提出了基于閃存的軟硬件協(xié)同分類事務(wù)處理機(jī)制Mobius。該機(jī)制利用了閃存異地更新特性,在設(shè)備內(nèi)部同時(shí)支持傳統(tǒng)數(shù)據(jù)庫中的ACID事務(wù)以及日志文件系統(tǒng)中的弱事務(wù),提出了靜態(tài)事務(wù)和動(dòng)態(tài)事務(wù)的概念。Mobius擴(kuò)展了傳統(tǒng)設(shè)備接口,針對(duì)不同類型的事務(wù)對(duì)上層軟件直接提供相應(yīng)的事務(wù)處理接口。對(duì)于靜態(tài)事務(wù)的快速恢復(fù),提出了基于有向無環(huán)圖拓?fù)潢P(guān)系的靜態(tài)事務(wù)提交協(xié)議。該提交協(xié)議是一種延遲提交協(xié)議,可以避免提交記錄造成的額外寫入。此外,在事務(wù)恢復(fù)時(shí),Mobius可以避免大部分事務(wù)數(shù)據(jù)掃描,從而減少離線恢復(fù)時(shí)間,提高了數(shù)據(jù)可用性。2.針對(duì)并行I/O環(huán)境中出現(xiàn)的單個(gè)固態(tài)盤寫懸崖造成的全局寫性能下降問題,提出了可以自適應(yīng)的細(xì)粒度數(shù)據(jù)放置策略。固態(tài)盤在持續(xù)寫密集負(fù)載和可用空間少等情況下會(huì)出現(xiàn)寫性能急劇下降的問題,稱之為寫懸崖。并行I/O環(huán)境下單個(gè)固態(tài)盤寫懸崖會(huì)對(duì)全局性能造成影響。自適應(yīng)的細(xì)粒度數(shù)據(jù)放置算法可以在寫懸崖發(fā)生后將數(shù)據(jù)以細(xì)粒度的方式進(jìn)行節(jié)點(diǎn)間遷移,避免了全局I/O性能下降。3.針對(duì)存儲(chǔ)入侵檢測(cè)應(yīng)用場(chǎng)景,提出了基于閃存的存儲(chǔ)入侵檢測(cè)機(jī)制IDSSD。該機(jī)制利用閃存FTL層提高了查詢存儲(chǔ)層入侵檢測(cè)規(guī)則的效率,同時(shí)還利用閃存的異地更新特性提供在垃圾回收時(shí)進(jìn)行入侵檢測(cè)的異步入侵檢測(cè)機(jī)制,提高了檢測(cè)性能。此外,利用異地更新特性,IDSSD還可以防止入侵檢測(cè)發(fā)生后可能出現(xiàn)的數(shù)據(jù)覆蓋,從而避免了入侵痕跡丟失的問題。與傳統(tǒng)根據(jù)塊級(jí)語義入侵檢測(cè)規(guī)則實(shí)時(shí)重建文件級(jí)語義的方法相比,IDSSD在性能上有較大提高。4.針對(duì)云存儲(chǔ)環(huán)境,設(shè)計(jì)并實(shí)現(xiàn)了基于USB閃存盤的云存儲(chǔ)緩存系統(tǒng)。該應(yīng)用技術(shù)使用云存儲(chǔ)擴(kuò)展閃存的容量,同時(shí)使用USB閃存盤緩存云端數(shù)據(jù),從而實(shí)現(xiàn)了以云存儲(chǔ)為后臺(tái)的便攜數(shù)據(jù)存儲(chǔ)。該系統(tǒng)利用了閃存的I/O能力,作為云端數(shù)據(jù)的本地緩存,同時(shí)使用閃存盤硬件標(biāo)識(shí)和用戶密碼配合作為密鑰獲取云端數(shù)據(jù),保證了數(shù)據(jù)安全性;此外,該系統(tǒng)內(nèi)部使用DO-LRU緩存替換算法,可以有效的降低云存儲(chǔ)使用費(fèi)用。
【關(guān)鍵詞】：閃存 事務(wù)處理 并行I/O 寫懸崖 入侵檢測(cè)
【學(xué)位授予單位】：清華大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP333
【目錄】：

• 摘要3-5
• Abstract5-12
• 主要符號(hào)對(duì)照表12-14
• 第1章 緒論14-23
• 1.1 研究背景14-17
• 1.1.1 閃存技術(shù)的興起15-16
• 1.1.2 閃存的特性16-17
• 1.2 基于閃存特性的存儲(chǔ)優(yōu)化關(guān)鍵問題17-19
• 1.2.1 存儲(chǔ)系統(tǒng)概述18
• 1.2.2 存在的關(guān)鍵問題18-19
• 1.3 研究?jī)?nèi)容與主要貢獻(xiàn)19-21
• 1.3.1 研究?jī)?nèi)容19-20
• 1.3.2 主要貢獻(xiàn)20-21
• 1.4 論文組織結(jié)構(gòu)21-23
• 第2章 相關(guān)工作23-36
• 2.1 傳統(tǒng)事務(wù)處理技術(shù)23-27
• 2.1.1 數(shù)據(jù)庫系統(tǒng)事務(wù)處理23-25
• 2.1.2 文件系統(tǒng)恢復(fù)技術(shù)25-27
• 2.2 基于閃存的事務(wù)處理技術(shù)27-31
• 2.2.1 固態(tài)盤突然斷電恢復(fù)機(jī)制27-28
• 2.2.2 傳統(tǒng)接口的閃存事務(wù)處理技術(shù)28-29
• 2.2.3 擴(kuò)展設(shè)備接口的閃存事務(wù)處理技術(shù)29-31
• 2.3 并行I/O環(huán)境數(shù)據(jù)放置策略相關(guān)工作31-33
• 2.3.1 基于I/O特征的數(shù)據(jù)放置策略31-32
• 2.3.2 混合存儲(chǔ)并行I/O系統(tǒng)數(shù)據(jù)放置策略32-33
• 2.4 基于閃存的存儲(chǔ)入侵檢測(cè)系統(tǒng)相關(guān)工作33-34
• 2.5 基于USB閃存盤的云存儲(chǔ)緩存系統(tǒng)相關(guān)工作34-36
• 2.5.1 云存儲(chǔ)緩存技術(shù)研究34
• 2.5.2 基于計(jì)價(jià)設(shè)計(jì)的云存儲(chǔ)系統(tǒng)相關(guān)研究34-36
• 第3章 基于閃存的軟硬件協(xié)同分類事務(wù)處理機(jī)制36-62
• 3.1 概述36-38
• 3.1.1 軟件層事務(wù)處理機(jī)制36
• 3.1.2 研究動(dòng)機(jī)36-37
• 3.1.3 本章貢獻(xiàn)37-38
• 3.2 事務(wù)處理特性38-41
• 3.2.1 數(shù)據(jù)庫事務(wù)處理特性38-39
• 3.2.2 日志文件系統(tǒng)事務(wù)處理特性39-41
• 3.3 核心設(shè)計(jì)思想41-42
• 3.4 Mobius事務(wù)處理機(jī)制設(shè)計(jì)42-52
• 3.4.1 系統(tǒng)結(jié)構(gòu)42-44
• 3.4.2 設(shè)備接口44-45
• 3.4.3 靜態(tài)事務(wù)提交過程45-47
• 3.4.4 動(dòng)態(tài)事務(wù)提交過程47
• 3.4.5 靜態(tài)事務(wù)恢復(fù)過程47-49
• 3.4.6 動(dòng)態(tài)事務(wù)恢復(fù)過程49
• 3.4.7 映射信息管理49-50
• 3.4.8 垃圾回收50
• 3.4.9 討論50-52
• 3.5 原型系統(tǒng)實(shí)現(xiàn)52-54
• 3.5.1 原型系統(tǒng)實(shí)現(xiàn)平臺(tái)52-53
• 3.5.2 Mobius內(nèi)部結(jié)構(gòu)和策略實(shí)現(xiàn)53
• 3.5.3 實(shí)現(xiàn)中的局限性53-54
• 3.6 實(shí)驗(yàn)與評(píng)價(jià)54-60
• 3.6.1 實(shí)驗(yàn)環(huán)境54-55
• 3.6.2 性能代價(jià)分析55-57
• 3.6.3 性能對(duì)比分析57-59
• 3.6.4 恢復(fù)時(shí)間對(duì)比59-60
• 3.6.5 數(shù)據(jù)寫入量對(duì)比60
• 3.7 小結(jié)60-62
• 第4章 并行I/O環(huán)境固態(tài)盤動(dòng)態(tài)數(shù)據(jù)放置策略62-84
• 4.1 概述62
• 4.2 研究背景與研究動(dòng)機(jī)62-67
• 4.2.1 固態(tài)盤性能特性62-63
• 4.2.2 并行I/O環(huán)境數(shù)據(jù)放置策略63-65
• 4.2.3 具體研究問題65-67
• 4.2.4 本章貢獻(xiàn)67
• 4.3 并行I/O環(huán)境固態(tài)盤動(dòng)態(tài)（ PAD）數(shù)據(jù)放置策略設(shè)計(jì)67-75
• 4.3.1 系統(tǒng)結(jié)構(gòu)68-70
• 4.3.2 數(shù)據(jù)初始放置策略70-71
• 4.3.3 寫懸崖探測(cè)機(jī)制71-72
• 4.3.4 映射管理模塊72-73
• 4.3.5 PAD數(shù)據(jù)遷移算法73-75
• 4.4 動(dòng)態(tài)數(shù)據(jù)放置策略的實(shí)現(xiàn)75-77
• 4.4.1 映射表管理76
• 4.4.2 MPI-IO中的I/O重定向76-77
• 4.4.3 數(shù)據(jù)遷移實(shí)現(xiàn)細(xì)節(jié)77
• 4.5 實(shí)驗(yàn)與評(píng)價(jià)77-82
• 4.5.1 實(shí)驗(yàn)平臺(tái)77-78
• 4.5.2 IOR基準(zhǔn)測(cè)試78-81
• 4.5.3 PAD開銷81-82
• 4.6 小結(jié)82-84
• 第5章 基于閃存的存儲(chǔ)入侵檢測(cè)機(jī)制84-98
• 5.1 概述84-85
• 5.2 研究背景與研究動(dòng)機(jī)85-88
• 5.2.1 研究背景85-86
• 5.2.2 研究動(dòng)機(jī)86-87
• 5.2.3 本章貢獻(xiàn)87-88
• 5.3 系統(tǒng)設(shè)計(jì)88-92
• 5.3.1 設(shè)計(jì)思路88-89
• 5.3.2 系統(tǒng)架構(gòu)89-90
• 5.3.3 塊級(jí)規(guī)則設(shè)定方法90-91
• 5.3.4 異步入侵檢測(cè)91
• 5.3.5 入侵后的現(xiàn)場(chǎng)保護(hù)91-92
• 5.3.6 IDSSD垃圾回收操作92
• 5.4 系統(tǒng)實(shí)現(xiàn)92-94
• 5.4.1 Open SSD的不同工作模式92-93
• 5.4.2 塊 -文件級(jí)語義規(guī)則轉(zhuǎn)換93-94
• 5.4.3 IDSSD入侵檢測(cè)流程94
• 5.5 實(shí)驗(yàn)與評(píng)價(jià)94-97
• 5.5.1 IDSSD開銷測(cè)試95-96
• 5.5.2 IDSSD入侵檢測(cè)效率橫向?qū)Ρ葘?shí)驗(yàn)96-97
• 5.6 小結(jié)97-98
• 第6章 基于USB閃存盤的云存儲(chǔ)緩存系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)98-113
• 6.1 概述98-99
• 6.2 關(guān)鍵問題99-100
• 6.2.1 云存儲(chǔ)計(jì)價(jià)模型99-100
• 6.2.2 系統(tǒng)設(shè)計(jì)中的關(guān)鍵問題100
• 6.3 系統(tǒng)設(shè)計(jì)100-105
• 6.3.1 系統(tǒng)架構(gòu)101-102
• 6.3.2 SAGA文件存放策略102-103
• 6.3.3 DO-LRU緩存替換算法103-105
• 6.4 系統(tǒng)實(shí)現(xiàn)105-106
• 6.5 實(shí)驗(yàn)與評(píng)價(jià)106-111
• 6.5.1 實(shí)驗(yàn)環(huán)境106
• 6.5.2 順序I/O性能測(cè)試106-109
• 6.5.3 隨機(jī)I/O性能測(cè)試109
• 6.5.4 不同參數(shù)設(shè)置下的云存儲(chǔ)開銷對(duì)比109-111
• 6.6 小結(jié)111-113
• 第7章 總結(jié)與展望113-116
• 7.1 論文工作總結(jié)113-114
• 7.2 后續(xù)工作展望114-116
• 參考文獻(xiàn)116-125
• 致謝125-127
• 個(gè)人簡(jiǎn)歷、在學(xué)期間發(fā)表的學(xué)術(shù)論文與研究成果127-128

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前10條

1 程天宇;閃存盤完全導(dǎo)購(gòu)[J];電腦知識(shí)與技術(shù);2002年11期

2 鄭振濤 ,江蘇 ,劉鵬 ,包日曉;以一敵六——打造“超級(jí)”閃存盤[J];電腦愛好者;2002年21期

3 賈保民;閃存盤使用體會(huì)點(diǎn)滴[J];電腦知識(shí)與技術(shù);2003年04期

4 ;“甲殼蟲”系列閃存盤[J];電子科技;2003年14期

5 ;世音網(wǎng)絡(luò)黑鉆256MB閃存盤[J];個(gè)人電腦;2003年07期

6 ;精英甲殼蟲閃存盤上市[J];軍民兩用技術(shù)與產(chǎn)品;2003年09期

7 Admin ,胡光 ,朱宏志;由簡(jiǎn)單到復(fù)雜 由弱小到強(qiáng)大——打造超酷閃存盤全攻略(上)[J];電腦愛好者;2003年13期

8 蒼光 ,柳堅(jiān) ,婷婷;《打造超酷閃存盤全攻略》補(bǔ)完計(jì)劃[J];電腦愛好者;2003年17期

9 昔時(shí)昔日;瘦身不瘦量——閃存盤的解剖與應(yīng)用[J];電腦愛好者;2003年19期

10 怪鴨獸;一覽眾山小——美達(dá)閃存盤生產(chǎn)線探秘[J];電腦愛好者;2003年24期

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 ;購(gòu)買閃存盤從何下手[N];北京日?qǐng)?bào);2004年

2 徐 蕊;現(xiàn)代閃存盤：除了“一元”還有什么？[N];中國(guó)企業(yè)報(bào);2004年

3 卞俠;扮酷你的閃存盤[N];中國(guó)電腦教育報(bào);2004年

4 若 愚;選購(gòu)閃存盤三大絕招[N];中國(guó)電腦教育報(bào);2004年

5 本報(bào)記者 王偉;閃存盤市場(chǎng)上演“全武行”[N];廣東科技報(bào);2004年

6 高賽;閃存盤漸成女性時(shí)尚飾物[N];光明日?qǐng)?bào);2004年

7 高賽;閃存盤全面升級(jí)　小廠商面臨出局[N];光明日?qǐng)?bào);2005年

8 張旭東;消費(fèi)者請(qǐng)注意偽劣閃存盤[N];中國(guó)計(jì)算機(jī)報(bào);2003年

9 王旭;閃存盤進(jìn)化論[N];中國(guó)計(jì)算機(jī)報(bào);2004年

10 本報(bào)記者 宋廣平;閃存盤市場(chǎng)的變數(shù)[N];計(jì)算機(jī)世界;2003年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 石偉;基于閃存特性的存儲(chǔ)優(yōu)化及應(yīng)用研究[D];清華大學(xué);2015年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 呂琳;閃存盤結(jié)構(gòu)分析及其擴(kuò)展功能應(yīng)用研究[D];大連海事大學(xué);2004年

2 孫庚;閃存盤固件的設(shè)計(jì)與實(shí)現(xiàn)[D];中國(guó)科學(xué)院研究生院（軟件研究所）;2003年

3 趙挺竹;NAND Flash與USB閃存盤之間的數(shù)據(jù)交互[D];西安電子科技大學(xué);2009年

  本文關(guān)鍵詞：基于閃存特性的存儲(chǔ)優(yōu)化及應(yīng)用研究，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：280620