【摘要】：在大數(shù)據(jù)存儲(chǔ)研究領(lǐng)域中,數(shù)據(jù)存儲(chǔ)與維護(hù)是一個(gè)具有挑戰(zhàn)性的研究課題。由于數(shù)據(jù)量爆炸式增長(zhǎng),導(dǎo)致數(shù)據(jù)中心的數(shù)據(jù)規(guī)模龐大且冗余度高,不僅耗費(fèi)巨大的存儲(chǔ)空間和能耗,而且數(shù)據(jù)管理的復(fù)雜程度和存儲(chǔ)風(fēng)險(xiǎn)也急劇提高。為了減輕數(shù)據(jù)存儲(chǔ)負(fù)擔(dān)和提高數(shù)據(jù)存儲(chǔ)效率,重復(fù)數(shù)據(jù)刪除技術(shù)成為了近年來(lái)存儲(chǔ)技術(shù)研究的焦點(diǎn)之一。在重復(fù)數(shù)據(jù)刪除技術(shù)中,主要存在兩方面的問(wèn)題:1、指紋索引造成的磁盤(pán)瓶頸問(wèn)題。2、數(shù)據(jù)碎片化嚴(yán)重降低恢復(fù)性能。因此,本文將利用強(qiáng)化學(xué)習(xí)和模式匹配的方法分別解決這兩個(gè)問(wèn)題。具體研究?jī)?nèi)容如下:1)提出了一種基于強(qiáng)化學(xué)習(xí)的指紋索引預(yù)取算法。首先,利用數(shù)據(jù)流的上下文信息,提取數(shù)據(jù)流分段的特征;然后,通過(guò)選擇適當(dāng)?shù)姆答仚C(jī)制,建立特征和數(shù)據(jù)流分段的映射關(guān)聯(lián)關(guān)系,構(gòu)建高效的索引結(jié)構(gòu);其后,用強(qiáng)化學(xué)習(xí)訓(xùn)練數(shù)據(jù)段之間的相似性,用分?jǐn)?shù)表示;對(duì)每一個(gè)新的數(shù)據(jù)段,用多臂老虎機(jī)模型對(duì)當(dāng)前反饋?zhàn)詈玫臄?shù)據(jù)分段和未知的分段進(jìn)行權(quán)衡比較,動(dòng)態(tài)的選擇一個(gè)數(shù)據(jù)段進(jìn)行預(yù)取;進(jìn)一步研究?jī)?yōu)化數(shù)據(jù)分段的緩存機(jī)制,設(shè)計(jì)緩存算法。最后在4個(gè)數(shù)據(jù)集上驗(yàn)證了本方法的有效性,實(shí)驗(yàn)結(jié)果表明本文的方法大大減少了內(nèi)存開(kāi)銷且實(shí)現(xiàn)了有效重刪。2)提出了一種基于模式匹配優(yōu)化數(shù)據(jù)恢復(fù)的算法。首先研究了重刪之后數(shù)據(jù)存儲(chǔ)碎片化的分布特性,分析數(shù)據(jù)恢復(fù)過(guò)程的數(shù)據(jù)讀性能;然后利用模式匹配思想,將局部相關(guān)聯(lián)的數(shù)據(jù)塊識(shí)別出來(lái),計(jì)算最長(zhǎng)公共子序列形成連續(xù)模式的磁盤(pán)讀取操作,減少磁盤(pán)隨機(jī)讀次數(shù);再利用雙循環(huán)緩沖設(shè)計(jì)最大化模式匹配算法,優(yōu)化調(diào)度合并讀操作,從而加速數(shù)據(jù)恢復(fù)性能;研究數(shù)據(jù)恢復(fù)的緩存預(yù)取機(jī)制優(yōu)化,分析在不同緩存粒度情形下,對(duì)數(shù)據(jù)恢復(fù)的性能影響;最后在重寫(xiě)情形下,比較數(shù)據(jù)恢復(fù)性能。大量實(shí)驗(yàn)表明基于模式匹配的算法能夠進(jìn)一步提高恢復(fù)性能。
【學(xué)位授予單位】：天津理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王軍;重復(fù)數(shù)據(jù) 批量剔除[J];電腦應(yīng)用文萃;2004年06期

2 ;重復(fù)數(shù)據(jù)刪除可實(shí)現(xiàn)25:1壓縮[J];每周電腦報(bào);2007年01期

3 賈志凱;王樹(shù)鵬;陳光達(dá);彭成;;一種并行層次化的重復(fù)數(shù)據(jù)刪除技術(shù)[J];計(jì)算機(jī)研究與發(fā)展;2011年S1期

4 Eric Bassier;;應(yīng)對(duì)數(shù)據(jù)增長(zhǎng)的重磅武器——重復(fù)數(shù)據(jù)刪除技術(shù)[J];計(jì)算機(jī)與網(wǎng)絡(luò);2013年06期

5 于丹;;昆騰進(jìn)入重復(fù)數(shù)據(jù)刪除市場(chǎng)[J];每周電腦報(bào);2007年09期

6 盧敏;;“零距離”重復(fù)數(shù)據(jù)刪除[J];軟件世界;2008年11期

7 盧敏;;點(diǎn)亮“重復(fù)數(shù)據(jù)刪除”[J];軟件世界;2008年06期

8 徐立洋;;選購(gòu)重復(fù)數(shù)據(jù)刪除方案 軟硬兼施剔除雞肋數(shù)據(jù)[J];中國(guó)計(jì)算機(jī)用戶;2009年08期

9 邢延剛;;刪除重復(fù)值我有妙法[J];電腦迷;2009年09期

10 李剛;;重復(fù)數(shù)據(jù)刪除走向“源頭”[J];中國(guó)計(jì)算機(jī)用戶;2009年16期

相關(guān)會(huì)議論文 前3條

1 賈志凱;王樹(shù)鵬;陳光達(dá);彭成;;一種并行層次化的重復(fù)數(shù)據(jù)刪除技術(shù)[A];2010年第16屆全國(guó)信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

2 楊廷梧;;基于重復(fù)數(shù)據(jù)刪除的靶場(chǎng)試驗(yàn)信息存儲(chǔ)技術(shù)[A];2009年西部光子學(xué)學(xué)術(shù)會(huì)議論文摘要集[C];2009年

3 肖鈞;黃亮;;虛擬化搭配去重,雙劍合璧更給力[A];2011年CAD/CAM學(xué)術(shù)交流會(huì)議論文集[C];2011年

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)記者 張偉;重復(fù)數(shù)據(jù)刪除能被扶正嗎[N];中國(guó)計(jì)算機(jī)報(bào);2008年

2 王琨月;重復(fù)數(shù)據(jù)刪除不該忽視弱點(diǎn)[N];網(wǎng)絡(luò)世界;2008年

3 本報(bào)記者 郭濤;基于硬件的重復(fù)數(shù)據(jù)刪除效率更高[N];中國(guó)計(jì)算機(jī)報(bào);2009年

4 朱皎;重復(fù)數(shù)據(jù)刪除技術(shù)漸成主流[N];電腦商報(bào);2009年

5 邢小萍;重復(fù)數(shù)據(jù)刪除技術(shù)漸入佳境[N];網(wǎng)絡(luò)世界;2009年

6 本報(bào)記者 刑小萍;重復(fù)數(shù)據(jù)刪除市場(chǎng)迎來(lái)開(kāi)門(mén)紅[N];網(wǎng)絡(luò)世界;2010年

7 清水　編譯;部署重復(fù)數(shù)據(jù)刪除[N];計(jì)算機(jī)世界;2010年

8 編譯 張磊;誰(shuí)在拖重復(fù)數(shù)據(jù)刪除的后腿[N];中國(guó)計(jì)算機(jī)報(bào);2009年

9 本報(bào)記者 郭濤;重復(fù)數(shù)據(jù)刪除2.0追求“雙高”[N];中國(guó)計(jì)算機(jī)報(bào);2012年

10 編譯 沈建苗;你果真需要重復(fù)數(shù)據(jù)刪除技術(shù)嗎[N];計(jì)算機(jī)世界;2013年

相關(guān)博士學(xué)位論文 前10條

1 林彬;主存儲(chǔ)服務(wù)系統(tǒng)中高I/O性能的重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2014年

2 周炳;海量數(shù)據(jù)的重復(fù)數(shù)據(jù)刪除中元數(shù)據(jù)管理關(guān)鍵技術(shù)研究[D];清華大學(xué);2015年

3 周景才;云數(shù)據(jù)中心軟件節(jié)能關(guān)鍵技術(shù)的研究[D];武漢大學(xué);2016年

4 王國(guó)華;高效重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];華南理工大學(xué);2014年

5 王燦;基于在線重復(fù)數(shù)據(jù)消除的海量數(shù)據(jù)處理關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2012年

6 付印金;面向云環(huán)境的重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2013年

7 周正達(dá);信息存儲(chǔ)系統(tǒng)中重復(fù)數(shù)據(jù)刪除技術(shù)的研究[D];華中科技大學(xué);2012年

8 楊天明;網(wǎng)絡(luò)備份中重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];華中科技大學(xué);2010年

9 朱銳;重復(fù)數(shù)據(jù)刪除技術(shù)中的并行性能優(yōu)化算法研究[D];華中科技大學(xué);2013年

10 閻芳;重復(fù)數(shù)據(jù)刪除系統(tǒng)數(shù)據(jù)組織研究[D];北京理工大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 張明月;客戶端加密重復(fù)數(shù)據(jù)刪除機(jī)制的研究[D];西安電子科技大學(xué);2014年

2 黃可;重復(fù)數(shù)據(jù)可刪除的云數(shù)據(jù)審計(jì)協(xié)議的研究[D];電子科技大學(xué);2015年

3 王振宇;安全云存儲(chǔ)中重復(fù)數(shù)據(jù)刪除機(jī)制研究[D];南京郵電大學(xué);2015年

4 李志然;云存儲(chǔ)中集群重復(fù)數(shù)據(jù)刪除系統(tǒng)的研究與設(shè)計(jì)[D];東北大學(xué);2014年

5 張宏亮;重復(fù)數(shù)據(jù)刪除技術(shù)在云存儲(chǔ)中的應(yīng)用與實(shí)現(xiàn)[D];華中科技大學(xué);2014年

6 曹秀秀;面向XML相似性重復(fù)數(shù)據(jù)的清洗方法研究[D];首都經(jīng)濟(jì)貿(mào)易大學(xué);2016年

7 彭健;基于重復(fù)數(shù)據(jù)刪除的教育資源管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2016年

8 陳琳;基于存儲(chǔ)系統(tǒng)的重復(fù)數(shù)據(jù)刪除技術(shù)的研究[D];南京郵電大學(xué);2016年

9 涂群;云存儲(chǔ)系統(tǒng)中重復(fù)數(shù)據(jù)刪除機(jī)制的研究[D];南京郵電大學(xué);2016年

10 曲新奎;云存儲(chǔ)中數(shù)據(jù)編碼優(yōu)化和重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];東北大學(xué);2013年

，

本文編號(hào)：2531171