本文選題：分?jǐn)?shù)階Fourier變換 + 云存儲　； 參考：《計(jì)算機(jī)科學(xué)》2015年07期

【摘要】：云存儲系統(tǒng)的重復(fù)數(shù)據(jù)作為大量冗余數(shù)據(jù)的一種,對其有效及時(shí)地刪除能保證云存儲系統(tǒng)的穩(wěn)定與運(yùn)行。由于云存儲系統(tǒng)中的干擾數(shù)據(jù)較多,信噪比較低,傳統(tǒng)的重刪算法會在分?jǐn)?shù)階Fourier域出現(xiàn)偽峰峰值,不能有效地對重復(fù)數(shù)據(jù)進(jìn)行檢測濾波和刪除處理,因此提出一種改進(jìn)的基于分?jǐn)?shù)階Fourier變換累積量檢測的云存儲系統(tǒng)重復(fù)數(shù)據(jù)刪除算法。首先分析云存儲系統(tǒng)重復(fù)數(shù)據(jù)刪除機(jī)制體系架構(gòu),定義數(shù)據(jù)存儲點(diǎn)的適應(yīng)度函數(shù),得到云存儲節(jié)點(diǎn)的系統(tǒng)子集隨機(jī)概率分布;采用經(jīng)驗(yàn)約束函數(shù)對存儲節(jié)點(diǎn)中的校驗(yàn)數(shù)據(jù)塊分存,通過分?jǐn)?shù)階Fourier變換對云存儲系統(tǒng)中的幅度調(diào)制分量進(jìn)行殘差信號濾波預(yù)處理。采用4階累積量切片后置算子,把每個(gè)文件分為若干個(gè)塊,針對每個(gè)文件塊進(jìn)行重刪,進(jìn)行重復(fù)數(shù)據(jù)檢測后置濾波處理,實(shí)現(xiàn)存儲資源上的重復(fù)數(shù)據(jù)檢測及其刪除。仿真實(shí)驗(yàn)表明,該算法能提高集群云存儲系統(tǒng)計(jì)算資源的利用率,重復(fù)數(shù)據(jù)準(zhǔn)確刪除率較高,有效避免了數(shù)據(jù)信息流的干擾特征造成的誤刪和漏刪,性能優(yōu)越。
[Abstract]:The repeated data of cloud storage system is one of the redundant data which can be deleted effectively and timely to ensure the stability and operation of cloud storage system. Because there are more interference data and lower signal-to-noise ratio in cloud storage system, the traditional redelete algorithm will appear pseudo peak value in fractional Fourier domain, which can not effectively detect, filter and delete repetitive data. Therefore, an improved algorithm based on fractional Fourier transform cumulant detection for repeated data deletion in cloud storage systems is proposed. Firstly, the structure of repeated data deletion mechanism in cloud storage system is analyzed, the fitness function of data storage point is defined, and the random probability distribution of system subset of cloud storage node is obtained. The empirical constraint function is used to separate the check data block in the storage node and the amplitude modulation component in the cloud storage system is preprocessed by fractional Fourier transform. The fourth order cumulant slice post-operator is used to divide each file into several blocks. The repeated data detection and postfilter processing are carried out for each file block to realize the repeated data detection and deletion on the storage resources. The simulation results show that the algorithm can improve the utilization of computing resources in cluster cloud storage system, and the accurate deletion rate of repeated data is higher. The algorithm can effectively avoid the error deletion and omission caused by the interference characteristics of data information flow, and the performance of the algorithm is superior.
【作者單位】： 廣西科技大學(xué)計(jì)算機(jī)科學(xué)與通信工程學(xué)院;武漢理工大學(xué)信息工程學(xué)院;
【基金】：廣西自然科學(xué)基金青年基金項(xiàng)目(2013GXNSFBA019268) 廣西科技大學(xué)自然科學(xué)基金項(xiàng)目(�？谱�1261126) 廣西特色專業(yè)建設(shè)項(xiàng)目(GXTSZY217) 廣西教育廳一般項(xiàng)目(YB2014208) 廣西教育廳立項(xiàng)項(xiàng)目(LX2014182)資助
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前6條

1 付印金;肖儂;劉芳;;重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究進(jìn)展[J];計(jì)算機(jī)研究與發(fā)展;2012年01期

2 李淵;;智能PID控制器優(yōu)化仿真研究[J];計(jì)算機(jī)仿真;2012年12期

3 謝平;;存儲系統(tǒng)重復(fù)數(shù)據(jù)刪除技術(shù)研究綜述[J];計(jì)算機(jī)科學(xué);2014年01期

4 敖莉;舒繼武;李明強(qiáng);;重復(fù)數(shù)據(jù)刪除技術(shù)[J];軟件學(xué)報(bào);2010年05期

5 蔣海波;王曉京;范明鈺;肖宜龍;袁琦釗;;基于水平糾刪碼的云存儲數(shù)據(jù)布局方法[J];四川大學(xué)學(xué)報(bào)(工程科學(xué)版);2013年02期

6 譚鵬許;陳越;蘭巨龍;賈洪勇;;用于云存儲的安全容錯(cuò)編碼[J];通信學(xué)報(bào);2014年03期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鄧亮;胡曉勤;梁剛;;基于重復(fù)數(shù)據(jù)刪除技術(shù)的SQL Server數(shù)據(jù)庫備份系統(tǒng)[J];計(jì)算機(jī)安全;2011年07期

2 吳曉勇;李慧娜;;基于文件類型的遠(yuǎn)程文件備份系統(tǒng)[J];計(jì)算機(jī)安全;2012年03期

3 吳曉勇;李慧娜;;基于Internet的共享式災(zāi)備中心[J];計(jì)算機(jī)安全;2012年05期

4 張清松;梁智強(qiáng);;基于硬盤的主機(jī)防客體重用性能的檢測方法[J];廣東電力;2012年07期

5 李向前;;一種基于重復(fù)數(shù)據(jù)刪除的Oracle數(shù)據(jù)庫備份系統(tǒng)[J];電腦知識與技術(shù);2013年01期

6 謝垂益;鐘紅君;;Rabin指紋算法在重復(fù)數(shù)據(jù)檢測中的應(yīng)用研究[J];電腦知識與技術(shù);2013年21期

7 王燦;秦志光;楊磊;楊皓;;基于改進(jìn)Sparse Indexing的多負(fù)載消冗方法[J];電子科技大學(xué)學(xué)報(bào);2013年05期

8 張志杰;何利力;;煙草工業(yè)數(shù)據(jù)災(zāi)備中重復(fù)數(shù)據(jù)刪除技術(shù)研究[J];工業(yè)控制計(jì)算機(jī);2013年12期

9 趙鐵華;高貴芝;王瑩;;基于物聯(lián)網(wǎng)的風(fēng)電自動預(yù)測系統(tǒng)[J];儀器儀表用戶;2013年06期

10 林曉君;;信息系統(tǒng)數(shù)據(jù)自動備份技術(shù)研究[J];電腦知識與技術(shù);2014年08期

相關(guān)會議論文 前4條

1 彭成;王樹鵬;賈志凱;;基于糾刪碼的數(shù)據(jù)消冗存儲系統(tǒng)可靠性增強(qiáng)研究[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

2 吳朋朋;黃瑋;楊璐皓;;移動終端通訊錄數(shù)據(jù)同步去重算法[A];2013年中國信息通信研究新進(jìn)展論文集[C];2014年

3 胡寧玉;杜秀麗;劉焱;盧剛;王運(yùn)明;;基于快速消冗方法的增量備份策略研究[A];2014第二屆中國指揮控制大會論文集（上）[C];2014年

4 吳朋朋;黃瑋;楊璐皓;;移動終端通訊錄數(shù)據(jù)同步去重算法[A];2013年中國信息通信研究新進(jìn)展論文集[C];2014年

相關(guān)博士學(xué)位論文 前10條

1 譚玉娟;數(shù)據(jù)備份系統(tǒng)中數(shù)據(jù)去重技術(shù)研究[D];華中科技大學(xué);2012年

2 王燦;基于在線重復(fù)數(shù)據(jù)消除的海量數(shù)據(jù)處理關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2012年

3 魏建生;高性能重復(fù)數(shù)據(jù)檢測與刪除技術(shù)研究[D];華中科技大學(xué);2012年

4 蔣海波;海量數(shù)據(jù)存儲系統(tǒng)的高可靠性關(guān)鍵技術(shù)研究與應(yīng)用[D];電子科技大學(xué);2013年

5 秦智超;無線傳感器網(wǎng)絡(luò)中節(jié)能關(guān)鍵技術(shù)的研究[D];北京郵電大學(xué);2013年

6 王軍平;基于物聯(lián)網(wǎng)的服務(wù)提交關(guān)鍵技術(shù)與系統(tǒng)的研究[D];北京郵電大學(xué);2013年

7 鐘祥喜;基于競爭力培育的物聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展研究[D];南昌大學(xué);2013年

8 楊浩;面向不確定環(huán)境的物聯(lián)網(wǎng)壓縮感知問題研究[D];中國科學(xué)技術(shù)大學(xué);2013年

9 金彥齡;基于生物智能的物聯(lián)網(wǎng)協(xié)同自治機(jī)理研究[D];東華大學(xué);2013年

10 熊大紅;基于本體的農(nóng)業(yè)物聯(lián)網(wǎng)信息智能管理機(jī)制研究[D];湖南農(nóng)業(yè)大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 丁躍進(jìn);網(wǎng)關(guān)型病毒防火墻的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

2 胡盼盼;在線重復(fù)數(shù)據(jù)刪除技術(shù)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

3 曾濤;重復(fù)數(shù)據(jù)刪除技術(shù)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

4 張鵬;在線備份系統(tǒng)中存儲服務(wù)器的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

5 周國惠;支持重復(fù)數(shù)據(jù)刪除的網(wǎng)絡(luò)備份系統(tǒng)中存儲服務(wù)器的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

6 張航;文件同步服務(wù)中數(shù)據(jù)同步傳輸消重策略研究[D];國防科學(xué)技術(shù)大學(xué);2011年

7 武銓;廣域網(wǎng)數(shù)據(jù)冗余消除TCP透明代理的設(shè)計(jì)與實(shí)現(xiàn)[D];南京郵電大學(xué);2012年

8 郭永安;網(wǎng)絡(luò)協(xié)議棧下TCP隊(duì)列管理研究[D];南京郵電大學(xué);2012年

9 毛允亭;廣域網(wǎng)數(shù)據(jù)壓縮算法的研究與實(shí)現(xiàn)[D];南京郵電大學(xué);2012年

10 肖紅鳳;基于數(shù)據(jù)中心的數(shù)據(jù)訪問服務(wù)模型研究[D];東北石油大學(xué);2012年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李廣軍;張晶;曾安平;;基于改進(jìn)RBF神經(jīng)網(wǎng)絡(luò)的PID整定[J];長春大學(xué)學(xué)報(bào);2008年06期

2 付印金;肖儂;劉芳;;重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究進(jìn)展[J];計(jì)算機(jī)研究與發(fā)展;2012年01期

3 ;A CASCADING LATIN SCHEME TO TOLERATE DOUBLE DISK FAILURES IN RAID ARCHITECTURES[J];Journal of Electronics(China);2010年02期

4 宋道金;;單神經(jīng)元自適應(yīng)PID控制器的性能優(yōu)化設(shè)計(jì)[J];計(jì)算機(jī)工程與應(yīng)用;2007年12期

5 董歡慶;李戰(zhàn)懷;林偉;;RAID-VCR:一種能夠承受三個(gè)磁盤故障的RAID結(jié)構(gòu)[J];計(jì)算機(jī)學(xué)報(bào);2006年05期

6 萬武南;吳震;陳運(yùn);王曉京;;一種基于3容錯(cuò)陣列碼的RAID數(shù)據(jù)布局[J];計(jì)算機(jī)學(xué)報(bào);2007年10期

7 應(yīng)明峰;鞠全勇;高峰;;基于粒子群優(yōu)化的PID控制器設(shè)計(jì)與應(yīng)用[J];計(jì)算機(jī)仿真;2011年11期

8 吳宏鑫,沈少萍;PID控制的應(yīng)用與理論依據(jù)[J];控制工程;2003年01期

9 敖莉;舒繼武;李明強(qiáng);;重復(fù)數(shù)據(jù)刪除技術(shù)[J];軟件學(xué)報(bào);2010年05期

10 郭慶鼎,李蒙,郭威;PID控制器參數(shù)的遺傳算法優(yōu)化設(shè)計(jì)[J];沈陽工業(yè)大學(xué)學(xué)報(bào);2000年01期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 盧敏;;點(diǎn)亮“重復(fù)數(shù)據(jù)刪除”[J];軟件世界;2008年06期

2 拜路;;重復(fù)數(shù)據(jù)刪除技術(shù)分析及其對存儲系統(tǒng)性能的影響[J];電腦編程技巧與維護(hù);2012年06期

3 為民;;分析:采用重復(fù)數(shù)據(jù)刪除技術(shù)十項(xiàng)注意[J];網(wǎng)絡(luò)與信息;2012年03期

4 宋雨;易璐;王鳳霞;;基于云存儲的重復(fù)數(shù)據(jù)刪除架構(gòu)的研究與設(shè)計(jì)[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2013年01期

5 段夢博;蔡興旺;;基于內(nèi)容的重復(fù)數(shù)據(jù)刪除技術(shù)的研究[J];電腦知識與技術(shù);2010年22期

6 黃志良;;新型硬盤用于重復(fù)數(shù)據(jù)刪除技術(shù)[J];湛江師范學(xué)院學(xué)報(bào);2012年03期

7 李超;王樹鵬;云曉春;周曉陽;陳明;;一種基于流水線的重復(fù)數(shù)據(jù)刪除系統(tǒng)讀性能優(yōu)化方法[J];計(jì)算機(jī)研究與發(fā)展;2013年01期

8 王龍翔;張興軍;朱國峰;朱躍光;董小社;;重復(fù)數(shù)據(jù)刪除中的無向圖遍歷分組預(yù)測方法[J];西安交通大學(xué)學(xué)報(bào);2013年10期

9 閻芳;譚毓安;孫志卓;劉靖宇;;重復(fù)數(shù)據(jù)刪除系統(tǒng)元數(shù)據(jù)存儲布局研究[J];北京理工大學(xué)學(xué)報(bào);2014年05期

10 付印金;肖儂;劉芳;鮑先強(qiáng);;基于重復(fù)數(shù)據(jù)刪除的虛擬桌面存儲優(yōu)化技術(shù)[J];計(jì)算機(jī)研究與發(fā)展;2012年S1期

相關(guān)會議論文 前3條

1 賈志凱;王樹鵬;陳光達(dá);彭成;;一種并行層次化的重復(fù)數(shù)據(jù)刪除技術(shù)[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

2 楊廷梧;;基于重復(fù)數(shù)據(jù)刪除的靶場試驗(yàn)信息存儲技術(shù)[A];2009年西部光子學(xué)學(xué)術(shù)會議論文摘要集[C];2009年

3 肖鈞;黃亮;;虛擬化搭配去重,雙劍合璧更給力[A];2011年CAD/CAM學(xué)術(shù)交流會議論文集[C];2011年

相關(guān)重要報(bào)紙文章 前10條

1 中國傳媒大學(xué)計(jì)算機(jī)學(xué)院 朱立谷;重復(fù)數(shù)據(jù)刪除：改寫存儲行業(yè)經(jīng)濟(jì)規(guī)則？[N];中國計(jì)算機(jī)報(bào);2007年

2 張群英;重復(fù)數(shù)據(jù)刪除技術(shù)異軍突起[N];網(wǎng)絡(luò)世界;2006年

3 郭濤;重復(fù)數(shù)據(jù)刪除技術(shù)同樣適用于主存儲[N];中國計(jì)算機(jī)報(bào);2008年

4 本報(bào)記者 郭平;重復(fù)數(shù)據(jù)刪除進(jìn)入主存儲[N];計(jì)算機(jī)世界;2009年

5 ;如何購買重復(fù)數(shù)據(jù)刪除產(chǎn)品？[N];網(wǎng)絡(luò)世界;2009年

6 本報(bào)記者 郭平;惠普創(chuàng)新重復(fù)數(shù)據(jù)刪除2.0[N];計(jì)算機(jī)世界;2012年

7 楊洋;指紋算法推動重復(fù)數(shù)據(jù)刪除發(fā)展[N];網(wǎng)絡(luò)世界;2009年

8 ;重復(fù)數(shù)據(jù)刪除技術(shù)可降低存儲成本[N];人民郵電;2009年

9 北京威視數(shù)據(jù)系統(tǒng)有限公司解決方案中心技術(shù)總監(jiān) 潘增;重復(fù)數(shù)據(jù)刪除技術(shù)的四大優(yōu)勢[N];中國計(jì)算機(jī)報(bào);2007年

10 SEPATON技術(shù)支持中心 楊濤;SEPATON:重復(fù)數(shù)據(jù)刪除五步走[N];中國計(jì)算機(jī)報(bào);2007年

相關(guān)博士學(xué)位論文 前5條

1 王國華;高效重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];華南理工大學(xué);2014年

2 付印金;面向云環(huán)境的重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2013年

3 周正達(dá);信息存儲系統(tǒng)中重復(fù)數(shù)據(jù)刪除技術(shù)的研究[D];華中科技大學(xué);2012年

4 朱銳;重復(fù)數(shù)據(jù)刪除技術(shù)中的并行性能優(yōu)化算法研究[D];華中科技大學(xué);2013年

5 葉鵬迪;云存儲系統(tǒng)資源管理關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 沈瑞清;云存儲中避免重復(fù)數(shù)據(jù)存儲機(jī)制研究[D];云南大學(xué);2013年

2 石俊杰;基于云存儲的重復(fù)數(shù)據(jù)刪除文件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2013年

3 胡盼盼;在線重復(fù)數(shù)據(jù)刪除技術(shù)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

4 曾濤;重復(fù)數(shù)據(jù)刪除技術(shù)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

5 王興;重復(fù)數(shù)據(jù)刪除系統(tǒng)的性能優(yōu)化研究[D];華中科技大學(xué);2013年

6 戈星晨;面向移動終端的數(shù)據(jù)去重研究[D];山東大學(xué);2014年

7 易璐;重復(fù)數(shù)據(jù)刪除技術(shù)在基于云存儲的智能電網(wǎng)中的應(yīng)用研究[D];華北電力大學(xué);2013年

8 張甲燃;重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];山東大學(xué);2013年

9 曾杰南;基于文件訪問模式的重復(fù)數(shù)據(jù)刪除方法研究[D];華中科技大學(xué);2013年

10 韓帥軍;面向歸檔存儲的重復(fù)數(shù)據(jù)刪除優(yōu)化方法研究[D];華中科技大學(xué);2013年

，

本文編號：2090584