本文選題：分數階Fourier變換 + 云存儲　； 參考：《計算機科學》2015年07期

【摘要】：云存儲系統(tǒng)的重復數據作為大量冗余數據的一種,對其有效及時地刪除能保證云存儲系統(tǒng)的穩(wěn)定與運行。由于云存儲系統(tǒng)中的干擾數據較多,信噪比較低,傳統(tǒng)的重刪算法會在分數階Fourier域出現偽峰峰值,不能有效地對重復數據進行檢測濾波和刪除處理,因此提出一種改進的基于分數階Fourier變換累積量檢測的云存儲系統(tǒng)重復數據刪除算法。首先分析云存儲系統(tǒng)重復數據刪除機制體系架構,定義數據存儲點的適應度函數,得到云存儲節(jié)點的系統(tǒng)子集隨機概率分布;采用經驗約束函數對存儲節(jié)點中的校驗數據塊分存,通過分數階Fourier變換對云存儲系統(tǒng)中的幅度調制分量進行殘差信號濾波預處理。采用4階累積量切片后置算子,把每個文件分為若干個塊,針對每個文件塊進行重刪,進行重復數據檢測后置濾波處理,實現存儲資源上的重復數據檢測及其刪除。仿真實驗表明,該算法能提高集群云存儲系統(tǒng)計算資源的利用率,重復數據準確刪除率較高,有效避免了數據信息流的干擾特征造成的誤刪和漏刪,性能優(yōu)越。
[Abstract]:The repeated data of cloud storage system is one of the redundant data which can be deleted effectively and timely to ensure the stability and operation of cloud storage system. Because there are more interference data and lower signal-to-noise ratio in cloud storage system, the traditional redelete algorithm will appear pseudo peak value in fractional Fourier domain, which can not effectively detect, filter and delete repetitive data. Therefore, an improved algorithm based on fractional Fourier transform cumulant detection for repeated data deletion in cloud storage systems is proposed. Firstly, the structure of repeated data deletion mechanism in cloud storage system is analyzed, the fitness function of data storage point is defined, and the random probability distribution of system subset of cloud storage node is obtained. The empirical constraint function is used to separate the check data block in the storage node and the amplitude modulation component in the cloud storage system is preprocessed by fractional Fourier transform. The fourth order cumulant slice post-operator is used to divide each file into several blocks. The repeated data detection and postfilter processing are carried out for each file block to realize the repeated data detection and deletion on the storage resources. The simulation results show that the algorithm can improve the utilization of computing resources in cluster cloud storage system, and the accurate deletion rate of repeated data is higher. The algorithm can effectively avoid the error deletion and omission caused by the interference characteristics of data information flow, and the performance of the algorithm is superior.
【作者單位】： 廣西科技大學計算機科學與通信工程學院;武漢理工大學信息工程學院;
【基金】：廣西自然科學基金青年基金項目(2013GXNSFBA019268) 廣西科技大學自然科學基金項目(校科自1261126) 廣西特色專業(yè)建設項目(GXTSZY217) 廣西教育廳一般項目(YB2014208) 廣西教育廳立項項目(LX2014182)資助
【分類號】：TP333

【參考文獻】

相關期刊論文 前6條

1 付印金;肖儂;劉芳;;重復數據刪除關鍵技術研究進展[J];計算機研究與發(fā)展;2012年01期

2 李淵;;智能PID控制器優(yōu)化仿真研究[J];計算機仿真;2012年12期

3 謝平;;存儲系統(tǒng)重復數據刪除技術研究綜述[J];計算機科學;2014年01期

4 敖莉;舒繼武;李明強;;重復數據刪除技術[J];軟件學報;2010年05期

5 蔣海波;王曉京;范明鈺;肖宜龍;袁琦釗;;基于水平糾刪碼的云存儲數據布局方法[J];四川大學學報(工程科學版);2013年02期

6 譚鵬許;陳越;蘭巨龍;賈洪勇;;用于云存儲的安全容錯編碼[J];通信學報;2014年03期

【共引文獻】

相關期刊論文 前10條

1 鄧亮;胡曉勤;梁剛;;基于重復數據刪除技術的SQL Server數據庫備份系統(tǒng)[J];計算機安全;2011年07期

2 吳曉勇;李慧娜;;基于文件類型的遠程文件備份系統(tǒng)[J];計算機安全;2012年03期

3 吳曉勇;李慧娜;;基于Internet的共享式災備中心[J];計算機安全;2012年05期

4 張清松;梁智強;;基于硬盤的主機防客體重用性能的檢測方法[J];廣東電力;2012年07期

5 李向前;;一種基于重復數據刪除的Oracle數據庫備份系統(tǒng)[J];電腦知識與技術;2013年01期

6 謝垂益;鐘紅君;;Rabin指紋算法在重復數據檢測中的應用研究[J];電腦知識與技術;2013年21期

7 王燦;秦志光;楊磊;楊皓;;基于改進Sparse Indexing的多負載消冗方法[J];電子科技大學學報;2013年05期

8 張志杰;何利力;;煙草工業(yè)數據災備中重復數據刪除技術研究[J];工業(yè)控制計算機;2013年12期

9 趙鐵華;高貴芝;王瑩;;基于物聯(lián)網的風電自動預測系統(tǒng)[J];儀器儀表用戶;2013年06期

10 林曉君;;信息系統(tǒng)數據自動備份技術研究[J];電腦知識與技術;2014年08期

相關會議論文 前4條

1 彭成;王樹鵬;賈志凱;;基于糾刪碼的數據消冗存儲系統(tǒng)可靠性增強研究[A];2010年第16屆全國信息存儲技術大會（IST2010）論文集[C];2010年

2 吳朋朋;黃瑋;楊璐皓;;移動終端通訊錄數據同步去重算法[A];2013年中國信息通信研究新進展論文集[C];2014年

3 胡寧玉;杜秀麗;劉焱;盧剛;王運明;;基于快速消冗方法的增量備份策略研究[A];2014第二屆中國指揮控制大會論文集（上）[C];2014年

4 吳朋朋;黃瑋;楊璐皓;;移動終端通訊錄數據同步去重算法[A];2013年中國信息通信研究新進展論文集[C];2014年

相關博士學位論文 前10條

1 譚玉娟;數據備份系統(tǒng)中數據去重技術研究[D];華中科技大學;2012年

2 王燦;基于在線重復數據消除的海量數據處理關鍵技術研究[D];電子科技大學;2012年

3 魏建生;高性能重復數據檢測與刪除技術研究[D];華中科技大學;2012年

4 蔣海波;海量數據存儲系統(tǒng)的高可靠性關鍵技術研究與應用[D];電子科技大學;2013年

5 秦智超;無線傳感器網絡中節(jié)能關鍵技術的研究[D];北京郵電大學;2013年

6 王軍平;基于物聯(lián)網的服務提交關鍵技術與系統(tǒng)的研究[D];北京郵電大學;2013年

7 鐘祥喜;基于競爭力培育的物聯(lián)網產業(yè)發(fā)展研究[D];南昌大學;2013年

8 楊浩;面向不確定環(huán)境的物聯(lián)網壓縮感知問題研究[D];中國科學技術大學;2013年

9 金彥齡;基于生物智能的物聯(lián)網協(xié)同自治機理研究[D];東華大學;2013年

10 熊大紅;基于本體的農業(yè)物聯(lián)網信息智能管理機制研究[D];湖南農業(yè)大學;2013年

相關碩士學位論文 前10條

1 丁躍進;網關型病毒防火墻的設計與實現[D];電子科技大學;2011年

2 胡盼盼;在線重復數據刪除技術的研究與實現[D];華中科技大學;2011年

3 曾濤;重復數據刪除技術的研究與實現[D];華中科技大學;2011年

4 張鵬;在線備份系統(tǒng)中存儲服務器的研究與實現[D];華中科技大學;2011年

5 周國惠;支持重復數據刪除的網絡備份系統(tǒng)中存儲服務器的設計與實現[D];華中科技大學;2011年

6 張航;文件同步服務中數據同步傳輸消重策略研究[D];國防科學技術大學;2011年

7 武銓;廣域網數據冗余消除TCP透明代理的設計與實現[D];南京郵電大學;2012年

8 郭永安;網絡協(xié)議棧下TCP隊列管理研究[D];南京郵電大學;2012年

9 毛允亭;廣域網數據壓縮算法的研究與實現[D];南京郵電大學;2012年

10 肖紅鳳;基于數據中心的數據訪問服務模型研究[D];東北石油大學;2012年

【二級參考文獻】

相關期刊論文 前10條

1 李廣軍;張晶;曾安平;;基于改進RBF神經網絡的PID整定[J];長春大學學報;2008年06期

2 付印金;肖儂;劉芳;;重復數據刪除關鍵技術研究進展[J];計算機研究與發(fā)展;2012年01期

3 ;A CASCADING LATIN SCHEME TO TOLERATE DOUBLE DISK FAILURES IN RAID ARCHITECTURES[J];Journal of Electronics(China);2010年02期

4 宋道金;;單神經元自適應PID控制器的性能優(yōu)化設計[J];計算機工程與應用;2007年12期

5 董歡慶;李戰(zhàn)懷;林偉;;RAID-VCR:一種能夠承受三個磁盤故障的RAID結構[J];計算機學報;2006年05期

6 萬武南;吳震;陳運;王曉京;;一種基于3容錯陣列碼的RAID數據布局[J];計算機學報;2007年10期

7 應明峰;鞠全勇;高峰;;基于粒子群優(yōu)化的PID控制器設計與應用[J];計算機仿真;2011年11期

8 吳宏鑫,沈少萍;PID控制的應用與理論依據[J];控制工程;2003年01期

9 敖莉;舒繼武;李明強;;重復數據刪除技術[J];軟件學報;2010年05期

10 郭慶鼎,李蒙,郭威;PID控制器參數的遺傳算法優(yōu)化設計[J];沈陽工業(yè)大學學報;2000年01期

【相似文獻】

相關期刊論文 前10條

1 盧敏;;點亮“重復數據刪除”[J];軟件世界;2008年06期

2 拜路;;重復數據刪除技術分析及其對存儲系統(tǒng)性能的影響[J];電腦編程技巧與維護;2012年06期

3 為民;;分析:采用重復數據刪除技術十項注意[J];網絡與信息;2012年03期

4 宋雨;易璐;王鳳霞;;基于云存儲的重復數據刪除架構的研究與設計[J];計算機系統(tǒng)應用;2013年01期

5 段夢博;蔡興旺;;基于內容的重復數據刪除技術的研究[J];電腦知識與技術;2010年22期

6 黃志良;;新型硬盤用于重復數據刪除技術[J];湛江師范學院學報;2012年03期

7 李超;王樹鵬;云曉春;周曉陽;陳明;;一種基于流水線的重復數據刪除系統(tǒng)讀性能優(yōu)化方法[J];計算機研究與發(fā)展;2013年01期

8 王龍翔;張興軍;朱國峰;朱躍光;董小社;;重復數據刪除中的無向圖遍歷分組預測方法[J];西安交通大學學報;2013年10期

9 閻芳;譚毓安;孫志卓;劉靖宇;;重復數據刪除系統(tǒng)元數據存儲布局研究[J];北京理工大學學報;2014年05期

10 付印金;肖儂;劉芳;鮑先強;;基于重復數據刪除的虛擬桌面存儲優(yōu)化技術[J];計算機研究與發(fā)展;2012年S1期

相關會議論文 前3條

1 賈志凱;王樹鵬;陳光達;彭成;;一種并行層次化的重復數據刪除技術[A];2010年第16屆全國信息存儲技術大會（IST2010）論文集[C];2010年

2 楊廷梧;;基于重復數據刪除的靶場試驗信息存儲技術[A];2009年西部光子學學術會議論文摘要集[C];2009年

3 肖鈞;黃亮;;虛擬化搭配去重,雙劍合璧更給力[A];2011年CAD/CAM學術交流會議論文集[C];2011年

相關重要報紙文章 前10條

1 中國傳媒大學計算機學院 朱立谷;重復數據刪除：改寫存儲行業(yè)經濟規(guī)則？[N];中國計算機報;2007年

2 張群英;重復數據刪除技術異軍突起[N];網絡世界;2006年

3 郭濤;重復數據刪除技術同樣適用于主存儲[N];中國計算機報;2008年

4 本報記者 郭平;重復數據刪除進入主存儲[N];計算機世界;2009年

5 ;如何購買重復數據刪除產品？[N];網絡世界;2009年

6 本報記者 郭平;惠普創(chuàng)新重復數據刪除2.0[N];計算機世界;2012年

7 楊洋;指紋算法推動重復數據刪除發(fā)展[N];網絡世界;2009年

8 ;重復數據刪除技術可降低存儲成本[N];人民郵電;2009年

9 北京威視數據系統(tǒng)有限公司解決方案中心技術總監(jiān) 潘增;重復數據刪除技術的四大優(yōu)勢[N];中國計算機報;2007年

10 SEPATON技術支持中心 楊濤;SEPATON:重復數據刪除五步走[N];中國計算機報;2007年

相關博士學位論文 前5條

1 王國華;高效重復數據刪除技術研究[D];華南理工大學;2014年

2 付印金;面向云環(huán)境的重復數據刪除關鍵技術研究[D];國防科學技術大學;2013年

3 周正達;信息存儲系統(tǒng)中重復數據刪除技術的研究[D];華中科技大學;2012年

4 朱銳;重復數據刪除技術中的并行性能優(yōu)化算法研究[D];華中科技大學;2013年

5 葉鵬迪;云存儲系統(tǒng)資源管理關鍵技術研究[D];北京郵電大學;2014年

相關碩士學位論文 前10條

1 沈瑞清;云存儲中避免重復數據存儲機制研究[D];云南大學;2013年

2 石俊杰;基于云存儲的重復數據刪除文件系統(tǒng)設計與實現[D];華中科技大學;2013年

3 胡盼盼;在線重復數據刪除技術的研究與實現[D];華中科技大學;2011年

4 曾濤;重復數據刪除技術的研究與實現[D];華中科技大學;2011年

5 王興;重復數據刪除系統(tǒng)的性能優(yōu)化研究[D];華中科技大學;2013年

6 戈星晨;面向移動終端的數據去重研究[D];山東大學;2014年

7 易璐;重復數據刪除技術在基于云存儲的智能電網中的應用研究[D];華北電力大學;2013年

8 張甲燃;重復數據刪除技術研究[D];山東大學;2013年

9 曾杰南;基于文件訪問模式的重復數據刪除方法研究[D];華中科技大學;2013年

10 韓帥軍;面向歸檔存儲的重復數據刪除優(yōu)化方法研究[D];華中科技大學;2013年

，

本文編號：2090584