【摘要】：提出一種基于分布式數(shù)據(jù)庫與分布式文件系統(tǒng)相結(jié)合的海量圖片文件存儲去重技術(shù)。該技術(shù)通過提取圖片文件二進(jìn)制流的特征段計(jì)算文件MD5碼簽名,依據(jù)簽名對圖片文件進(jìn)行存儲去重。結(jié)合實(shí)驗(yàn)數(shù)據(jù)分析驗(yàn)證該技術(shù)不僅能夠準(zhǔn)確地去重圖片,有較高的刪除率,且經(jīng)對比得到該技術(shù)在計(jì)算簽名時(shí)間、上傳速度等方面均優(yōu)于文件級去重和塊級去重技術(shù),是對海量圖片數(shù)據(jù)存儲的一種優(yōu)化。同時(shí)針對該技術(shù)的不足提出了改進(jìn)方案。
[Abstract]:Based on distributed database and distributed file system, a mass image file storage and reduplication technology is proposed. In this technique, the signature of MD5 code is calculated by extracting the feature segment of binary stream of image file, and the image file is stored and reduplicated according to the signature. Combined with experimental data analysis, it is proved that this technique not only can remove images accurately and has high deletion rate, but also is superior to file level and block level in computing signature time, upload speed and so on. Is a kind of optimization to the massive picture data storage. At the same time, the improvement scheme is put forward in view of the shortage of the technology.
【作者單位】： 杭州電子科技大學(xué)計(jì)算機(jī)學(xué)院圖形圖像研究所;
【基金】：國家自然科學(xué)基金項(xiàng)目(61272391)
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 陳志剛,李登,曾志文;分布式系統(tǒng)中一種動態(tài)負(fù)載均衡策略、相關(guān)模型及算法研究[J];小型微型計(jì)算機(jī)系統(tǒng);2002年12期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊鵬;李幼平;;二元互補(bǔ)未來互聯(lián)網(wǎng)體系結(jié)構(gòu)[J];復(fù)雜系統(tǒng)與復(fù)雜性科學(xué);2014年01期

2 劉宇;李丹實(shí);石祥濱;;人口信息系統(tǒng)中動態(tài)負(fù)載均衡算法的研究[J];沈陽航空工業(yè)學(xué)院學(xué)報(bào);2007年02期

3 梁根;郭小雪;秦勇;魏文紅;;多邏輯鏈路中反饋信息共享令牌流量調(diào)度算法[J];計(jì)算機(jī)工程與應(yīng)用;2009年03期

4 陳志剛,許偉,曾志文;一種基于預(yù)測的動態(tài)負(fù)載均衡模型及算法研究[J];計(jì)算機(jī)工程;2004年23期

5 孟令奎;張文;;分布式空間數(shù)據(jù)庫的動態(tài)負(fù)載平衡算法[J];計(jì)算機(jī)工程;2008年11期

6 梁根;郭小雪;秦勇;魏文紅;;多邏輯鏈路間共享令牌調(diào)度流量負(fù)載模型[J];計(jì)算機(jī)工程;2009年11期

7 溫少君;陳俊杰;郭濤;;一種云平臺中優(yōu)化的虛擬機(jī)部署機(jī)制[J];計(jì)算機(jī)工程;2012年11期

8 周克江;基于分布式多媒體的最佳實(shí)時(shí)綜合負(fù)載平衡算法及相關(guān)模型研究[J];計(jì)算技術(shù)與自動化;2004年04期

9 謝菲;;面向多媒體系統(tǒng)的負(fù)載均衡策略研究[J];計(jì)算機(jī)工程與科學(xué);2009年S1期

10 張文昌;夏學(xué)知;;基于剩余計(jì)算能力的動態(tài)負(fù)載均衡系統(tǒng)[J];計(jì)算機(jī)與數(shù)字工程;2010年09期

相關(guān)博士學(xué)位論文 前4條

1 曾碧卿;分布式計(jì)算中并行I/O調(diào)度策略研究[D];中南大學(xué);2005年

2 柳偉;自治資源聚合中信譽(yù)機(jī)制的評價(jià)方法研究[D];國防科學(xué)技術(shù)大學(xué);2012年

3 鄭重;面向動態(tài)網(wǎng)絡(luò)環(huán)境的高魯棒性數(shù)據(jù)分發(fā)技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

4 汪漪;內(nèi)容中心網(wǎng)絡(luò)路由查找關(guān)鍵技術(shù)研究[D];清華大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 秦曉晨;基于動態(tài)負(fù)載均衡技術(shù)的培訓(xùn)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2010年

2 劉漢邦;一種基于反饋機(jī)制的負(fù)載均衡改進(jìn)算法研究[D];青島理工大學(xué);2010年

3 李登;分布式系統(tǒng)負(fù)載均衡策略研究[D];中南大學(xué);2002年

4 姜紅梅;分布環(huán)境下試驗(yàn)與測試任務(wù)的協(xié)同綜合技術(shù)研究[D];西北工業(yè)大學(xué);2004年

5 夏曉東;基于Web和CORBA的工作流系統(tǒng)的研究[D];華北電力大學(xué)（河北）;2004年

6 許偉;分布式系統(tǒng)中的主機(jī)負(fù)載預(yù)測與動態(tài)負(fù)載均衡研究[D];中南大學(xué);2004年

7 姚莉;協(xié)作學(xué)習(xí)系統(tǒng)的分析與實(shí)現(xiàn)[D];東南大學(xué);2004年

8 曾望年;增值業(yè)務(wù)計(jì)費(fèi)系統(tǒng)負(fù)載均衡算法研究[D];華中科技大學(xué);2004年

9 吳家祺;WEB服務(wù)器集群系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];南京航空航天大學(xué);2005年

10 吳雷;計(jì)費(fèi)系統(tǒng)服務(wù)器負(fù)載均衡算法研究[D];哈爾濱工程大學(xué);2005年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 傅強(qiáng),鄭緯民;一種適用于機(jī)群系統(tǒng)的任務(wù)動態(tài)調(diào)度方法[J];軟件學(xué)報(bào);1999年01期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳志賢,王紹棣;SIP協(xié)議中認(rèn)證注冊機(jī)制的研究[J];南京郵電學(xué)院學(xué)報(bào);2003年03期

2 李杰,張學(xué)旺;MD5報(bào)文摘要算法與文件系統(tǒng)完整性保護(hù)[J];湘潭大學(xué)自然科學(xué)學(xué)報(bào);2003年03期

3 張學(xué)旺,唐賢倫;MD5算法及其在文件系統(tǒng)完整性保護(hù)中的應(yīng)用[J];計(jì)算機(jī)應(yīng)用;2003年S2期

4 崔國華,余文杰;一種快速的鍵控散列算法[J];計(jì)算機(jī)與數(shù)字工程;2004年01期

5 王建勇,謝正茂,雷鳴,李曉明;近似鏡像網(wǎng)頁檢測算法的研究與評價(jià)[J];電子學(xué)報(bào);2000年S1期

6 付強(qiáng),帥青紅;PGP軟件系統(tǒng)[J];西南民族學(xué)院學(xué)報(bào)(自然科學(xué)版);2001年04期

7 易紅軍;佘名高;;MD5算法與數(shù)字簽名[J];計(jì)算機(jī)與數(shù)字工程;2006年05期

8 陳瑋;;MD5加密原理及安全性分析[J];電腦知識與技術(shù)(學(xué)術(shù)交流);2007年19期

9 陳善利;姚瀅;;網(wǎng)頁防篡改系統(tǒng)的研究與設(shè)計(jì)方案[J];科技信息;2010年09期

10 闞義;高等學(xué)校管理信息系統(tǒng)的分析、設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與設(shè)計(jì);1994年02期

相關(guān)會議論文 前10條

1 杜方;劉利萍;蒙應(yīng)杰;趙書城;;基于分布式數(shù)據(jù)庫的物流系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[A];第十八屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報(bào)告篇）[C];2001年

2 杜會林;袁小京;;分布式數(shù)據(jù)庫在油田中的應(yīng)用[A];第十屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集[C];1992年

3 習(xí)新魁;張斌;鄭懷遠(yuǎn);;基于客戶/服務(wù)器模型的分布式數(shù)據(jù)庫中復(fù)制字典系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];數(shù)據(jù)庫研究與進(jìn)展95——第十三屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集[C];1995年

4 蘆禮祥;高俊;何守才;;分布式數(shù)據(jù)庫中死鎖檢測[A];第十屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集[C];1992年

5 許智君;葉新銘;張s，

本文編號：2377348