【摘要】：針對(duì)大數(shù)據(jù)下檔案存儲(chǔ)的現(xiàn)狀,通過分析存儲(chǔ)檔案文檔存在重復(fù)的原因,提出一種MongoDB存儲(chǔ)檔案文檔的方法,利用MongoDB的GridFs統(tǒng)一處理不同類型和大小的文件,定義3個(gè)集合分別存儲(chǔ)上傳者記錄、文件信息記錄和分塊文件內(nèi)容,提出存儲(chǔ)中通過文件MD5校驗(yàn)碼值是否相同來進(jìn)行去重研究,并實(shí)現(xiàn)去重的程序代碼,有一定的實(shí)際意義。采用的分布式存儲(chǔ)數(shù)據(jù)庫增強(qiáng)了檔案文檔存儲(chǔ)系統(tǒng)的可擴(kuò)展性。實(shí)驗(yàn)表明,該方法能有效地去除重復(fù)的檔案文檔,提高查詢效率。
[Abstract]:In view of the current situation of archival storage under big data, this paper analyzes the reason why there is duplication in storing archival documents, puts forward a method of storing archival documents by MongoDB, and uses GridFs of MongoDB to deal with files of different types and sizes in a unified way. Three sets are defined to store uploader record, file information record and block file content respectively. It is of certain practical significance to put forward whether the file MD5 check code value is the same or not, and to realize the program code. The distributed storage database enhances the extensibility of the archival document storage system. Experiments show that this method can effectively remove duplicate files and improve query efficiency.
【作者單位】： 四川文理學(xué)院計(jì)算機(jī)學(xué)院;
【基金】：國家檔案局項(xiàng)目:基于大數(shù)據(jù)的檔案數(shù)據(jù)去重模型與方法研究(2014-X-65) 四川省教育廳一般項(xiàng)目:大數(shù)據(jù)環(huán)境下NoSQL數(shù)據(jù)庫應(yīng)用研究(14ZB0313)
【分類號(hào)】：TP311.13;TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前9條

1 陳超;王亮;閆浩文;仇阿根;李玉祥;朱芳菲;;一種基于NoSQL的地圖瓦片數(shù)據(jù)存儲(chǔ)技術(shù)[J];測(cè)繪科學(xué);2013年01期

2 雷德龍;郭殿升;陳崇成;巫建偉;吳小竹;;基于MongoDB的矢量空間數(shù)據(jù)云存儲(chǔ)與處理系統(tǒng)[J];地球信息科學(xué)學(xué)報(bào);2014年04期

3 衛(wèi)啟云;渠偉勇;黃鴻;趙振盛;;城市地理編碼的部門信息共享與應(yīng)用實(shí)踐[J];測(cè)繪通報(bào);2014年10期

4 郭武士;;基于MongoDB GridFS的圖片存儲(chǔ)方案的實(shí)現(xiàn)[J];四川工程職業(yè)技術(shù)學(xué)院學(xué)報(bào);2011年04期

5 孫有軍;張大興;;海量圖片文件存儲(chǔ)去重技術(shù)研究[J];計(jì)算機(jī)應(yīng)用與軟件;2014年04期

6 吳秀君;;面向電子政務(wù)的MongoDB與MySQL混合存儲(chǔ)策略[J];計(jì)算機(jī)與現(xiàn)代化;2014年08期

7 高翔;李兵;;中文短文本去重方法研究[J];計(jì)算機(jī)工程與應(yīng)用;2014年16期

8 楊祥清;;存儲(chǔ)系統(tǒng)數(shù)據(jù)去重策略研究[J];信息通信;2014年08期

9 成功;李小正;趙全軍;;一種網(wǎng)絡(luò)爬蟲系統(tǒng)中URL去重方法的研究[J];中國新技術(shù)新產(chǎn)品;2014年12期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 周強(qiáng);宋志峰;劉易鑫;孫笑玉;胡中南;;一種適用于多移動(dòng)終端的地圖瓦片格式的研究與應(yīng)用[J];測(cè)繪與空間地理信息;2013年S1期

2 徐永龍;李斌;徐明霞;趙立超;;一種數(shù)字地圖切片算法的實(shí)現(xiàn)[J];測(cè)繪科學(xué);2014年02期

3 李朝奎;楊武;殷智慧;張強(qiáng);;MongoDB的遙感影像分布式存儲(chǔ)策略研究[J];測(cè)繪通報(bào);2014年05期

4 李玲;秦志偉;王崇倡;劉正綱;;基于WMTS標(biāo)準(zhǔn)的2.5維電子地圖的構(gòu)建[J];測(cè)繪與空間地理信息;2014年05期

5 胡小春;李陶深;王樂;陳燕;陳寧江;;基于NoSQL的大數(shù)據(jù)應(yīng)用設(shè)計(jì)與性能保障方案研究[J];廣西大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年03期

6 邱儒瓊;鄭麗娜;李兵;;基于MongoDB的電子地圖瓦片數(shù)據(jù)存儲(chǔ)和服務(wù)研究[J];地理空間信息;2014年06期

7 普星;;基于NoSQL數(shù)據(jù)庫的大數(shù)據(jù)存儲(chǔ)安全技術(shù)的研究與應(yīng)用探究[J];電腦知識(shí)與技術(shù);2014年35期

8 黃夢(mèng)龍;;基于MongoDB的城市三維模型數(shù)據(jù)建庫技術(shù)探討[J];地理空間信息;2015年01期

9 劉思堯;;基于ZABBIX的自動(dòng)化巡檢系統(tǒng)的研究與實(shí)現(xiàn)[J];電力信息與通信技術(shù);2014年12期

10 秦強(qiáng);王晏民;黃明;;基于MongoDB的海量遙感影像大數(shù)據(jù)存儲(chǔ)[J];北京建筑大學(xué)學(xué)報(bào);2015年01期

相關(guān)博士學(xué)位論文 前1條

1 苗茹;面向WEB可視化的矢量數(shù)據(jù)流式漸進(jìn)傳輸研究[D];河南大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 柴化磊;分布式環(huán)境下基于文本的海量數(shù)據(jù)挖掘[D];上海交通大學(xué);2013年

2 李昊;家居導(dǎo)購數(shù)據(jù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京交通大學(xué);2013年

3 伍昕;基于SOA的倉儲(chǔ)管理系統(tǒng)的研究與應(yīng)用[D];湖南大學(xué);2013年

4 王慕潑;企業(yè)集團(tuán)的智能搜索引擎平臺(tái)的建立[D];浙江理工大學(xué);2014年

5 李浩;基于Twitter Storm的云平臺(tái)監(jiān)控系統(tǒng)研究與實(shí)現(xiàn)[D];東北大學(xué);2013年

6 王元?jiǎng)?面向Agent個(gè)體的信念修正系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];大連海事大學(xué);2014年

7 羅青;面向多源鍵值數(shù)據(jù)庫的矢量地理數(shù)據(jù)引擎關(guān)鍵技術(shù)研究[D];南京師范大學(xué);2014年

8 朱曉林;地理分析任務(wù)驅(qū)動(dòng)的多源地理數(shù)據(jù)抽取與推送方法研究[D];南京師范大學(xué);2014年

9 劉卓;基于NoSQL的空間數(shù)據(jù)云存儲(chǔ)的研究[D];河南大學(xué);2014年

10 李淼;DOA架構(gòu)下移動(dòng)虛擬旅游服務(wù)模式與虛擬漫游技術(shù)研究[D];成都理工大學(xué);2014年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 龔健雅;空間數(shù)據(jù)庫管理系統(tǒng)的概念與發(fā)展趨勢(shì)[J];測(cè)繪科學(xué);2001年03期

2 王金鑫;;地理空間數(shù)據(jù)生產(chǎn)網(wǎng)格的體系結(jié)構(gòu)與關(guān)鍵技術(shù)[J];測(cè)繪科學(xué);2010年02期

3 馬照亭;李志剛;孫偉;印潔;;一種基于地址分詞的自動(dòng)地理編碼算法[J];測(cè)繪通報(bào);2011年02期

4 傅榮校;葉斌;;政務(wù)信息管理與數(shù)據(jù)庫管理技術(shù)的適用性研究[J];檔案學(xué)通訊;2007年06期

5 程昌秀;于濱;;一種基于規(guī)則的模糊中文地址分詞匹配方法[J];地理與地理信息科學(xué);2011年03期

6 張華強(qiáng);;關(guān)系型數(shù)據(jù)庫與NoSQL數(shù)據(jù)庫[J];電腦知識(shí)與技術(shù);2011年20期

7 唐玲麗;潘瑩;吳麗娟;;變電站環(huán)境視頻監(jiān)控系統(tǒng)數(shù)據(jù)安全存儲(chǔ)策略研究與探討[J];廣西廣播電視大學(xué)學(xué)報(bào);2012年01期

8 蘭小機(jī);徐齊行;敖杰剛;;MongoDB環(huán)境下SaaS多租戶體系模型研究[J];測(cè)繪通報(bào);2012年10期

9 陳崇成;林劍峰;吳小竹;巫建偉;連惠群;;基于NoSQL的海量空間數(shù)據(jù)云存儲(chǔ)與服務(wù)方法[J];地球信息科學(xué)學(xué)報(bào);2013年02期

10 范凱;;NoSQL數(shù)據(jù)庫綜述[J];程序員;2010年06期

相關(guān)碩士學(xué)位論文 前2條

1 蔣興龍;電子政務(wù)個(gè)性化服務(wù)體系結(jié)構(gòu)研究[D];電子科技大學(xué);2006年

2 劉一夢(mèng);基于 MongoDB的云數(shù)據(jù)管理技術(shù)的研究與應(yīng)用[D];北京交通大學(xué);2012年

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 劉劉;;自動(dòng)比對(duì)文章細(xì)節(jié) 輕松區(qū)分其不同之處[J];網(wǎng)絡(luò)與信息;2010年04期

2 一頁 ,王杰;用好“潛望鏡”,文檔內(nèi)容早知道[J];電腦愛好者;2005年21期

3 青山漫步;;制作可以自殺的文檔[J];電腦迷;2007年06期

4 曹春華;;多管齊下,讓錄入文檔百分百正確![J];電腦愛好者;2008年16期

5 梁琦;溫金超;;智能文檔的研究與實(shí)現(xiàn)[J];科技創(chuàng)新導(dǎo)報(bào);2009年01期

6 百變神鼠;;巧取“文檔投稿賺錢”網(wǎng)文檔[J];電腦愛好者;2013年01期

7 ;文檔安全解決方案[J];信息安全與通信保密;2006年07期

8 ;你拍一,我拍一,文檔協(xié)作齊動(dòng)手[J];電腦愛好者;2009年01期

9 阿呆;;讓更多人分享你的文檔[J];電腦迷;2009年19期

10 趙玉茗;徐志明;王曉龍;朱鯤鵬;;基于詞匯集聚的文檔相關(guān)性計(jì)算[J];電子與信息學(xué)報(bào);2008年10期

相關(guān)會(huì)議論文 前4條

1 李旭;余靖;;一種基于提取指紋方法的數(shù)字文檔拷貝檢測(cè)模型[A];2005年全國理論計(jì)算機(jī)科學(xué)學(xué)術(shù)年會(huì)論文集[C];2005年

2 李偉;;文檔的標(biāo)準(zhǔn)化在MIS系統(tǒng)建設(shè)中的重要意義[A];中國煙草行業(yè)信息化研討會(huì)論文集[C];2004年

3 祝建軍;黃冬梅;;XML文檔更新時(shí)鍵約束保持的研究與實(shí)現(xiàn)[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

4 于亞新;胡軍安;吳剛;成杰峰;王國仁;于戈;;一個(gè)可視化的文檔瀏覽器X-Explorer的設(shè)計(jì)與實(shí)現(xiàn)[A];第十八屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2001年

相關(guān)重要報(bào)紙文章 前10條

1 華軍;Word文檔損壞后的修復(fù)[N];江蘇科技報(bào);2007年

2 ;快速將Word文檔變?yōu)閳D片[N];電腦報(bào);2005年

3 張樹忠;Word 2003中瀏覽多文檔技巧[N];中國電腦教育報(bào);2004年

4 ;企業(yè)選擇透明加密產(chǎn)品“四步曲”[N];網(wǎng)絡(luò)世界;2010年

5 黑龍江 魏俊嶺;PDF輕松看[N];電腦報(bào);2001年

6 清風(fēng);認(rèn)識(shí)幫助文檔[N];中國電腦教育報(bào);2002年

7 李鋒白;漢王新系統(tǒng)可編輯11種PDF文檔[N];中國計(jì)算機(jī)報(bào);2007年

8 ;編輯HTML文檔的利器[N];中國電腦教育報(bào);2002年

9 新疆 張迎新;修訂審閱有條不紊[N];電腦報(bào);2002年

10 賈培武;Word文檔混亂不用愁[N];中國證券報(bào);2005年

相關(guān)碩士學(xué)位論文 前5條

1 顧鈞;基于數(shù)字版權(quán)系統(tǒng)的PDF文檔安全性研究與應(yīng)用[D];合肥工業(yè)大學(xué);2011年

2 王常有;基于固有特征的復(fù)印文檔取證研究[D];大連理工大學(xué);2013年

3 劉彤;基于BLP模型文檔保護(hù)系統(tǒng)實(shí)現(xiàn)[D];天津大學(xué);2012年

4 高蒙;基于PDF的電子文檔保護(hù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2008年

5 吳皓;基于COM組件的智能文檔模型及其實(shí)現(xiàn)研究[D];華中科技大學(xué);2007年

，

本文編號(hào)：2360928