【摘要】：基于多服務(wù)器架構(gòu)、為多用戶服務(wù)的網(wǎng)絡(luò)文件存儲(chǔ)系統(tǒng)普遍存在資源分配不均,重復(fù)文件多,存儲(chǔ)空間浪費(fèi)嚴(yán)重的問(wèn)題。設(shè)計(jì)并實(shí)現(xiàn)了TNS網(wǎng)絡(luò)文件存儲(chǔ)系統(tǒng),該系統(tǒng)基于多服務(wù)器存儲(chǔ)架構(gòu),分別由用戶服務(wù)器、索引服務(wù)器、數(shù)據(jù)服務(wù)器、共享服務(wù)器、管理服務(wù)器和登錄服務(wù)器組成,為多用戶服務(wù),采用一致性Hash實(shí)現(xiàn)負(fù)載均衡,支持在客戶端進(jìn)行文件粒度的重復(fù)數(shù)據(jù)刪除。經(jīng)過(guò)實(shí)際生產(chǎn)環(huán)境運(yùn)行測(cè)試,具有良好的負(fù)載均衡能力和重復(fù)數(shù)據(jù)刪除功能,可以有效節(jié)省存儲(chǔ)空間,提高存儲(chǔ)設(shè)備利用率。
[Abstract]:Based on multi-server architecture, there are many problems in multi-user network file storage system, such as uneven distribution of resources, large number of repeated files and serious waste of storage space. A TNS network file storage system is designed and implemented, which is based on multi-server storage architecture. The system is composed of user server, index server, data server, shared server, management server and login server. It serves for multi-users. Consistent Hash is used to realize load balancing and support file granularity duplicate data deletion in the client. After running and testing in the actual production environment, it has good load balancing ability and duplicate data deletion function, which can effectively save storage space and improve the utilization rate of storage equipment.
【作者單位】： 清華大學(xué)計(jì)算機(jī)系;
【分類號(hào)】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 敖莉;舒繼武;李明強(qiáng);;重復(fù)數(shù)據(jù)刪除技術(shù)[J];軟件學(xué)報(bào);2010年05期

相關(guān)博士學(xué)位論文 前1條

1 楊天明;網(wǎng)絡(luò)備份中重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];華中科技大學(xué);2010年

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鄧亮;胡曉勤;梁剛;;基于重復(fù)數(shù)據(jù)刪除技術(shù)的SQL Server數(shù)據(jù)庫(kù)備份系統(tǒng)[J];計(jì)算機(jī)安全;2011年07期

2 吳曉勇;李慧娜;;基于文件類型的遠(yuǎn)程文件備份系統(tǒng)[J];計(jì)算機(jī)安全;2012年03期

3 吳曉勇;李慧娜;;基于Internet的共享式災(zāi)備中心[J];計(jì)算機(jī)安全;2012年05期

4 張清松;梁智強(qiáng);;基于硬盤的主機(jī)防客體重用性能的檢測(cè)方法[J];廣東電力;2012年07期

5 李向前;;一種基于重復(fù)數(shù)據(jù)刪除的Oracle數(shù)據(jù)庫(kù)備份系統(tǒng)[J];電腦知識(shí)與技術(shù);2013年01期

6 王燦;秦志光;楊磊;楊皓;;基于改進(jìn)Sparse Indexing的多負(fù)載消冗方法[J];電子科技大學(xué)學(xué)報(bào);2013年05期

7 林曉君;;信息系統(tǒng)數(shù)據(jù)自動(dòng)備份技術(shù)研究[J];電腦知識(shí)與技術(shù);2014年08期

8 周斌;王晶奇;張瑩;;布隆過(guò)濾器在重復(fù)數(shù)據(jù)刪除中的應(yīng)用[J];電腦知識(shí)與技術(shù);2014年08期

9 王小妮;;多層次級(jí)別確保數(shù)據(jù)的高可靠性[J];中國(guó)管理信息化;2014年15期

10 閻芳;譚毓安;孫志卓;劉靖宇;;重復(fù)數(shù)據(jù)刪除系統(tǒng)元數(shù)據(jù)存儲(chǔ)布局研究[J];北京理工大學(xué)學(xué)報(bào);2014年05期

相關(guān)會(huì)議論文 前3條

1 彭成;王樹(shù)鵬;賈志凱;;基于糾刪碼的數(shù)據(jù)消冗存儲(chǔ)系統(tǒng)可靠性增強(qiáng)研究[A];2010年第16屆全國(guó)信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

2 吳朋朋;黃瑋;楊璐皓;;移動(dòng)終端通訊錄數(shù)據(jù)同步去重算法[A];2013年中國(guó)信息通信研究新進(jìn)展論文集[C];2014年

3 胡寧玉;杜秀麗;劉焱;盧剛;王運(yùn)明;;基于快速消冗方法的增量備份策略研究[A];2014第二屆中國(guó)指揮控制大會(huì)論文集（上）[C];2014年

相關(guān)博士學(xué)位論文 前7條

1 譚玉娟;數(shù)據(jù)備份系統(tǒng)中數(shù)據(jù)去重技術(shù)研究[D];華中科技大學(xué);2012年

2 王燦;基于在線重復(fù)數(shù)據(jù)消除的海量數(shù)據(jù)處理關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2012年

3 魏建生;高性能重復(fù)數(shù)據(jù)檢測(cè)與刪除技術(shù)研究[D];華中科技大學(xué);2012年

4 蔣海波;海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的高可靠性關(guān)鍵技術(shù)研究與應(yīng)用[D];電子科技大學(xué);2013年

5 付印金;面向云環(huán)境的重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2013年

6 王國(guó)華;高效重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];華南理工大學(xué);2014年

7 朱銳;重復(fù)數(shù)據(jù)刪除技術(shù)中的并行性能優(yōu)化算法研究[D];華中科技大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 丁躍進(jìn);網(wǎng)關(guān)型病毒防火墻的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

2 胡盼盼;在線重復(fù)數(shù)據(jù)刪除技術(shù)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

3 曾濤;重復(fù)數(shù)據(jù)刪除技術(shù)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

4 張鵬;在線備份系統(tǒng)中存儲(chǔ)服務(wù)器的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

5 周國(guó)惠;支持重復(fù)數(shù)據(jù)刪除的網(wǎng)絡(luò)備份系統(tǒng)中存儲(chǔ)服務(wù)器的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

6 張航;文件同步服務(wù)中數(shù)據(jù)同步傳輸消重策略研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

7 武銓;廣域網(wǎng)數(shù)據(jù)冗余消除TCP透明代理的設(shè)計(jì)與實(shí)現(xiàn)[D];南京郵電大學(xué);2012年

8 郭永安;網(wǎng)絡(luò)協(xié)議棧下TCP隊(duì)列管理研究[D];南京郵電大學(xué);2012年

9 毛允亭;廣域網(wǎng)數(shù)據(jù)壓縮算法的研究與實(shí)現(xiàn)[D];南京郵電大學(xué);2012年

10 肖紅鳳;基于數(shù)據(jù)中心的數(shù)據(jù)訪問(wèn)服務(wù)模型研究[D];東北石油大學(xué);2012年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 ;Scalable high performance de-duplication backup via hash join[J];Journal of Zhejiang University-Science C(Computer & Electronics);2010年05期

相關(guān)博士學(xué)位論文 前1條

1 劉群;基于可擴(kuò)展對(duì)象的海量存儲(chǔ)系統(tǒng)研究[D];華中科技大學(xué);2006年

相關(guān)碩士學(xué)位論文 前1條

1 賀翔;一種基于NDMP的塊級(jí)備份和數(shù)據(jù)管理方法及其實(shí)現(xiàn)[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2006年

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王春靖;FAT32的優(yōu)點(diǎn)[J];電腦愛(ài)好者;1998年03期

2 何文才;鄭釗;劉培鶴;杜敏;;一種基于目錄數(shù)據(jù)分離存儲(chǔ)的文件存儲(chǔ)方法的研究與實(shí)現(xiàn)[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2014年01期

3 飛雪散花;;手機(jī)文件存儲(chǔ)看我的[J];電腦迷;2012年05期

4 孫有軍;張大興;;海量圖片文件存儲(chǔ)去重技術(shù)研究[J];計(jì)算機(jī)應(yīng)用與軟件;2014年04期

5 ;金剛指——計(jì)算機(jī)文件存儲(chǔ)的保護(hù)神[J];信息安全與通信保密;2001年12期

6 趙躍龍;謝曉玲;蔡詠才;王國(guó)華;劉霖;;一種性能優(yōu)化的小文件存儲(chǔ)訪問(wèn)策略的研究[J];計(jì)算機(jī)研究與發(fā)展;2012年07期

7 周國(guó)安;李強(qiáng);陳新;胡旭;;云環(huán)境下海量小文件存儲(chǔ)技術(shù)研究綜述[J];信息網(wǎng)絡(luò)安全;2014年06期

8 張美芳;電子文件存儲(chǔ)方式的研究[J];數(shù)字與縮微影像;2005年02期

9 陶慧;于守謙;劉夏;;適于測(cè)控系統(tǒng)的文件存儲(chǔ)結(jié)構(gòu)研究[J];計(jì)算機(jī)應(yīng)用與軟件;2010年11期

10 方勇;史躍輝;;淺談減少地形圖電子文件存儲(chǔ)冗余的幾種方法[J];江西測(cè)繪;2006年02期

相關(guān)會(huì)議論文 前6條

1 任勇;朱立谷;張雷;彭建峰;;新型虛擬文件存儲(chǔ)系統(tǒng)的設(shè)計(jì)[A];第15屆全國(guó)信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

2 李浩;;基于制播分離的文件存儲(chǔ)和傳輸方式的探討[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)五屆二次理事會(huì)暨學(xué)術(shù)年會(huì)論文集（上篇）[C];2010年

3 陳海波;侯建衛(wèi);;針對(duì)海量詳單快速存儲(chǔ)檢索的實(shí)現(xiàn)方法[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國(guó)通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2011年

4 陳海波;侯建衛(wèi);;針對(duì)海量詳單快速存儲(chǔ)檢索的實(shí)現(xiàn)方法[A];2011全國(guó)無(wú)線及移動(dòng)通信學(xué)術(shù)大會(huì)論文集[C];2011年

5 袁旦;張智君;;預(yù)覽時(shí)間對(duì)顏色判斷任務(wù)下客體文件存儲(chǔ)的影響[A];第十一屆全國(guó)心理學(xué)學(xué)術(shù)會(huì)議論文摘要集[C];2007年

6 黃步根;黃政;劉建軍;;SANYO數(shù)碼相機(jī)中被刪除視頻的恢復(fù)[A];第26次全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2011年

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)記者 郭平;Isilon擴(kuò)充文件存儲(chǔ)產(chǎn)品線[N];計(jì)算機(jī)世界;2009年

2 本報(bào)記者 郭平;容量與性能 一樣都不能少[N];計(jì)算機(jī)世界;2010年

3 張峰;統(tǒng)一存儲(chǔ) 業(yè)務(wù)連續(xù)[N];網(wǎng)絡(luò)世界;2006年

4 清水　編譯;基于文件存儲(chǔ)大行其道[N];計(jì)算機(jī)世界;2011年

5 本報(bào)記者 郭濤;HCP Anywhere：為HDS內(nèi)容云錦上添花[N];中國(guó)計(jì)算機(jī)報(bào);2013年

6 于翔;讓IT如業(yè)務(wù)般運(yùn)營(yíng)的應(yīng)用路徑[N];網(wǎng)絡(luò)世界;2009年

7 劉一冰;IBM SoNAS專攻高端存儲(chǔ)客戶[N];電腦商報(bào);2010年

8 清水　編譯;云存儲(chǔ)：機(jī)遇下暗藏挑戰(zhàn)[N];計(jì)算機(jī)世界;2010年

9 沈建苗;互聯(lián)網(wǎng)存儲(chǔ) 你信得過(guò)嗎[N];計(jì)算機(jī)世界;2007年

10 ;一月 筆類和文件存儲(chǔ)產(chǎn)品關(guān)注度較高[N];消費(fèi)日?qǐng)?bào);2010年

相關(guān)碩士學(xué)位論文 前10條

1 宮海林;支持事務(wù)的文件存儲(chǔ)技術(shù)研究與系統(tǒng)實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2006年

2 曹挹芬;分布式文件存儲(chǔ)與檢索平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];湖南大學(xué);2009年

3 黃斌;并行文件存儲(chǔ)系統(tǒng)關(guān)鍵技術(shù)的研究[D];華南理工大學(xué);2012年

4 蔣浩;分布式文件存儲(chǔ)系統(tǒng)副本管理方法研究[D];浙江大學(xué);2013年

5 張聰萍;錢塘分布式文件存儲(chǔ)系統(tǒng)性能優(yōu)化[D];浙江大學(xué);2011年

6 周峰;互聯(lián)網(wǎng)文件存儲(chǔ)服務(wù)系統(tǒng)研究[D];華中科技大學(xué);2011年

7 鄭釗;�？赜�(jì)算機(jī)分離式文件存儲(chǔ)的研究[D];西安電子科技大學(xué);2014年

8 何娟;基于分布式文件存儲(chǔ)的個(gè)人信息融合系統(tǒng)的研究與實(shí)踐[D];北京郵電大學(xué);2010年

9 江柳;HDFS下小文件存儲(chǔ)優(yōu)化相關(guān)技術(shù)研究[D];北京郵電大學(xué);2011年

10 董其文;基于HDFS的小文件存儲(chǔ)方法的研究[D];大連海事大學(xué);2013年

，

本文編號(hào)：2523932