【摘要】：基于多服務器架構、為多用戶服務的網(wǎng)絡文件存儲系統(tǒng)普遍存在資源分配不均,重復文件多,存儲空間浪費嚴重的問題。設計并實現(xiàn)了TNS網(wǎng)絡文件存儲系統(tǒng),該系統(tǒng)基于多服務器存儲架構,分別由用戶服務器、索引服務器、數(shù)據(jù)服務器、共享服務器、管理服務器和登錄服務器組成,為多用戶服務,采用一致性Hash實現(xiàn)負載均衡,支持在客戶端進行文件粒度的重復數(shù)據(jù)刪除。經(jīng)過實際生產(chǎn)環(huán)境運行測試,具有良好的負載均衡能力和重復數(shù)據(jù)刪除功能,可以有效節(jié)省存儲空間,提高存儲設備利用率。
[Abstract]:Based on multi-server architecture, there are many problems in multi-user network file storage system, such as uneven distribution of resources, large number of repeated files and serious waste of storage space. A TNS network file storage system is designed and implemented, which is based on multi-server storage architecture. The system is composed of user server, index server, data server, shared server, management server and login server. It serves for multi-users. Consistent Hash is used to realize load balancing and support file granularity duplicate data deletion in the client. After running and testing in the actual production environment, it has good load balancing ability and duplicate data deletion function, which can effectively save storage space and improve the utilization rate of storage equipment.
【作者單位】： 清華大學計算機系;
【分類號】：TP333

【參考文獻】

相關期刊論文 前1條

1 敖莉;舒繼武;李明強;;重復數(shù)據(jù)刪除技術[J];軟件學報;2010年05期

相關博士學位論文 前1條

1 楊天明;網(wǎng)絡備份中重復數(shù)據(jù)刪除技術研究[D];華中科技大學;2010年

【共引文獻】

相關期刊論文 前10條

1 鄧亮;胡曉勤;梁剛;;基于重復數(shù)據(jù)刪除技術的SQL Server數(shù)據(jù)庫備份系統(tǒng)[J];計算機安全;2011年07期

2 吳曉勇;李慧娜;;基于文件類型的遠程文件備份系統(tǒng)[J];計算機安全;2012年03期

3 吳曉勇;李慧娜;;基于Internet的共享式災備中心[J];計算機安全;2012年05期

4 張清松;梁智強;;基于硬盤的主機防客體重用性能的檢測方法[J];廣東電力;2012年07期

5 李向前;;一種基于重復數(shù)據(jù)刪除的Oracle數(shù)據(jù)庫備份系統(tǒng)[J];電腦知識與技術;2013年01期

6 王燦;秦志光;楊磊;楊皓;;基于改進Sparse Indexing的多負載消冗方法[J];電子科技大學學報;2013年05期

7 林曉君;;信息系統(tǒng)數(shù)據(jù)自動備份技術研究[J];電腦知識與技術;2014年08期

8 周斌;王晶奇;張瑩;;布隆過濾器在重復數(shù)據(jù)刪除中的應用[J];電腦知識與技術;2014年08期

9 王小妮;;多層次級別確保數(shù)據(jù)的高可靠性[J];中國管理信息化;2014年15期

10 閻芳;譚毓安;孫志卓;劉靖宇;;重復數(shù)據(jù)刪除系統(tǒng)元數(shù)據(jù)存儲布局研究[J];北京理工大學學報;2014年05期

相關會議論文 前3條

1 彭成;王樹鵬;賈志凱;;基于糾刪碼的數(shù)據(jù)消冗存儲系統(tǒng)可靠性增強研究[A];2010年第16屆全國信息存儲技術大會（IST2010）論文集[C];2010年

2 吳朋朋;黃瑋;楊璐皓;;移動終端通訊錄數(shù)據(jù)同步去重算法[A];2013年中國信息通信研究新進展論文集[C];2014年

3 胡寧玉;杜秀麗;劉焱;盧剛;王運明;;基于快速消冗方法的增量備份策略研究[A];2014第二屆中國指揮控制大會論文集（上）[C];2014年

相關博士學位論文 前7條

1 譚玉娟;數(shù)據(jù)備份系統(tǒng)中數(shù)據(jù)去重技術研究[D];華中科技大學;2012年

2 王燦;基于在線重復數(shù)據(jù)消除的海量數(shù)據(jù)處理關鍵技術研究[D];電子科技大學;2012年

3 魏建生;高性能重復數(shù)據(jù)檢測與刪除技術研究[D];華中科技大學;2012年

4 蔣海波;海量數(shù)據(jù)存儲系統(tǒng)的高可靠性關鍵技術研究與應用[D];電子科技大學;2013年

5 付印金;面向云環(huán)境的重復數(shù)據(jù)刪除關鍵技術研究[D];國防科學技術大學;2013年

6 王國華;高效重復數(shù)據(jù)刪除技術研究[D];華南理工大學;2014年

7 朱銳;重復數(shù)據(jù)刪除技術中的并行性能優(yōu)化算法研究[D];華中科技大學;2013年

相關碩士學位論文 前10條

1 丁躍進;網(wǎng)關型病毒防火墻的設計與實現(xiàn)[D];電子科技大學;2011年

2 胡盼盼;在線重復數(shù)據(jù)刪除技術的研究與實現(xiàn)[D];華中科技大學;2011年

3 曾濤;重復數(shù)據(jù)刪除技術的研究與實現(xiàn)[D];華中科技大學;2011年

4 張鵬;在線備份系統(tǒng)中存儲服務器的研究與實現(xiàn)[D];華中科技大學;2011年

5 周國惠;支持重復數(shù)據(jù)刪除的網(wǎng)絡備份系統(tǒng)中存儲服務器的設計與實現(xiàn)[D];華中科技大學;2011年

6 張航;文件同步服務中數(shù)據(jù)同步傳輸消重策略研究[D];國防科學技術大學;2011年

7 武銓;廣域網(wǎng)數(shù)據(jù)冗余消除TCP透明代理的設計與實現(xiàn)[D];南京郵電大學;2012年

8 郭永安;網(wǎng)絡協(xié)議棧下TCP隊列管理研究[D];南京郵電大學;2012年

9 毛允亭;廣域網(wǎng)數(shù)據(jù)壓縮算法的研究與實現(xiàn)[D];南京郵電大學;2012年

10 肖紅鳳;基于數(shù)據(jù)中心的數(shù)據(jù)訪問服務模型研究[D];東北石油大學;2012年

【二級參考文獻】

相關期刊論文 前1條

1 ;Scalable high performance de-duplication backup via hash join[J];Journal of Zhejiang University-Science C(Computer & Electronics);2010年05期

相關博士學位論文 前1條

1 劉群;基于可擴展對象的海量存儲系統(tǒng)研究[D];華中科技大學;2006年

相關碩士學位論文 前1條

1 賀翔;一種基于NDMP的塊級備份和數(shù)據(jù)管理方法及其實現(xiàn)[D];中國科學院研究生院（計算技術研究所）;2006年

【相似文獻】

相關期刊論文 前10條

1 王春靖;FAT32的優(yōu)點[J];電腦愛好者;1998年03期

2 何文才;鄭釗;劉培鶴;杜敏;;一種基于目錄數(shù)據(jù)分離存儲的文件存儲方法的研究與實現(xiàn)[J];網(wǎng)絡安全技術與應用;2014年01期

3 飛雪散花;;手機文件存儲看我的[J];電腦迷;2012年05期

4 孫有軍;張大興;;海量圖片文件存儲去重技術研究[J];計算機應用與軟件;2014年04期

5 ;金剛指——計算機文件存儲的保護神[J];信息安全與通信保密;2001年12期

6 趙躍龍;謝曉玲;蔡詠才;王國華;劉霖;;一種性能優(yōu)化的小文件存儲訪問策略的研究[J];計算機研究與發(fā)展;2012年07期

7 周國安;李強;陳新;胡旭;;云環(huán)境下海量小文件存儲技術研究綜述[J];信息網(wǎng)絡安全;2014年06期

8 張美芳;電子文件存儲方式的研究[J];數(shù)字與縮微影像;2005年02期

9 陶慧;于守謙;劉夏;;適于測控系統(tǒng)的文件存儲結構研究[J];計算機應用與軟件;2010年11期

10 方勇;史躍輝;;淺談減少地形圖電子文件存儲冗余的幾種方法[J];江西測繪;2006年02期

相關會議論文 前6條

1 任勇;朱立谷;張雷;彭建峰;;新型虛擬文件存儲系統(tǒng)的設計[A];第15屆全國信息存儲技術學術會議論文集[C];2008年

2 李浩;;基于制播分離的文件存儲和傳輸方式的探討[A];中國新聞技術工作者聯(lián)合會五屆二次理事會暨學術年會論文集（上篇）[C];2010年

3 陳海波;侯建衛(wèi);;針對海量詳單快速存儲檢索的實現(xiàn)方法[A];2011年通信與信息技術新進展——第八屆中國通信學會學術年會論文集[C];2011年

4 陳海波;侯建衛(wèi);;針對海量詳單快速存儲檢索的實現(xiàn)方法[A];2011全國無線及移動通信學術大會論文集[C];2011年

5 袁旦;張智君;;預覽時間對顏色判斷任務下客體文件存儲的影響[A];第十一屆全國心理學學術會議論文摘要集[C];2007年

6 黃步根;黃政;劉建軍;;SANYO數(shù)碼相機中被刪除視頻的恢復[A];第26次全國計算機安全學術交流會論文集[C];2011年

相關重要報紙文章 前10條

1 本報記者 郭平;Isilon擴充文件存儲產(chǎn)品線[N];計算機世界;2009年

2 本報記者 郭平;容量與性能 一樣都不能少[N];計算機世界;2010年

3 張峰;統(tǒng)一存儲 業(yè)務連續(xù)[N];網(wǎng)絡世界;2006年

4 清水　編譯;基于文件存儲大行其道[N];計算機世界;2011年

5 本報記者 郭濤;HCP Anywhere：為HDS內容云錦上添花[N];中國計算機報;2013年

6 于翔;讓IT如業(yè)務般運營的應用路徑[N];網(wǎng)絡世界;2009年

7 劉一冰;IBM SoNAS專攻高端存儲客戶[N];電腦商報;2010年

8 清水　編譯;云存儲：機遇下暗藏挑戰(zhàn)[N];計算機世界;2010年

9 沈建苗;互聯(lián)網(wǎng)存儲 你信得過嗎[N];計算機世界;2007年

10 ;一月 筆類和文件存儲產(chǎn)品關注度較高[N];消費日報;2010年

相關碩士學位論文 前10條

1 宮海林;支持事務的文件存儲技術研究與系統(tǒng)實現(xiàn)[D];國防科學技術大學;2006年

2 曹挹芬;分布式文件存儲與檢索平臺的設計與實現(xiàn)[D];湖南大學;2009年

3 黃斌;并行文件存儲系統(tǒng)關鍵技術的研究[D];華南理工大學;2012年

4 蔣浩;分布式文件存儲系統(tǒng)副本管理方法研究[D];浙江大學;2013年

5 張聰萍;錢塘分布式文件存儲系統(tǒng)性能優(yōu)化[D];浙江大學;2011年

6 周峰;互聯(lián)網(wǎng)文件存儲服務系統(tǒng)研究[D];華中科技大學;2011年

7 鄭釗;�？赜嬎銠C分離式文件存儲的研究[D];西安電子科技大學;2014年

8 何娟;基于分布式文件存儲的個人信息融合系統(tǒng)的研究與實踐[D];北京郵電大學;2010年

9 江柳;HDFS下小文件存儲優(yōu)化相關技術研究[D];北京郵電大學;2011年

10 董其文;基于HDFS的小文件存儲方法的研究[D];大連海事大學;2013年

，

本文編號：2523932