【摘要】：通過將云計算技術應用于近線存儲領域,設計實現了基于Hadoop分布式文件系統(Hadoop distributed file system,HDFS)的海量近線存儲系統,用以擴展TH-1A超級計算機在線存儲系統空間,提高系統利用率.該系統采用胖存儲節(jié)點(大型的存儲服務器)構建基于HDFS的近線存儲集群,通過ZFS文件系統來解決HDFS存在的低效和空間利用率低的問題,采用雙副本冗余、虛擬存儲、動態(tài)管理等方法優(yōu)化存儲服務器存儲和管理效率,提高了近線存儲系統性能.實驗結果表明,與傳統HDFS集群存儲系統相比,該系統在可靠性、經濟性及靈活性上均具有一定的優(yōu)勢.
[Abstract]:By applying cloud computing technology to near-line storage, a massive near-line storage system based on Hadoop distributed file system (Hadoop distributed file system,HDFS) is designed and implemented to expand the space of TH-1A supercomputer online storage system and improve system utilization. The system uses fat storage node (large storage server) to construct near-line storage cluster based on HDFS, solves the problems of low efficiency and low space utilization of HDFS by ZFS file system, and adopts double copy redundancy, virtual storage, etc. The storage and management efficiency of storage server is optimized by dynamic management, and the performance of near-line storage system is improved. The experimental results show that compared with the traditional HDFS cluster storage system, the system has some advantages in reliability, economy and flexibility.
【作者單位】： 國防科學技術大學計算機學院;
【分類號】：TP333

【參考文獻】

相關期刊論文 前2條

1 郭東;杜勇;胡亮;;基于HDFS的云數據備份系統[J];吉林大學學報(理學版);2012年01期

2 許孝明;;淺析ZFS文件系統及應用[J];數字技術與應用;2012年06期

【共引文獻】

相關期刊論文 前10條

1 黃濱;徐勇;呂巖;;基于Hadoop云存儲系統在設計院的應用研究[J];信息安全與技術;2012年09期

2 陳崇成;林劍峰;吳小竹;巫建偉;連惠群;;基于NoSQL的海量空間數據云存儲與服務方法[J];地球信息科學學報;2013年02期

3 王建輝;石宇良;;支持文件重刪的HDFS分布式備份系統研究[J];電子設計工程;2014年04期

4 魏曉輝;付慶午;李洪亮;;Hadoop平臺下基于資源預測的Delay調度算法[J];吉林大學學報(理學版);2013年01期

5 王建輝;;支持自動化Hadoop安裝部署的研究[J];信息通信;2013年08期

6 高煜紅;陳清華;方路平;;ZFS在基于Hadoop的視頻存儲系統中的應用[J];杭州電子科技大學學報;2013年05期

7 李斌;;基于ZFS文件系統的資源存儲實現[J];哈爾濱職業(yè)技術學院學報;2014年01期

8 于強;;數字民族音樂云存儲服務平臺研究[J];戲劇叢刊;2014年02期

9 夏侯建兵;魏倩倩;鄧小娜;;基于云存儲的數據備份研究[J];軟件導刊;2014年05期

10 陳石磊;宋志毅;蔡佳義;羅殠殠;;基于云計算的低冗余遠程智能恢復系統的實現[J];信息網絡安全;2012年09期

相關會議論文 前1條

1 高煜紅;陳清華;方路平;;ZFS在基于Hadoop的視頻存儲系統中的應用[A];浙江省電子學會2013學術年會論文集[C];2013年

相關碩士學位論文 前9條

1 李偉宏;面向醫(yī)療信息管理系統的云存儲技術研究與實現[D];華南理工大學;2012年

2 梁興輝;云存儲環(huán)境下數據副本技術研究[D];南京郵電大學;2013年

3 郭奇;基于HDFS的流媒體服務器Red5視頻文件分發(fā)的研究與應用[D];北京郵電大學;2013年

4 張丹;HDFS中文件存儲優(yōu)化的相關技術研究[D];南京師范大學;2013年

5 楊統凱;基于寫前拷貝技術的云計算快照過程和存儲優(yōu)化[D];浙江大學;2012年

6 李穎;基于分布式文件系統的農業(yè)數據云存儲研究[D];山東農業(yè)大學;2013年

7 郭亮;基于MD5與HASH的數據庫增量提取算法及其應用[D];湖南大學;2013年

8 胡振邦;面向科研領域的云存儲應用系統設計與實現[D];中國科學院大學(工程管理與信息技術學院);2013年

9 穆天紅;基于CUDA的二值圖像連通域快速標記算法改進研究[D];陜西科技大學;2014年

【二級參考文獻】

相關期刊論文 前4條

1 沈泓;范亞芹;;企業(yè)局域網機密信息傳輸系統設計[J];吉林大學學報(信息科學版);2009年03期

2 倪冰;陳運清;;P2P流量監(jiān)控技術的研究及現網試驗[J];吉林大學學報(信息科學版);2009年05期

3 陳康;鄭緯民;;云計算:系統實例與研究現狀[J];軟件學報;2009年05期

4 李文俊;李立新;李福林;余洋;;基于P2P的數據備份系統的設計與實現[J];信息工程大學學報;2010年03期

【相似文獻】

相關期刊論文 前10條

1 陶沙;唐智廣;白月文;;近線存儲在播出系統中的應用[J];中國傳媒科技;2013年08期

2 黃蓓;近線存儲與數據歸檔系統的技術運用[J];廣播與電視技術;2004年03期

3 ;近線存儲用硬盤[J];每周電腦報;2003年25期

4 i博士;近水樓臺先得月——近線存儲設備選購指導[J];中國計算機用戶;2005年45期

5 盧筠;;近線存儲技術在檔案中的應用[J];甘肅科技;2006年12期

6 吳敵;;大容量2級近線存儲硬盤 Seagate Constellation企業(yè)級硬盤[J];個人電腦;2009年09期

7 肖艷平;;數字電視播出系統中的近線存儲[J];內蒙古廣播與電視技術;2010年03期

8 肖艷平;;數字電視播出系統中的近線存儲[J];中國數字電視;2011年10期

9 陳策明;淺談近線存儲在硬盤播出系統中的應用[J];現代電視技術;2004年08期

10 趙凱;;近線存儲管理在播出系統中的應用[J];現代電視技術;2014年03期

相關會議論文 前1條

1 趙凱;;近線存儲管理在播出系統中的應用[A];中國新聞技術工作者聯合會第六次會員代表大會、2014年學術年會暨第七屆《王選新聞科學技術獎》和優(yōu)秀論文獎頒獎大會論文集（二等獎）[C];2014年

相關重要報紙文章 前10條

1 上海市公安局科技處 龔艷;近線存儲多快好省[N];中國計算機報;2006年

2 岑廣海;近線存儲高速低價[N];中國計算機報;2003年

3 ;近線存儲 效率高 更經濟[N];中國計算機報;2003年

4 楊言;近線存儲結構的典范[N];科技日報;2003年

5 郭濤;分層存儲 一個都不能少[N];中國計算機報;2003年

6 石竹;醫(yī)療PACS鎖定近線存儲[N];計算機世界;2003年

7 郎飛;創(chuàng)新只為易用[N];中國計算機報;2003年

8 郭濤、陳蔚、呂威;存儲看漲[N];中國計算機報;2003年

9 本報記者 張峰;構建存儲梯田[N];網絡世界;2003年

10 本報記者 張群英;ILM的虛幻年代[N];網絡世界;2006年

相關碩士學位論文 前1條

1 郭潔;近線存儲異構播出平臺的研究與實現[D];華南理工大學;2011年

，

本文編號：2278697