基于Hadoop的海量數(shù)據(jù)存儲系統(tǒng)設(shè)計
本文選題:Hadoop分布式存儲、并行計算 + 海量數(shù)據(jù)。 參考:《科技通報》2014年09期
【摘要】:隨著互聯(lián)網(wǎng)應(yīng)用的廣泛普及,互聯(lián)網(wǎng)承載的網(wǎng)絡(luò)數(shù)據(jù)信息呈爆炸式增長,為了實現(xiàn)對海量的、繁雜的、無序的網(wǎng)絡(luò)信息數(shù)據(jù)資源進(jìn)行智能分析、存儲和管理,針對網(wǎng)絡(luò)海量數(shù)據(jù)信息高度異構(gòu)的特點(diǎn),分析了海量網(wǎng)絡(luò)數(shù)據(jù)存儲系統(tǒng)體系結(jié)構(gòu),提出一種基于云計算的網(wǎng)絡(luò)數(shù)據(jù)的存儲管理系統(tǒng)。運(yùn)行表明,系統(tǒng)能夠高效完成海量數(shù)據(jù)的管理和分析任務(wù),效率高,系統(tǒng)安全可靠、易維護(hù)、具有良好的可擴(kuò)展性。
[Abstract]:With the widespread popularization of Internet applications, the network data information of the Internet has been explosively growing. In order to realize the intelligent analysis, storage and management of the massive, complex and unordered network information data resources, the architecture of the massive network data storage system is analyzed. A storage management system for network data based on cloud computing is proposed. The operation shows that the system can efficiently accomplish the management and analysis of massive data. It has high efficiency, safe and reliable system, easy to maintain and has good scalability.
【作者單位】: 黃淮學(xué)院信息工程學(xué)院;
【分類號】:TP333
【參考文獻(xiàn)】
相關(guān)期刊論文 前3條
1 程瑩;張云勇;徐雷;房秉毅;;基于Hadoop及關(guān)系型數(shù)據(jù)庫的海量數(shù)據(jù)分析研究[J];電信科學(xué);2010年11期
2 崔杰;李陶深;蘭紅星;;基于Hadoop的海量數(shù)據(jù)存儲平臺設(shè)計與開發(fā)[J];計算機(jī)研究與發(fā)展;2012年S1期
3 陳慶奎;周利珍;;基于HBase的大規(guī)模無線傳感網(wǎng)絡(luò)數(shù)據(jù)存儲系統(tǒng)[J];計算機(jī)應(yīng)用;2012年07期
【共引文獻(xiàn)】
相關(guān)期刊論文 前10條
1 蓋玲;;基于云計算的安全服務(wù)研究[J];電信科學(xué);2011年06期
2 李亮;;全臺網(wǎng)環(huán)境下的云視頻素材轉(zhuǎn)碼系統(tǒng)的設(shè)計[J];電視技術(shù);2013年10期
3 王蘇衛(wèi);;基于Hadoop和Hive的電信行業(yè)數(shù)據(jù)倉庫研究[J];電子技術(shù)與軟件工程;2013年11期
4 鐘銳;劉立剛;;基于Map-Reduce的FP-Growth算法研究[J];贛南師范學(xué)院學(xué)報;2013年06期
5 郭荔荔;李敬兆;;基于云存儲的井下人員定位數(shù)據(jù)處理[J];電腦知識與技術(shù);2014年04期
6 辛晃;易興輝;陳震宇;;基于Hadoop+MPP架構(gòu)的電信運(yùn)營商網(wǎng)絡(luò)數(shù)據(jù)共享平臺研究[J];電信科學(xué);2014年04期
7 王蒙;景旭;李書琴;戴濤;王曉琴;;基于Hbase的農(nóng)業(yè)微博數(shù)據(jù)存儲與處理策略[J];中國農(nóng)機(jī)化學(xué)報;2014年03期
8 趙建光;;云計算環(huán)境下并行分布式數(shù)據(jù)挖掘平臺研究[J];電腦開發(fā)與應(yīng)用;2014年07期
9 陳磊;封朝永;;HBase下時態(tài)信息索引策略研究[J];廣東工業(yè)大學(xué)學(xué)報;2014年03期
10 唐世慶;李云龍;田鳳明;胡海榮;;基于Hadoop的云計算與存儲平臺研究與實現(xiàn)[J];四川兵工學(xué)報;2014年08期
相關(guān)會議論文 前2條
1 生昕格;;基于hadoop的交通云數(shù)據(jù)處理平臺設(shè)計[A];第七屆中國智能交通年會優(yōu)秀論文集——智能交通應(yīng)用[C];2012年
2 Liang Chen;Jing Qiu;Xueping Gu;;Design of Cloud Computing Architecture for DIOT[A];2013教育技術(shù)與信息系統(tǒng)國際會議論文集[C];2013年
相關(guān)碩士學(xué)位論文 前10條
1 王賢偉;基于Hadoop的外觀專利圖像檢索系統(tǒng)的研究與實現(xiàn)[D];廣東工業(yè)大學(xué);2011年
2 泰冬雪;基于Hadoop的海量小文件處理方法的研究[D];遼寧大學(xué);2011年
3 郭逸重;Hadoop分布式數(shù)據(jù)清洗方案[D];華南理工大學(xué);2012年
4 崔杰;北部灣海洋科學(xué)數(shù)據(jù)處理云平臺框架的研究與設(shè)計[D];廣西大學(xué);2012年
5 王皎;基于Hadoop平臺的作業(yè)調(diào)度技術(shù)研究[D];西安建筑科技大學(xué);2012年
6 陳光景;Hadoop小文件處理技術(shù)的研究和實現(xiàn)[D];南京郵電大學(xué);2013年
7 啜俊娜;基于Hadoop的分布式文件存儲服務(wù)平臺設(shè)計與實現(xiàn)[D];浙江大學(xué);2012年
8 成飛龍;基于Hadoop的海量傳感數(shù)據(jù)管理系統(tǒng)[D];南京理工大學(xué);2013年
9 時睿;基于數(shù)據(jù)挖據(jù)的商品推薦系統(tǒng)研究和實現(xiàn)[D];上海交通大學(xué);2013年
10 劉曉娟;省地縣一體化電力調(diào)度管理系統(tǒng)通用權(quán)限方案[D];大連理工大學(xué);2013年
【二級參考文獻(xiàn)】
相關(guān)期刊論文 前4條
1 童曉渝;張云勇;戴元順;;從公眾通信網(wǎng)向公眾計算通信網(wǎng)演進(jìn)[J];電信科學(xué);2010年06期
2 李俊,李勇;聯(lián)邦式異構(gòu)數(shù)據(jù)庫應(yīng)用系統(tǒng)的集成框架和實現(xiàn)技術(shù)的研究[J];計算機(jī)應(yīng)用研究;2001年04期
3 余華鴻;李穎;張玉川;;數(shù)據(jù)倉庫概述[J];科技信息(科學(xué)教研);2007年13期
4 陳康;鄭緯民;;云計算:系統(tǒng)實例與研究現(xiàn)狀[J];軟件學(xué)報;2009年05期
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 ;EMC ISILON推出針對海量數(shù)據(jù)的全球最大單一文件系統(tǒng)[J];微電腦世界;2011年06期
2 姚書懷,劉興偉;大型數(shù)據(jù)中心海量數(shù)據(jù)存儲解決方案的設(shè)計[J];西華大學(xué)學(xué)報(自然科學(xué)版);2004年S1期
3 段紅英;;淺談海量數(shù)據(jù)存儲中的幾個問題[J];甘肅科技縱橫;2009年01期
4 ;光存儲系統(tǒng)在海量數(shù)據(jù)存儲市場中的重要作用[J];激光與光電子學(xué)進(jìn)展;1994年07期
5 張越;;海量存儲新丁Seagate Barracuda ES2 7.2K SAS 1TB[J];個人電腦;2008年06期
6 趙瑞峰;湯曉安;干哲;;基于集群技術(shù)的海量數(shù)據(jù)存儲技術(shù)研究[J];微計算機(jī)信息;2010年16期
7 雷濤;;利用SAN技術(shù)構(gòu)建數(shù)字圖書館存儲系統(tǒng)[J];麗水學(xué)院學(xué)報;2008年01期
8 李凱;;海量數(shù)據(jù)存儲技術(shù)[J];有線電視技術(shù);2006年10期
9 陳羲;高冰生;郭冰;;黃河數(shù)據(jù)中心海量數(shù)據(jù)存儲方案應(yīng)用研究[J];科技資訊;2009年36期
10 邵志舉;;海量數(shù)據(jù)高效存儲與管理研究 一種高效海量數(shù)據(jù)存儲、管理與實時發(fā)布方案[J];職業(yè)圈(現(xiàn)代軟科學(xué));2006年03期
相關(guān)會議論文 前5條
1 盧朝霞;習(xí)捷;王劍;;基于數(shù)據(jù)庫分區(qū)的海量數(shù)據(jù)存儲技術(shù)的研究[A];2006中國控制與決策學(xué)術(shù)年會論文集[C];2006年
2 張大華;丁輝;吳向陽;趙毅強(qiáng);孫毓忠;;面向智能電網(wǎng)的電力云計算架構(gòu)[A];2011電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2011年
3 周松;王意潔;;EXPyramid:一種靈活的基于陣列結(jié)構(gòu)的高容錯低修復(fù)成本編碼方案[A];2010年第16屆全國信息存儲技術(shù)大會(IST2010)論文集[C];2010年
4 高世峰;吳迪;陳正捷;;“云計算”及其應(yīng)用研究初探[A];全國第二屆信號處理與應(yīng)用學(xué)術(shù)會議專刊[C];2008年
5 蔡濤;鞠時光;牛德姣;;開放式安全存儲區(qū)域網(wǎng)模擬平臺[A];第15屆全國信息存儲技術(shù)學(xué)術(shù)會議論文集[C];2008年
相關(guān)重要報紙文章 前10條
1 北京亞細(xì)亞智業(yè)科技有限公司產(chǎn)品市場經(jīng)理 李煉;讓數(shù)據(jù)備份更簡單[N];中國計算機(jī)報;2005年
2 本報記者 謝文硯;Nocona家族再添新丁 64位市場暗戰(zhàn)加劇[N];中國計算機(jī)報;2005年
3 ;東芝發(fā)布高容量DVD-RAM驅(qū)動器[N];計算機(jī)世界;2000年
4 記者 陳杰;UIT首推8Gb光纖中高端存儲系統(tǒng)[N];科技日報;2009年
5 ;聯(lián)想SureFibre620存儲服務(wù)器[N];計算機(jī)世界;2004年
6 郭濤;“智商”從分散到集中[N];中國計算機(jī)報;2003年
7 ;光盤庫保海量數(shù)據(jù)安全[N];中國計算機(jī)報;2003年
8 ;為數(shù)字圖書館保駕護(hù)航[N];中國計算機(jī)報;2003年
9 ;iSCSI拉近SAN與中小企業(yè)的距離[N];中國計算機(jī)報;2003年
10 凡妮;曙光超級服務(wù)器4000L增強(qiáng)運(yùn)算能力[N];電腦商報;2003年
相關(guān)博士學(xué)位論文 前2條
1 蔣海波;海量數(shù)據(jù)存儲系統(tǒng)的高可靠性關(guān)鍵技術(shù)研究與應(yīng)用[D];電子科技大學(xué);2013年
2 劉霖;分布式存儲系統(tǒng)中的能耗管理策略研究[D];華南理工大學(xué);2013年
相關(guān)碩士學(xué)位論文 前10條
1 張喜;海量數(shù)據(jù)存儲模式的研究[D];廣東工業(yè)大學(xué);2012年
2 陳璐;基于云計算的海量數(shù)據(jù)存儲技術(shù)的研究及應(yīng)用[D];武漢科技大學(xué);2011年
3 陳劍銳;基于Hadoop海量數(shù)據(jù)存儲仿真平臺的研究與設(shè)計[D];華南理工大學(xué);2011年
4 馬文杰;基于CAP理論的海量數(shù)據(jù)存儲研究與應(yīng)用[D];蘇州大學(xué);2013年
5 陳殿偉;基于Hadoop的虛擬篩選海量數(shù)據(jù)存儲及結(jié)果處理的設(shè)計和實現(xiàn)[D];蘭州大學(xué);2012年
6 苗帥;海量數(shù)據(jù)存儲與全文檢索[D];江蘇科技大學(xué);2011年
7 田愛雪;基于海量數(shù)據(jù)存儲的性能測試與優(yōu)化研究[D];長春理工大學(xué);2014年
8 邵林;高速海量數(shù)據(jù)存儲技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2007年
9 邰建華;Hadoop平臺下的海量數(shù)據(jù)存儲技術(shù)研究[D];東北石油大學(xué);2012年
10 陸鵬超;MiniQQ項目的數(shù)據(jù)存儲模塊的設(shè)計與實現(xiàn)[D];哈爾濱工業(yè)大學(xué);2012年
,本文編號:1789546
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/1789546.html