本文關(guān)鍵詞：基于混合架構(gòu)的海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)

  更多相關(guān)文章： 海量數(shù)據(jù)存儲(chǔ) 混合架構(gòu) 能耗數(shù)據(jù) HBase 分布式計(jì)算

【摘要】：信息技術(shù)的發(fā)展推動(dòng)著數(shù)據(jù)中心市場(chǎng)規(guī)模的不斷擴(kuò)大,節(jié)約能源消耗已經(jīng)成為數(shù)據(jù)中心運(yùn)營(yíng)機(jī)構(gòu)迫切需要解決的問(wèn)題。數(shù)據(jù)中心能源監(jiān)控系統(tǒng)主要負(fù)責(zé)動(dòng)力環(huán)境以及IT設(shè)備實(shí)時(shí)運(yùn)行狀態(tài)的監(jiān)控及分析,數(shù)據(jù)中心運(yùn)行過(guò)程中會(huì)持續(xù)不斷的產(chǎn)生大規(guī)模日志數(shù)據(jù),因此海量能耗數(shù)據(jù)的存儲(chǔ)成為了構(gòu)建高效的數(shù)據(jù)中心能源監(jiān)控系統(tǒng)的核心問(wèn)題。數(shù)據(jù)中心能源監(jiān)控系統(tǒng)不僅需要提供對(duì)能源消耗數(shù)據(jù)的多維分析與展示等強(qiáng)大的數(shù)據(jù)統(tǒng)計(jì)分析功能,同時(shí)還要求能源監(jiān)控系統(tǒng)中的數(shù)據(jù)存儲(chǔ)系統(tǒng)具備高可用性、高可擴(kuò)展性。傳統(tǒng)的數(shù)據(jù)存儲(chǔ)解決方案主要采用關(guān)系型數(shù)據(jù)庫(kù),關(guān)系型數(shù)據(jù)庫(kù)具有強(qiáng)大的數(shù)據(jù)存儲(chǔ)與分析能力,不僅支持?jǐn)?shù)據(jù)的順序掃描、隨機(jī)讀寫(xiě)同時(shí)具有強(qiáng)大的索引功能。與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)不同,HBase屬于NoSQL中面向列存儲(chǔ)的分布式數(shù)據(jù)庫(kù),主要優(yōu)勢(shì)在于強(qiáng)大的并行計(jì)算能力、高可擴(kuò)展性。 本文分別針對(duì)傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)以及NoSQL數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)特性進(jìn)行了深入的研究與分析,同時(shí)結(jié)合Hadoop平臺(tái)高可靠性、高可擴(kuò)展性的數(shù)據(jù)存儲(chǔ)及處理能力設(shè)計(jì)并實(shí)現(xiàn)了一種基于MySQL關(guān)系型數(shù)據(jù)庫(kù)和HBase分布式數(shù)據(jù)庫(kù)的混合架構(gòu)的海量能耗數(shù)據(jù)存儲(chǔ)系統(tǒng)。該系統(tǒng)中基于Hadoop實(shí)現(xiàn)了海量能耗數(shù)據(jù)的并行處理,基于HBase和MySQL數(shù)據(jù)庫(kù)實(shí)現(xiàn)了高效的海量能耗數(shù)據(jù)結(jié)構(gòu)化存儲(chǔ)。 本文搭建了Hadoop實(shí)驗(yàn)平臺(tái),并對(duì)HBase以及MySQL的數(shù)據(jù)存儲(chǔ)及訪問(wèn)進(jìn)行了詳細(xì)的性能測(cè)試及結(jié)果分析。實(shí)驗(yàn)結(jié)果表明,基于混合架構(gòu)的海量數(shù)據(jù)存儲(chǔ)系統(tǒng)不僅具有高可靠性、高可擴(kuò)展性,同時(shí)具有高效的數(shù)據(jù)存儲(chǔ)及訪問(wèn)性能。
【關(guān)鍵詞】：海量數(shù)據(jù)存儲(chǔ) 混合架構(gòu) 能耗數(shù)據(jù) HBase 分布式計(jì)算
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類(lèi)號(hào)】：TP333
【目錄】：

• 摘要4-5
• ABSTRACT5-10
• 第一章 緒論10-16
• 1.1 研究背景10
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀10-13
• 1.2.1 關(guān)系型數(shù)據(jù)庫(kù)11
• 1.2.2 NoSQL11-12
• 1.2.3 Hadoop12-13
• 1.3 本文的主要內(nèi)容和意義13-14
• 1.4 本文的組織結(jié)構(gòu)14-15
• 1.5 本章小結(jié)15-16
• 第二章 相關(guān)原理和技術(shù)綜述16-24
• 2.1 概述16
• 2.2 Hadoop16-20
• 2.2.1 Hadoop HDFS16-18
• 2.2.2 Hadoop MapReduce18-20
• 2.3 Hive20
• 2.4 HBase20-22
• 2.5 Sqoop22
• 2.6 MySQL22-23
• 2.7 本章小結(jié)23-24
• 第三章 系統(tǒng)設(shè)計(jì)24-42
• 3.1 系統(tǒng)需求分析24-27
• 3.1.1 數(shù)據(jù)采集需求24-25
• 3.1.2 數(shù)據(jù)存儲(chǔ)需求25-26
• 3.1.3 數(shù)據(jù)分析需求26
• 3.1.4 系統(tǒng)交互需求26-27
• 3.1.5 系統(tǒng)性能需求27
• 3.2 系統(tǒng)架構(gòu)設(shè)計(jì)27-41
• 3.2.1 數(shù)據(jù)采集層設(shè)計(jì)28-34
• 3.2.2 源數(shù)據(jù)文件存儲(chǔ)層設(shè)計(jì)34-36
• 3.2.3 數(shù)據(jù)預(yù)處理層設(shè)計(jì)36-37
• 3.2.4 混合架構(gòu)存儲(chǔ)層設(shè)計(jì)37-40
• 3.2.5 數(shù)據(jù)訪問(wèn)層設(shè)計(jì)40-41
• 3.3 本章小結(jié)41-42
• 第四章 系統(tǒng)實(shí)現(xiàn)42-61
• 4.1 數(shù)據(jù)采集層實(shí)現(xiàn)42-45
• 4.1.1 數(shù)據(jù)采集層數(shù)據(jù)結(jié)構(gòu)42
• 4.1.2 數(shù)據(jù)采集層的具體實(shí)現(xiàn)42-45
• 4.2 源數(shù)據(jù)文件存儲(chǔ)層實(shí)現(xiàn)45-47
• 4.3 數(shù)據(jù)預(yù)處理層實(shí)現(xiàn)47-51
• 4.3.1 能耗數(shù)據(jù)記錄的數(shù)據(jù)結(jié)構(gòu)47-48
• 4.3.2 基于MapReduce的數(shù)據(jù)預(yù)處理實(shí)現(xiàn)48-50
• 4.3.3 基于Hive的數(shù)據(jù)預(yù)處理實(shí)現(xiàn)50-51
• 4.4 混合架構(gòu)存儲(chǔ)層實(shí)現(xiàn)51-57
• 4.4.1 HBase存儲(chǔ)模型51-53
• 4.4.2 HBase能耗數(shù)據(jù)導(dǎo)入53-54
• 4.4.3 MySQL存儲(chǔ)模型54-55
• 4.4.4 MySQL能耗數(shù)據(jù)導(dǎo)入55-57
• 4.5 數(shù)據(jù)訪問(wèn)層實(shí)現(xiàn)57-60
• 4.5.1 HBase數(shù)據(jù)訪問(wèn)57-59
• 4.5.2 MySQL數(shù)據(jù)訪問(wèn)59-60
• 4.6 本章小結(jié)60-61
• 第五章 系統(tǒng)測(cè)試61-69
• 5.1 實(shí)驗(yàn)環(huán)境61-62
• 5.2 性能測(cè)試62-67
• 5.3 結(jié)論67-68
• 5.4 本章小結(jié)68-69
• 第六章 總結(jié)及展望69-71
• 6.1 總結(jié)69-70
• 6.2 展望70-71
• 參考文獻(xiàn)71-73
• 致謝73-74
• 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文74

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 AlixL.Paultre;用全息技術(shù)實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ)[J];今日電子;2002年08期

2 邵志舉;;海量數(shù)據(jù)高效存儲(chǔ)與管理研究 一種高效海量數(shù)據(jù)存儲(chǔ)、管理與實(shí)時(shí)發(fā)布方案[J];職業(yè)圈.現(xiàn)代軟科學(xué);2006年02期

3 邵志舉;;海量數(shù)據(jù)高效存儲(chǔ)與管理研究 一種高效海量數(shù)據(jù)存儲(chǔ)、管理與實(shí)時(shí)發(fā)布方案[J];職業(yè)圈.現(xiàn)代軟科學(xué);2006年03期

4 白立新;王雷;;海量數(shù)據(jù)存儲(chǔ)的解決方法[J];數(shù)字與縮微影像;2007年02期

5 郭艷霞;顏軍;;海量數(shù)據(jù)存儲(chǔ)模式的研究[J];計(jì)算機(jī)與數(shù)字工程;2008年11期

6 段紅英;;淺談海量數(shù)據(jù)存儲(chǔ)中的幾個(gè)問(wèn)題[J];甘肅科技縱橫;2009年01期

7 杜海寧;;基于云計(jì)算的圖書(shū)館海量數(shù)據(jù)存儲(chǔ)研究[J];圖書(shū)與情報(bào);2010年03期

8 張德山;李海浩;;海量數(shù)據(jù)存儲(chǔ)管理方法的研究[J];信息化研究;2011年04期

9 許小媛;程宏兵;;基于云計(jì)算的海量數(shù)據(jù)存儲(chǔ)[J];制造業(yè)自動(dòng)化;2013年13期

10 姚書(shū)懷,劉興偉;大型數(shù)據(jù)中心海量數(shù)據(jù)存儲(chǔ)解決方案的設(shè)計(jì)[J];四川工業(yè)學(xué)院學(xué)報(bào);2004年S1期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前2條

1 王海濤;石晶;周立柱;;基于多級(jí)存儲(chǔ)的海量數(shù)據(jù)存儲(chǔ)系統(tǒng)[A];第十七屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2000年

2 盧朝霞;習(xí)捷;王劍;;基于數(shù)據(jù)庫(kù)分區(qū)的海量數(shù)據(jù)存儲(chǔ)技術(shù)的研究[A];2006中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];2006年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前8條

1 本報(bào)記者;多方尋求合作 推動(dòng)云力量聚黑河[N];黑河日?qǐng)?bào);2014年

2 ;存儲(chǔ)軟件市場(chǎng)首現(xiàn)國(guó)產(chǎn)身影[N];網(wǎng)絡(luò)世界;2006年

3 本報(bào)記者 劉慧;大數(shù)據(jù)應(yīng)用市場(chǎng)可達(dá)百億元規(guī)模[N];中國(guó)經(jīng)濟(jì)時(shí)報(bào);2014年

4 記者 李杏;甩掉“差不多先生”的文化標(biāo)簽[N];長(zhǎng)江日?qǐng)?bào);2013年

5 曹云萍;眾多上市公司欲分羹[N];人民郵電;2014年

6 本報(bào)記者 周源;多數(shù)企業(yè)謹(jǐn)慎對(duì)待云存儲(chǔ)[N];網(wǎng)絡(luò)世界;2010年

7 廖軍;大數(shù)據(jù)時(shí)代的有色大數(shù)據(jù)[N];中國(guó)有色金屬報(bào);2014年

8 本報(bào)記者 陳靜;大數(shù)據(jù)“潤(rùn)物無(wú)聲”大產(chǎn)業(yè)[N];經(jīng)濟(jì)日?qǐng)?bào);2013年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前2條

1 蔣海波;海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的高可靠性關(guān)鍵技術(shù)研究與應(yīng)用[D];電子科技大學(xué);2013年

2 劉應(yīng)波;太陽(yáng)望遠(yuǎn)鏡海量數(shù)據(jù)存儲(chǔ)關(guān)鍵技術(shù)研究[D];中國(guó)科學(xué)院研究生院（云南天文臺(tái)）;2014年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 張喜;海量數(shù)據(jù)存儲(chǔ)模式的研究[D];廣東工業(yè)大學(xué);2012年

2 唐亦鵬;海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2014年

3 婁希安;海量數(shù)據(jù)存儲(chǔ)與查詢(xún)策略的優(yōu)化研究[D];大連海事大學(xué);2012年

4 田愛(ài)雪;基于海量數(shù)據(jù)存儲(chǔ)的性能測(cè)試與優(yōu)化研究[D];長(zhǎng)春理工大學(xué);2014年

5 胡學(xué)慶;集群環(huán)境下海量數(shù)據(jù)存儲(chǔ)管理技術(shù)的研究[D];東北石油大學(xué);2010年

6 陳殿偉;基于Hadoop的虛擬篩選海量數(shù)據(jù)存儲(chǔ)及結(jié)果處理的設(shè)計(jì)和實(shí)現(xiàn)[D];蘭州大學(xué);2012年

7 陳劍銳;基于Hadoop海量數(shù)據(jù)存儲(chǔ)仿真平臺(tái)的研究與設(shè)計(jì)[D];華南理工大學(xué);2011年

8 馬文杰;基于CAP理論的海量數(shù)據(jù)存儲(chǔ)研究與應(yīng)用[D];蘇州大學(xué);2013年

9 苗帥;海量數(shù)據(jù)存儲(chǔ)與全文檢索[D];江蘇科技大學(xué);2011年

10 姜治光;基于混合架構(gòu)的海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2014年

，

本文編號(hào)：673254