本文關鍵詞：試驗數(shù)據(jù)管理平臺云存儲服務的研究與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著信息化水平的提升，中國的航天科技發(fā)展日新月異，航天信息業(yè)也取得了跨越式發(fā)展。在對時空的探索中，航天數(shù)據(jù)有著至關重要的作用，它是分析的基礎，實踐的基石。當前航天數(shù)據(jù)高速、海量的發(fā)展趨勢對數(shù)據(jù)的存儲、查詢和分析都提出了更高的要求。 本文介紹了基于Hadoop的試驗數(shù)據(jù)管理平臺，該平臺采用HDFS分布式文件系統(tǒng)和HBase分布式數(shù)據(jù)庫綜合存儲的方式提供航天試驗數(shù)據(jù)的云端存儲和計算服務。本文設計了HBase+HDFS的綜合存儲方式來適應不同的數(shù)據(jù)類型和不同的用戶需求，并在HBase和HDFS上實現(xiàn)一致的查詢和計算服務；通過中間層以SQL語句的方式訪問HBase，采用多線程實現(xiàn)HBase上數(shù)據(jù)的高速導入、查詢和計算；對HBase和HDFS設計統(tǒng)一的緩存層，并制定有效的緩存策略，提高數(shù)據(jù)查詢速率。最后通過實驗對試驗數(shù)據(jù)管理平臺的功能和性能進行驗證，結果表明該平臺可以滿足項目需求，提供高效的云端存儲和計算服務。
【關鍵詞】：云存儲 分布式數(shù)據(jù)庫 分布式文件系統(tǒng) 緩存
【學位授予單位】：西安電子科技大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP333;TP311.13
【目錄】：

• 摘要3-4
• Abstract4-7
• 第一章 緒論7-15
• 1.1 研究背景7-8
• 1.2 存儲技術研究現(xiàn)狀8-12
• 1.3 論文主要工作12
• 1.4 論文的組織結構12-15
• 第二章 分布式存儲相關技術15-23
• 2.1 開源框架 Hadoop 介紹15-21
• 2.1.1 Hadoop 概述15
• 2.1.2 分布式文件系統(tǒng) HDFS15-17
• 2.1.3 分布式數(shù)據(jù)庫 HBase17-21
• 2.2 HBase 的 SQL 接口 Phoenix21-23
• 第三章 系統(tǒng)總體框架分析與設計23-29
• 3.1 系統(tǒng)需求分析23
• 3.2 系統(tǒng)設計目標23-24
• 3.3 系統(tǒng)設計原則24-25
• 3.4 系統(tǒng)模塊劃分25-29
• 第四章 云存儲服務的設計與實現(xiàn)29-59
• 4.1 存儲服務整體結構29-30
• 4.2 HBase 存儲服務的設計與實現(xiàn)30-49
• 4.2.1 數(shù)據(jù)庫連接池31-34
• 4.2.2 Access 數(shù)據(jù)庫的導入34-37
• 4.2.3 條件查詢和列的計算37-44
• 4.2.4 數(shù)據(jù)的定量查詢44-49
• 4.3 緩存層的設計與實現(xiàn)49-59
• 4.3.1 緩存的提出49-50
• 4.3.2 緩存的數(shù)據(jù)結構50-52
• 4.3.3 緩存的策略52-54
• 4.3.4 緩存的實現(xiàn)54-56
• 4.3.5 HBase 對緩存的支持56
• 4.3.6 HDFS 對緩存的支持56-59
• 第五章 測試與驗證59-65
• 5.1 實驗環(huán)境配置59-60
• 5.2 Access 數(shù)據(jù)導入的測試60
• 5.3 HBase 上基于列的計算的測試60-63
• 5.4 HBase 上定量查詢的測試63
• 5.5 HBase 上條件查詢和采樣的測試63-64
• 5.6 實驗小結64-65
• 第六章 總結與展望65-67
• 6.1 本文工作總結65
• 6.2 進一步研究方向65-67
• 致謝67-69
• 參考文獻69-71

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 吳光榮;柳書濤;章劍雄;;基于ZigBee的無線傳感器網(wǎng)絡數(shù)據(jù)管理平臺[J];電子科技;2009年02期

2 周敏珍;;構建統(tǒng)一數(shù)據(jù)管理平臺[J];福建電腦;2010年06期

3 陳德旺;魏天磊;侯贊;;嵌入式數(shù)字軌道地圖數(shù)據(jù)管理平臺的研究與設計[J];鐵路計算機應用;2010年07期

4 倪計民;周童;葉年業(yè);石秀勇;;基于發(fā)動機CAE的數(shù)據(jù)平臺構建[J];工業(yè)工程;2011年01期

5 唐飛;熊運余;楊璇;;基于SOA的空管數(shù)據(jù)管理平臺研究與實現(xiàn)[J];微計算機應用;2009年05期

6 遲巖;耿亮;黃種明;李葉妮;;基于異構體結構的低壓配電智能監(jiān)控系統(tǒng)設計[J];遼寧工程技術大學學報;2007年01期

7 周韻;王志平;;無線傳輸在實時水位監(jiān)測系統(tǒng)中的應用[J];電子技術應用;2007年03期

8 文必龍;王志寶;王琳琳;馮文征;;基于模型驅動的軟件集成平臺研究與實現(xiàn)[J];計算機工程與設計;2007年23期

9 張鵬;;數(shù)據(jù)激增何以解憂?[J];通信世界;2011年16期

10 劉憲軍;合理設計 充分利用網(wǎng)絡資源[J];中國計算機用戶;2000年14期

中國重要報紙全文數(shù)據(jù)庫 前10條

1 中天國際控股有限公司　劉東海;銀行業(yè)IT的70％[N];網(wǎng)絡世界;2005年

2 ;工作組級的投入 企業(yè)級的回報[N];計算機世界;2003年

3 ;工作組級的投入 企業(yè)級的回報[N];計算機世界;2003年

4 ;Sybase ASE12．5．1[N];中國計算機報;2003年

5 記者 李丹;環(huán)保合作達成廣泛共識[N];四川日報;2005年

6 ;新奧特民族視頻產(chǎn)品名揚BIRTV[N];中國計算機報;2003年

7 CommVault公司 林曉明;CommVault D2D2T技術[N];計算機世界;2005年

8 陳友梅;Linux戰(zhàn)役瞄向中端市場[N];中國計算機報;2003年

9 ;IBM DB2：業(yè)界一致的選擇[N];網(wǎng)絡世界;2001年

10 CPW記者　張振;Sybase、Turbolinux、惠普聯(lián)手打中小企業(yè)數(shù)據(jù)管理組合拳[N];電腦商報;2004年

中國博士學位論文全文數(shù)據(jù)庫 前1條

1 李筧列;流程企業(yè)模型與數(shù)據(jù)管理研究[D];浙江大學;2009年

中國碩士學位論文全文數(shù)據(jù)庫 前9條

1 唐建成;基于WSN的城市水資源數(shù)據(jù)管理平臺的研究與應用[D];西安工業(yè)大學;2014年

2 楊靜;試驗數(shù)據(jù)管理平臺云存儲服務的研究與實現(xiàn)[D];西安電子科技大學;2014年

3 張金才;設計企業(yè)管理信息系統(tǒng)的設計與應用研究[D];天津大學;2004年

4 陳振權;以SLA為中心的網(wǎng)絡運行監(jiān)測系統(tǒng)數(shù)據(jù)管理平臺設計與實現(xiàn)[D];電子科技大學;2009年

5 周杰;海上地震勘探多纜采集系統(tǒng)主控軟件研究與設計[D];中國科學技術大學;2009年

6 彭俊;基于J2EE架構的湖南國稅征管數(shù)據(jù)管理平臺的設計與實現(xiàn)[D];中南大學;2006年

7 王凱;面向SLA的網(wǎng)絡運行監(jiān)測系統(tǒng)[D];電子科技大學;2008年

8 魏海波;FQJ—108天然氣計量專用系統(tǒng)[D];重慶大學;2002年

9 魏祖寬;FIC-2000天然氣流量計量系統(tǒng)[D];合肥工業(yè)大學;2003年

  本文關鍵詞：試驗數(shù)據(jù)管理平臺云存儲服務的研究與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

，

本文編號：479060