本文關(guān)鍵詞：基于Hadoop的氣象信息云存儲系統(tǒng)設(shè)計與實現(xiàn)

  更多相關(guān)文章： Hadoop HBase 氣象信息 云存儲

【摘要】：氣象信息存儲系統(tǒng)主要用于省市或者全國的氣象數(shù)據(jù)存儲、顯示、管理和檢索,是氣象預(yù)報工作的基礎(chǔ)部門,也是氣象部門中使用頻率較高的信息化系統(tǒng)之一。當前,隨著各大部門氣象信息的數(shù)據(jù)量和氣象數(shù)據(jù)種類不斷高速地增長,如何高效可靠地存儲、管理使用豐富的氣象數(shù)據(jù)信息變得十分重要,傳統(tǒng)的氣象數(shù)據(jù)存儲方式采用文件存儲或者分布式關(guān)系數(shù)據(jù)庫存儲,這種存儲方案日益無法滿足用戶對精細化氣象預(yù)報業(yè)務(wù)的要求。本文設(shè)計了一種基于Linux OS和HDFS的氣象信息云存儲系統(tǒng),能夠部署在普通服務(wù)器上,可以很容易擴大整個存儲系統(tǒng)的處理容量,提高了數(shù)據(jù)可靠性的同時也為氣象部門節(jié)約了成本。氣象信息云存儲系統(tǒng)由分布式文件系統(tǒng)、局域通信網(wǎng)絡(luò)、服務(wù)器集群系統(tǒng)、虛擬化存儲技術(shù)等構(gòu)成,把分布在網(wǎng)絡(luò)上的各種存儲設(shè)備整合成為一個資源池,作為一個服務(wù)體系對外提供統(tǒng)一的訪問接口。這樣不僅可以有效整合存儲資源,還可以提高存儲的便捷性和資源共享。用戶上傳的氣象文件都存儲在一個海量數(shù)據(jù)存儲池里面;當用戶查找和下載需要的資源時,可以自由方便地從存儲池中下載下來,靈活性很高。用戶層采用擴展性好、架構(gòu)清晰的SSH(Spring+Struts2+Hibernate)框架實現(xiàn)了Web訪問界面,用戶和管理員在不需要了解底層存儲細節(jié)的情況下,也能夠?qū)庀髷?shù)據(jù)進行可視化管理、檢索和維護。本文最終開發(fā)完成的系統(tǒng)優(yōu)點如下:一、能夠存儲海量數(shù)據(jù)。系統(tǒng)中多臺存儲設(shè)備并發(fā)存取,協(xié)同工作,不僅提高了存儲容量也提高了存儲速度。二、系統(tǒng)可自由擴展。可以對訪問頻率較高的數(shù)據(jù)實行多副本策略,在不影響整個系統(tǒng)運營的下進行動態(tài)的容量擴展。三、數(shù)據(jù)存儲透明化。后臺數(shù)據(jù)的存儲空間由Hadoop系統(tǒng)自動分配,用戶無需考慮數(shù)據(jù)的存儲方式和存儲位置。四、系統(tǒng)的可靠性高。Hadoop使用快速恢復(fù)算法、多副本機制和校驗函數(shù)來保障數(shù)據(jù)的完整性和可靠性,用戶無需關(guān)心數(shù)據(jù)如何保存,或者采用什么樣的格式保存,數(shù)據(jù)存儲會否出錯。五、費用較低。采用開源免費的Hadoop框架和普通的X86服務(wù)器,可以為氣象部門大量節(jié)省經(jīng)費,緩解各省市經(jīng)費緊張的局面。因此本系統(tǒng)能夠為海量氣象信息的存儲提供一套完整的解決方案,在氣象部門將會具有廣闊的應(yīng)用前景。
【關(guān)鍵詞】：Hadoop HBase 氣象信息 云存儲
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP333
【目錄】：

• 摘要5-6
• ABSTRACT6-11
• 第一章 緒論11-15
• 1.1 研究背景和意義11-12
• 1.2 國內(nèi)外研究現(xiàn)狀12-13
• 1.3 論文工作內(nèi)容13
• 1.4 論文組織結(jié)構(gòu)13-15
• 第二章 相關(guān)技術(shù)研究15-29
• 2.1 開發(fā)技術(shù)介紹15-22
• 2.1.1 JSP技術(shù)簡介15-16
• 2.1.2 MySQL簡介16-17
• 2.1.3 Eclipse開發(fā)環(huán)境簡介17-18
• 2.1.4 Tomcat服務(wù)器簡介18-19
• 2.1.5 Zookeeper簡介19-20
• 2.1.6 HBase簡介20-22
• 2.1.7 Hadoop Eclipse插件簡介22
• 2.2 Hadoop系統(tǒng)結(jié)構(gòu)22-23
• 2.3 Hadoop設(shè)計思想23-27
• 2.3.1 Hadoop數(shù)據(jù)組織23-24
• 2.3.2 Hadoop文件讀取24-26
• 2.3.3 Hadoop文件寫入26-27
• 2.4 Hadoop容災(zāi)備份27-29
• 2.4.1 Hadoop副本備份機制27
• 2.4.2 HadoopCRC校驗27-29
• 第三章 系統(tǒng)需求分析29-35
• 3.1 系統(tǒng)現(xiàn)狀分析29-30
• 3.2 系統(tǒng)數(shù)據(jù)分析30-31
• 3.3 系統(tǒng)用戶分析31-32
• 3.4 系統(tǒng)功能分析32-33
• 3.4.1 系統(tǒng)設(shè)計思路32
• 3.4.2 系統(tǒng)工作流程32-33
• 3.5 系統(tǒng)可行性分析33-35
• 第四章 系統(tǒng)設(shè)計35-47
• 4.1 系統(tǒng)功能設(shè)計35-39
• 4.1.1 系統(tǒng)頂層數(shù)據(jù)流圖35-36
• 4.1.2 系統(tǒng)一層數(shù)據(jù)流圖36
• 4.1.3 系統(tǒng)二層數(shù)據(jù)流圖36-39
• 4.2 系統(tǒng)UML圖設(shè)計39-43
• 4.2.1 系統(tǒng)活動圖設(shè)計39-40
• 4.2.2 系統(tǒng)順序圖設(shè)計40-42
• 4.2.3 系統(tǒng)協(xié)作圖設(shè)計42-43
• 4.3 系統(tǒng)存儲結(jié)構(gòu)設(shè)計43-44
• 4.4 系統(tǒng)數(shù)據(jù)庫設(shè)計44-47
• 4.4.1 數(shù)據(jù)庫概念設(shè)計44
• 4.4.2 數(shù)據(jù)庫表結(jié)構(gòu)設(shè)計44-47
• 第五章 系統(tǒng)實現(xiàn)47-65
• 5.1 存儲模塊實現(xiàn)47-54
• 5.1.1 底層Hadoop系統(tǒng)設(shè)計47-53
• 5.1.2 操作界面與Hadoop的連接設(shè)計53-54
• 5.2 管理員模塊實現(xiàn)54-61
• 5.2.1 用戶管理模塊55-56
• 5.2.2 服務(wù)器管理模塊56
• 5.2.3 文件管理模塊56-57
• 5.2.4 文件歸檔模塊57-58
• 5.2.5 自動備份模塊58-59
• 5.2.6 文件同步模塊59-61
• 5.3 普通用戶模塊實現(xiàn)61-65
• 5.3.1 用戶信息修改模塊61-62
• 5.3.2 氣象文件上傳模塊62-63
• 5.3.3 氣象文件下載模塊63-65
• 第六章 系統(tǒng)測試65-69
• 6.1 測試平臺65
• 6.2 功能測試65-67
• 6.2.1 用戶登錄模塊測試66-67
• 6.2.2 用戶個人信息模塊測試67
• 6.3 壓力測試67-69
• 6.3.1 可靠性測試68
• 6.3.2 響應(yīng)性能測試68-69
• 第七章 總結(jié)與展望69-71
• 7.1 總結(jié)69-70
• 7.2 展望70-71
• 致謝71-72
• 參考文獻72-74

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 李紅;藍光存儲系統(tǒng) 光盤容量高達23G[J];信息記錄材料;2004年01期

2 ;存儲系統(tǒng) 金融行業(yè)應(yīng)用卓越獎 醫(yī)療行業(yè)應(yīng)用卓越獎[J];每周電腦報;2004年20期

3 諾拉;EMC Symmetrix DMX-3存儲系統(tǒng) 超大容量 高速存取[J];中國計算機用戶;2005年31期

4 謝世誠;;浪潮推出4Gb光纖存儲系統(tǒng)[J];微型機與應(yīng)用;2006年07期

5 ;昆騰分級存儲系統(tǒng)[J];軟件世界;2009年11期

6 ;超低功耗云存儲系統(tǒng)或被地方政府看好[J];中國有線電視;2013年08期

7 湯赫男;;云存儲系統(tǒng)的分析與應(yīng)用研究[J];計算機光盤軟件與應(yīng)用;2013年24期

8 諶偉;;云存儲系統(tǒng)的分析與應(yīng)用探討[J];數(shù)字技術(shù)與應(yīng)用;2013年10期

9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構(gòu)筑企業(yè)存儲系統(tǒng)[J];中國計算機用戶;2000年08期

10 賈莉;;Symmetrix8000實現(xiàn)19TB存儲[J];每周電腦報;2000年18期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 趙志剛;;存儲系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲系統(tǒng)設(shè)計[A];安全高效礦井機電裝備及信息化技術(shù)——陜西省煤炭學(xué)會學(xué)術(shù)年會論文集（2011）[C];2011年

3 孫哲;李昌銀;;構(gòu)建核電高可用云存儲系統(tǒng)[A];2012電力行業(yè)信息化年會優(yōu)秀論文專輯[C];2012年

4 焦超;周天彤;李祥學(xué);李建華;;面向災(zāi)備的高性能可信存儲系統(tǒng)設(shè)計[A];第十一屆保密通信與信息安全現(xiàn)狀研討會論文集[C];2009年

5 汪位龍;;設(shè)計院存儲系統(tǒng)建設(shè)初探[A];中國公路學(xué)會計算機應(yīng)用分會2004年年會學(xué)術(shù)論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲系統(tǒng)分析[A];2009年中國高校通信類院系學(xué)術(shù)研討會論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲系統(tǒng)的應(yīng)用[A];中國氣象學(xué)會2006年年會“中尺度天氣動力學(xué)、數(shù)值模擬和預(yù)測”分會場論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計算的冗余刪除存儲系統(tǒng)[A];電力行業(yè)新一代信息技術(shù)研討會論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲系統(tǒng)的研究與實現(xiàn)[A];中國高等教育學(xué)會教育信息化分會第十次學(xué)術(shù)年會論文集[C];2010年

10 宮海林;郭長國;苑洪亮;王懷民;;支持事務(wù)的非結(jié)構(gòu)化數(shù)據(jù)聚合存儲系統(tǒng)GSL[A];2006年全國開放式分布與并行計算機學(xué)術(shù)會議論文集（三）[C];2006年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 ;第三季度中國存儲系統(tǒng)市場達19.1億元[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報;2005年

2 本報記者 薛斐;服務(wù)：存儲系統(tǒng)的靈魂[N];計算機世界;2002年

3 單群一;惠普推出全新一體化存儲系統(tǒng)[N];中國稅務(wù)報;2007年

4 ;浪潮推出4Gb光纖存儲系統(tǒng)[N];人民郵電;2006年

5 ;今年第二季度 存儲系統(tǒng)市場價值達12.6億元[N];人民郵電;2006年

6 郭;日立推出普及型存儲系統(tǒng)[N];計算機世界;2007年

7 陳耀光;朗登 扛起存儲系統(tǒng)設(shè)計院的大旗[N];中國企業(yè)報;2001年

8 ;富士通存儲系統(tǒng)全面升級[N];網(wǎng)絡(luò)世界;2009年

9 ;EMC亞洲生產(chǎn)制造中心落戶深圳[N];網(wǎng)絡(luò)世界;2009年

10 臨履;存儲系統(tǒng)有了“設(shè)計院”[N];網(wǎng)絡(luò)世界;2001年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 趙雨虹;云存儲系統(tǒng)資源調(diào)度技術(shù)研究[D];華中科技大學(xué);2015年

2 王福偉;列存儲系統(tǒng)的數(shù)據(jù)安全與網(wǎng)絡(luò)性能優(yōu)化模型研究[D];燕山大學(xué);2016年

3 張菁;大規(guī)模分布式糾刪碼存儲系統(tǒng)中的高效數(shù)據(jù)傳輸技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2015年

4 陸承濤;存儲系統(tǒng)性能管理問題的研究[D];華中科技大學(xué);2010年

5 聶雪軍;內(nèi)容感知存儲系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

6 羅東健;大規(guī)模存儲系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

7 聶雪軍;內(nèi)容感知存儲系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

8 王鵬;低密度奇偶校驗碼應(yīng)用于存儲系統(tǒng)的關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2013年

9 刁瑩;用數(shù)學(xué)建模方法評價存儲系統(tǒng)性能[D];哈爾濱工程大學(xué);2013年

10 符青云;面向大規(guī)模流媒體服務(wù)的高性能存儲系統(tǒng)研究[D];電子科技大學(xué);2009年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學(xué);2015年

2 俞新杰;跨數(shù)據(jù)中心容錯的云存儲系統(tǒng)[D];浙江大學(xué);2016年

3 王振升;可重構(gòu)堆疊存儲系統(tǒng)的設(shè)計及實現(xiàn)研究[D];太原理工大學(xué);2016年

4 王海群;面向數(shù)字社區(qū)的云存儲系統(tǒng)的研究與實現(xiàn)[D];中國海洋大學(xué);2015年

5 范海震;基于Linux的MPEG-4圖像壓縮存儲系統(tǒng)[D];西安電子科技大學(xué);2008年

6 陳運海;編碼容錯的云存儲系統(tǒng)與性能優(yōu)化[D];南京大學(xué);2013年

7 盧義婉;基于網(wǎng)絡(luò)編碼的云存儲系統(tǒng)中負載均衡技術(shù)研究[D];南京大學(xué);2013年

8 王謙;云存儲系統(tǒng)基于屬性的數(shù)據(jù)訪問控制研究[D];江蘇大學(xué);2016年

9 蔡京津;基于Orleans的塊存儲系統(tǒng)的設(shè)計與實現(xiàn)[D];吉林大學(xué);2016年

10 王丹丹;數(shù)字射頻存儲系統(tǒng)中高速DAC電路的設(shè)計與實現(xiàn)[D];燕山大學(xué);2016年

，

本文編號：863234