本文關(guān)鍵詞：基于MongoDB與Hadoop的地學(xué)遙感大數(shù)據(jù)管理系統(tǒng)的設(shè)計

  更多相關(guān)文章： 遙感數(shù)據(jù) 管理信息系統(tǒng) 系統(tǒng)設(shè)計 Mongo DB Hadoop 分布式

【摘要】：隨著遙感技術(shù)的發(fā)展,衛(wèi)星分辨率與覆蓋率的日益提高,遙感數(shù)據(jù)的數(shù)據(jù)量呈爆炸式增長,目前每天以TB級別增長,存儲級別已經(jīng)為PB級別。同時由于采集遙感數(shù)據(jù)的衛(wèi)星存在差異,導(dǎo)致數(shù)據(jù)產(chǎn)品在格式,大小等方面存在不同。因此對海量遙感數(shù)據(jù)的高效存儲與管理已經(jīng)成為業(yè)界關(guān)注的重點問題。針對該問題,本文討論了一個基于Mongo DB與Hadoop的地學(xué)遙感大數(shù)據(jù)管理系統(tǒng)的設(shè)計情況,主要研究工作有以下幾個方面:(1)分析并總結(jié)了遙感數(shù)據(jù)管理信息系統(tǒng)發(fā)展的現(xiàn)狀,給出了系統(tǒng)的總體需求及其設(shè)計原則,闡述了系統(tǒng)的業(yè)務(wù)邏輯、體系結(jié)構(gòu),規(guī)劃了系統(tǒng)的功能,設(shè)計了系統(tǒng)的數(shù)據(jù)結(jié)構(gòu),給出了系統(tǒng)的安全應(yīng)對策略;(2)對系統(tǒng)的數(shù)據(jù)采集、數(shù)據(jù)查詢、數(shù)據(jù)導(dǎo)出、數(shù)據(jù)計算服務(wù)、用戶管理、節(jié)點維護(hù)、日志管理等子系統(tǒng)進(jìn)行了設(shè)計,并對系統(tǒng)中的關(guān)鍵功能模塊進(jìn)行了算法的詳細(xì)設(shè)計與部分實現(xiàn),給出了系統(tǒng)的分布式架構(gòu)的部署方案,對系統(tǒng)部分關(guān)鍵功能模塊進(jìn)行了性能的測試;(3)對系統(tǒng)的建設(shè)進(jìn)行了總結(jié),并提出下一步的主要工作任務(wù)。
【關(guān)鍵詞】：遙感數(shù)據(jù) 管理信息系統(tǒng) 系統(tǒng)設(shè)計 Mongo DB Hadoop 分布式
【學(xué)位授予單位】：蘭州大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP311.52
【目錄】：

• 摘要3-4
• abstract4-9
• 第一章 緒論9-17
• 1.1 遙感數(shù)據(jù)管理系統(tǒng)現(xiàn)狀9-15
• 1.2 項目目標(biāo)及預(yù)期效果15-16
• 1.3 項目研究內(nèi)容16-17
• 第二章 相關(guān)理論與技術(shù)17-20
• 2.1 MONGODB概述17-18
• 2.2 HADOOP概述18-20
• 第三章 系統(tǒng)的總體設(shè)計20-29
• 3.1 總體需求及設(shè)計原則20-21
• 3.1.1 總體需求20
• 3.1.2 系統(tǒng)的設(shè)計原則20-21
• 3.2 系統(tǒng)的業(yè)務(wù)邏輯21-22
• 3.3 系統(tǒng)的體系結(jié)構(gòu)22-23
• 3.4 系統(tǒng)的功能模塊23-24
• 3.5 系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)設(shè)計24-27
• 3.5.1 概述24-25
• 3.5.2 用戶個人信息數(shù)據(jù)結(jié)構(gòu)設(shè)計25
• 3.5.3 用戶狀態(tài)數(shù)據(jù)結(jié)構(gòu)設(shè)計25
• 3.5.4 用戶作業(yè)數(shù)據(jù)結(jié)構(gòu)設(shè)計25-26
• 3.5.5 系統(tǒng)信息數(shù)據(jù)結(jié)構(gòu)設(shè)計26
• 3.5.6 日志數(shù)據(jù)結(jié)構(gòu)設(shè)計26
• 3.5.7 遙感元數(shù)據(jù)數(shù)據(jù)結(jié)構(gòu)設(shè)計26-27
• 3.6 系統(tǒng)的安全策略27-28
• 3.7 系統(tǒng)的環(huán)境及要求28-29
• 第四章 數(shù)據(jù)采集子系統(tǒng)的設(shè)計29-37
• 4.1 概述29-30
• 4.2 數(shù)據(jù)采集子系統(tǒng)中關(guān)鍵功能模塊的設(shè)計30-37
• 4.2.1 圖像入庫30-31
• 4.2.2 遙感產(chǎn)品入庫31-33
• 4.2.3 CSV數(shù)據(jù)入庫33-34
• 4.2.4 用戶自定義數(shù)據(jù)入庫34-35
• 4.2.5 查詢結(jié)果導(dǎo)入計算節(jié)點35-37
• 第五章 數(shù)據(jù)查詢子系統(tǒng)的設(shè)計與實現(xiàn)37-43
• 5.1 概述37
• 5.2 數(shù)據(jù)查詢子系統(tǒng)中關(guān)鍵功能模塊的設(shè)計與實現(xiàn)37-43
• 5.2.1 簡單查詢37-38
• 5.2.2 復(fù)雜查詢38-41
• 5.2.3 空間查詢41-42
• 5.2.4 地圖查詢42-43
• 第六章 數(shù)據(jù)導(dǎo)出子系統(tǒng)的設(shè)計43-51
• 6.1 概述43-44
• 6.2 數(shù)據(jù)導(dǎo)出子系統(tǒng)中關(guān)鍵功能模塊的設(shè)計44-51
• 6.2.1 圖表展示44-45
• 6.2.2 地圖展示45-47
• 6.2.3 動態(tài)展示47-48
• 6.2.4 數(shù)據(jù)下載48-51
• 第七章 數(shù)據(jù)計算服務(wù)子系統(tǒng)的設(shè)計51-61
• 7.1 概述51-52
• 7.2 數(shù)據(jù)計算服務(wù)子系統(tǒng)中關(guān)鍵功能模塊的設(shè)計與實現(xiàn)52-61
• 7.2.1 數(shù)據(jù)去重52-53
• 7.2.2 坐標(biāo)變換53-55
• 7.2.3 地圖融合55-57
• 7.2.4 像素統(tǒng)計57-59
• 7.2.5 圖像識別59-61
• 第八章 用戶管理子系統(tǒng)的設(shè)計61-69
• 8.1 概述61-62
• 8.2 用戶管理子系統(tǒng)中關(guān)鍵功能模塊的設(shè)計62-69
• 8.2.1 用戶基本管理62-64
• 8.2.2 用戶權(quán)限管理64-65
• 8.2.3 用戶作業(yè)管理65-67
• 8.2.4 用戶行為分析67-69
• 第九章 節(jié)點維護(hù)子系統(tǒng)的設(shè)計69-78
• 9.1 概述69-70
• 9.2 節(jié)點維護(hù)子系統(tǒng)中關(guān)鍵功能模塊的設(shè)計70-78
• 9.2.1 節(jié)點運(yùn)行監(jiān)控70-71
• 9.2.2 節(jié)點動態(tài)拓?fù)?/span>71-72
• 9.2.3 節(jié)點配置設(shè)置72-74
• 9.2.4 數(shù)據(jù)分片設(shè)置74-75
• 9.2.5 節(jié)點任務(wù)分配75-78
• 第十章 日志管理子系統(tǒng)的設(shè)計78-85
• 10.1 概述78-79
• 10.2 日志管理子系統(tǒng)中關(guān)鍵功能模塊的設(shè)計79-85
• 10.2.1 節(jié)點日志收集79-80
• 10.2.2 日志并行分析80-82
• 10.2.3 日志備份82-83
• 10.2.4 分析結(jié)果可視化83-85
• 第十一章 系統(tǒng)的分布式架構(gòu)部署85-90
• 11.1 概述85
• 11.2 MONGODB分布式架構(gòu)的部署85-87
• 11.3 HADOOP分布式架構(gòu)的部署87-89
• 11.4 MONGODB與HADOOP分布式架構(gòu)統(tǒng)一管理89-90
• 第十二章 系統(tǒng)性能及部分應(yīng)用測試90-98
• 12.1 概述90
• 12.2 系統(tǒng)分布式存儲架構(gòu)穩(wěn)定性測試90-91
• 12.3 系統(tǒng)分布式存儲架構(gòu)安全性測試91-92
• 12.4 數(shù)據(jù)清洗及數(shù)據(jù)導(dǎo)入性能測試92-97
• 12.5 數(shù)據(jù)檢索性能測試97-98
• 第十三章 總結(jié)及下一步工作98-100
• 13.1 工作總結(jié)98
• 13.2 下一步主要工作98-100
• 參考文獻(xiàn)100-102
• 攻讀碩士期間參加的主要科研項目102-103
• 致謝103-104
• 附錄1 L45TM數(shù)據(jù)產(chǎn)品元數(shù)據(jù)清洗及導(dǎo)入代碼104-106
• 附錄2 L45TM數(shù)據(jù)產(chǎn)品內(nèi)文件解壓及導(dǎo)入代碼106-108
• 附錄3 波段文件名中元數(shù)據(jù)的提取代碼108-109

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 阮高華;倉庫基礎(chǔ)數(shù)據(jù)管理系統(tǒng)通過部級鑒定[J];計算機(jī)應(yīng)用研究;1990年01期

2 楊則正;數(shù)據(jù)管理系統(tǒng)展示[J];管理科學(xué)文摘;1996年09期

3 楊英;廣泛采用技術(shù)數(shù)據(jù)管理系統(tǒng)的困難[J];管理科學(xué)文摘;1997年11期

4 柴振榮;技術(shù)數(shù)據(jù)管理系統(tǒng)的采用問題[J];管理科學(xué)文摘;1998年11期

5 柳青,吳少敏;腫瘤發(fā)病登記數(shù)據(jù)管理系統(tǒng)的設(shè)計與應(yīng)用[J];計算技術(shù)與自動化;1998年04期

6 杜益虹;建筑數(shù)據(jù)管理系統(tǒng)的設(shè)計[J];無錫輕工大學(xué)學(xué)報;2001年04期

7 于勇,黃曉瑞,姜興渭;航天器推進(jìn)系統(tǒng)數(shù)據(jù)管理系統(tǒng)的研制開發(fā)[J];航空兵器;2001年04期

8 劉桂蘭;中原油田電力現(xiàn)狀信息數(shù)據(jù)管理系統(tǒng)[J];電氣時代;2002年09期

9 王振亞,師華,楊濤,孟紅文,郭太祥;計控網(wǎng)絡(luò)數(shù)據(jù)管理系統(tǒng)的開發(fā)和應(yīng)用[J];河南冶金;2003年04期

10 王沛 ,鄭冶鋼 ,姚丹宏 ,呂杰 ,徐桂蘢;遼寧農(nóng)作物新品種圖文數(shù)據(jù)管理系統(tǒng)的研制[J];計算機(jī)與農(nóng)業(yè).綜合版;2003年06期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 張維忠;宋永紅;;港口交管船舶數(shù)據(jù)管理系統(tǒng)[A];船舶通信導(dǎo)航學(xué)術(shù)會議（1993）論文集[C];1993年

2 康強(qiáng)利;趙敏;孔朝輝;;石化公司腐蝕數(shù)據(jù)管理系統(tǒng)的建立及應(yīng)用[A];石油和化工設(shè)備管道防腐技術(shù)與對策專題研討會文集[C];2010年

3 邢延團(tuán);劉增平;張若輝;王可周;;煤礦地震數(shù)據(jù)管理系統(tǒng)的地質(zhì)保障作用[A];中國煤炭學(xué)會礦井地質(zhì)專業(yè)委員會、中國煤炭工業(yè)勞動保護(hù)科學(xué)技術(shù)學(xué)會水害防治專業(yè)委員會2005年學(xué)術(shù)交流會論文集[C];2005年

4 崔若飛;武旭仁;;煤礦地震數(shù)據(jù)管理系統(tǒng)的開發(fā)[A];山東煤炭學(xué)會2004年度優(yōu)秀學(xué)術(shù)論文集[C];2004年

5 巫志峰;曾星;;應(yīng)用科學(xué)數(shù)據(jù)管理系統(tǒng)(SDMS)進(jìn)行Ⅰ期臨床試驗數(shù)據(jù)管理[A];2008第十一次全國臨床藥理學(xué)學(xué)術(shù)大會論文集[C];2008年

6 米東海;郭海林;;物理實驗室性能檢驗數(shù)據(jù)管理系統(tǒng)開發(fā)[A];2011年河北省煉鐵技術(shù)暨學(xué)術(shù)年會論文集[C];2011年

7 李璋;;淺談基于螺旋模型式的熱拌瀝青混合料質(zhì)量數(shù)據(jù)管理系統(tǒng)的測試與質(zhì)量保證[A];天津市電視技術(shù)研究會2013年年會論文集[C];2013年

8 張曉梅;閻小飛;;CMS北京網(wǎng)格站點數(shù)據(jù)管理系統(tǒng)的研究和實現(xiàn)[A];第十四屆全國核電子學(xué)與核探測技術(shù)學(xué)術(shù)年會論文集（下冊）[C];2008年

9 楊紹戰(zhàn);陳建勛;趙超志;左慶忠;;隧道監(jiān)控量測數(shù)據(jù)管理系統(tǒng)研究[A];自主創(chuàng)新與持續(xù)增長第十一屆中國科協(xié)年會論文集（3）[C];2009年

10 孫輝先;陳小敏;;Cluster衛(wèi)星的數(shù)據(jù)管理系統(tǒng)[A];中國空間科學(xué)學(xué)會空間探測專業(yè)委員會第十三次學(xué)術(shù)會議論文集[C];2000年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 越途;廣東公路基礎(chǔ)數(shù)據(jù)管理系統(tǒng)顯現(xiàn)路況信息[N];中國測繪報;2004年

2 記者 張銀炎;上海航運(yùn)所數(shù)據(jù)管理系統(tǒng)批量裝船[N];中國船舶報;2008年

3 劉學(xué)軍　趙燕 許新賀;河北鋼鐵唐鋼啟動信息化主數(shù)據(jù)管理系統(tǒng)項目[N];中國冶金報;2011年

4 張雙 王云峰;黑河電業(yè)局建設(shè)營銷數(shù)據(jù)管理系統(tǒng)[N];中國電力報;2005年

5 王志田邋通訊員 陳艷新;大慶氣田開發(fā)數(shù)據(jù)管理系統(tǒng)進(jìn)入試運(yùn)行[N];中國石油報;2007年

6 記者 林強(qiáng);哈爾濱市物價局研發(fā)出“物價通”系統(tǒng)[N];中國經(jīng)濟(jì)導(dǎo)報;2009年

7 劉春;首鋼礦業(yè)公司成功開發(fā)實施無線遠(yuǎn)程抄表及數(shù)據(jù)管理系統(tǒng)[N];世界金屬導(dǎo)報;2006年

8 記者 江華;科學(xué)用藥將有據(jù)可循[N];農(nóng)資導(dǎo)報;2013年

9 王希建 馮雷;油庫計量數(shù)據(jù)管理系統(tǒng)[N];中國石化報;2003年

10 張萍 劉金花;天津石化運(yùn)銷部信息化管理一目了然[N];中國石化報;2006年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 邵明義;中藥新藥臨床試驗數(shù)據(jù)管理系統(tǒng)的設(shè)計及應(yīng)用研究[D];成都中醫(yī)藥大學(xué);2009年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 李杰斌;基于分布式系統(tǒng)的XML元數(shù)據(jù)管理系統(tǒng)的UI設(shè)計與實現(xiàn)[D];復(fù)旦大學(xué);2013年

2 張林;運(yùn)煤車全自動采樣及綜合數(shù)據(jù)管理系統(tǒng)的研究與實現(xiàn)[D];華北電力大學(xué);2015年

3 許明莉;高速精密數(shù)控機(jī)床軸承全生命周期數(shù)據(jù)管理系統(tǒng)研發(fā)[D];河南科技大學(xué);2015年

4 王浩軒;基于統(tǒng)一支撐平臺的電網(wǎng)安穩(wěn)數(shù)據(jù)管理系統(tǒng)的研究與開發(fā)[D];復(fù)旦大學(xué);2014年

5 顧天寶;海上試驗場平臺數(shù)據(jù)管理系統(tǒng)的設(shè)計與實現(xiàn)[D];大連理工大學(xué);2015年

6 路奕;衛(wèi)生監(jiān)督數(shù)據(jù)管理系統(tǒng)的設(shè)計與實現(xiàn)[D];大連理工大學(xué);2015年

7 葉冠南;基于GPRS的智能充電樁數(shù)據(jù)管理系統(tǒng)的設(shè)計與實現(xiàn)[D];浙江工業(yè)大學(xué);2014年

8 鄭波;企業(yè)的市場發(fā)展基礎(chǔ)數(shù)據(jù)管理系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2014年

9 劉婷婷;住宅小區(qū)智能監(jiān)控管理系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2014年

10 夏菁;基于HDFS的微博數(shù)據(jù)管理系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2014年

，

本文編號：1068004