全球Argo資料數(shù)據(jù)管理與共享方法研究
本文選題:剖面 + Argo; 參考:《浙江大學(xué)》2017年碩士論文
【摘要】:Argo計(jì)劃于1998年被提出至今,已在全球海域范圍內(nèi)投放了約12000個(gè)浮標(biāo)。Argo資料的剖面與軌跡數(shù)據(jù)對海洋和大氣科學(xué)領(lǐng)域基礎(chǔ)研究具有非常重要的科學(xué)意義。國內(nèi)外相繼開發(fā)了多種針對Argo資料的共享平臺,但在軌跡與剖面圖的共享方面,都存在實(shí)時(shí)性與靈活性差、更新代價(jià)高等不足,影響了 Argo資料的獲取利用和Argo計(jì)劃的推廣。為了解決以上問題,本文從Argo資料自身結(jié)構(gòu)組成入手,分析了原始Argo剖面資料的結(jié)構(gòu)特性:結(jié)構(gòu)化的元數(shù)據(jù)存儲屬性信息,半結(jié)構(gòu)化的實(shí)際觀測數(shù)據(jù)以多列數(shù)字矩陣的形式存儲在文本中。進(jìn)而提出了結(jié)構(gòu)化與半結(jié)構(gòu)化并存的Argo資料協(xié)同管理方法,建立Argo數(shù)據(jù)庫,設(shè)計(jì)了基于服務(wù)的多種數(shù)據(jù)訪問接口,并實(shí)現(xiàn)了浮標(biāo)漂移軌跡的高效獲取與實(shí)時(shí)可視化,重點(diǎn)解決了以下幾個(gè)關(guān)鍵問題:(1)設(shè)計(jì)了 一種多層樹狀JSON數(shù)據(jù)模型,用于組織提取出的剖面觀測數(shù)據(jù),解決了原始資料不易解析、無法管理的難題,模型能夠適應(yīng)"全球Argo海洋觀測網(wǎng)"中不斷變化的觀測參數(shù)、觀測深度和采樣分辨率的要求,并利用關(guān)系型數(shù)據(jù)庫對半結(jié)構(gòu)化屬性的擴(kuò)展支持,建立觀測數(shù)據(jù)與元數(shù)據(jù)的關(guān)聯(lián)關(guān)系,完成了 Argo數(shù)據(jù)庫的構(gòu)建。(2)針對數(shù)據(jù)量快速增長的剖面數(shù)據(jù),提出了按年份分表的存儲方法,有效地降低了單數(shù)據(jù)表的存儲壓力,并通過對近20年的全球Argo資料建庫結(jié)果進(jìn)行分析,證明該方法具有良好的可擴(kuò)展性和高效的軌跡數(shù)據(jù)獲取效率。(3)實(shí)現(xiàn)了多浮標(biāo)軌跡動(dòng)態(tài)可視化。首先利用線性插值方法,統(tǒng)一多軌跡間的點(diǎn)繪制頻率,在通過設(shè)置延遲繪制時(shí)間,實(shí)現(xiàn)了多軌跡異步繪制下的時(shí)間同步優(yōu)化。此外,利用添加輔助線的方法,巧妙地解決了 Web墨卡托投影下跨180度經(jīng)線軌跡的繪制錯(cuò)誤問題。最后,利用Web Service、地圖切片與雙緩存技術(shù)、FSH(Flex + Spring + Hibernate)框架等,建立Argo資料共享服務(wù)平臺,集成了包括多條件查詢、海區(qū)查詢、多軌跡實(shí)時(shí)繪制、可交互的剖面圖等多種功能模塊。該平臺已于中國Argo實(shí)時(shí)資料中心部署并業(yè)務(wù)化運(yùn)行,能夠快速、方便地為國內(nèi)外用戶提供Argo信息和資料服務(wù),有利于推進(jìn)Argo資料的共享與使用。研究成果也可為特征類似的剖面觀測數(shù)據(jù)管理提供技術(shù)參考
[Abstract]:The Argo plan was put forward in 1998, and the profile and trajectory data of about 12 000 buoys. Argo data have important scientific significance for the basic research in the field of ocean and atmosphere science. Many kinds of Argo data sharing platforms have been developed at home and abroad, but in the aspect of track and profile sharing, the real-time performance and flexibility are poor, and the update cost is high, which affects the access and utilization of Argo data and the promotion of Argo plan. In order to solve the above problems, this paper starts with the structure composition of Argo data, and analyzes the structural characteristics of the original Argo profile data: structured metadata store attribute information, Semi-structured actual observation data is stored in text as a multi-column digital matrix. Furthermore, the co-management method of structured and semi-structured Argo data is put forward, the Argo database is established, a variety of data access interfaces based on services are designed, and the efficient acquisition and real-time visualization of buoy drift trajectory are realized. This paper focuses on solving the following key questions: 1) designed a multi-layer tree JSON data model for organizing the extracted profile observation data, and solved the difficult problem that the original data is difficult to analyze and manage. The model can meet the requirements of changing observation parameters, observation depth and sampling resolution in the Global Argo Ocean observing Network, and use the relational database to extend the semi-structured attributes. The relationship between observation data and metadata is established, and the construction of Argo database is completed. (2) aiming at the rapidly increasing data volume of profile data, a method of storing table by year is put forward, which effectively reduces the storage pressure of single data table. By analyzing the results of global Argo database building in recent 20 years, it is proved that this method has good expansibility and efficient track data acquisition efficiency. It realizes the dynamic visualization of multi-buoy trajectory. Firstly, the linear interpolation method is used to unify the point drawing frequency between multiple trajectories. By setting the delay time, the time synchronization optimization is realized under the condition of asynchronous multi-locus rendering. In addition, by adding auxiliary line, the problem of drawing the trajectory of 180-degree longitude under Web Mercator projection is solved skillfully. Finally, using the framework of Web Service, map slicing and double cache technology, the Argo data sharing service platform is established, which includes multi-condition query, sea area query, multi-track real-time rendering, etc. Interactive profile and other functional modules. The platform has been deployed in China's Argo real-time data center and is operational. It can quickly and conveniently provide Argo information and data services to domestic and foreign users, and is conducive to the sharing and use of Argo data. The research results can also provide a technical reference for the management of profile observation data with similar characteristics.
【學(xué)位授予單位】:浙江大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2017
【分類號】:P715.2;P717
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 程少華,朱建鋼,凌曉良,方斌賢;國際框架下的中國南極數(shù)據(jù)管理研究初探[J];極地研究;1997年03期
2 景帥;;勘探開發(fā)數(shù)據(jù)管理體系研究[J];今日科苑;2007年18期
3 李國春,劉文遠(yuǎn),裘碧梧;農(nóng)業(yè)氣象數(shù)據(jù)管理及分析系統(tǒng)[J];氣象;1987年08期
4 陳彬;陳建平;馬克平;;攝影定位法野外生物考察與數(shù)據(jù)管理[J];科研信息化技術(shù)與應(yīng)用;2011年05期
5 張興;張曉菲;劉毅;沈昌祥;;一種新的授權(quán)數(shù)據(jù)管理方案[J];武漢大學(xué)學(xué)報(bào)(理學(xué)版);2007年05期
6 王yN;華夏;王建梅;;國內(nèi)外科學(xué)數(shù)據(jù)管理與共享研究[J];科技進(jìn)步與對策;2013年14期
7 董誠;黃鼎成;;科學(xué)數(shù)據(jù)資源的管理[J];中國基礎(chǔ)科學(xué);2006年06期
8 王長永,薛達(dá)元;加強(qiáng)國家生物多樣性數(shù)據(jù)管理和信息交流能力建設(shè)[J];農(nóng)村生態(tài)環(huán)境;1998年03期
9 李治慶;馬照亭;李成名;趙占杰;;3DGIS海量瓦片數(shù)據(jù)管理與調(diào)度[J];測繪科學(xué);2013年06期
10 谷光裕,魏柳,曹鳳娟;遼寧地震前兆臺網(wǎng)中心的數(shù)據(jù)管理與服務(wù)[J];東北地震研究;2002年03期
相關(guān)會議論文 前10條
1 馮偉一;張博;;PDM技術(shù)在服裝企業(yè)中的應(yīng)用[A];2005現(xiàn)代服裝紡織高科技發(fā)展研討會論文集[C];2005年
2 王_g;;淺析現(xiàn)階段煤炭集團(tuán)企業(yè)信息化數(shù)據(jù)管理的決定因素[A];第18屆全國煤礦自動(dòng)化與信息化學(xué)術(shù)會議論文集[C];2008年
3 鄭文心;謝文秀;彭勇;黃瑋;;試驗(yàn)數(shù)據(jù)管理的企業(yè)集成方法研究[A];第三屆民用飛機(jī)先進(jìn)制造技術(shù)及裝備論壇論文匯編[C];2011年
4 楊茂瑜;郎中凱;王恒芹;吳羿;;EXCEL在HIV檢測數(shù)據(jù)管理中的應(yīng)用[A];重慶市預(yù)防醫(yī)學(xué)會2012年學(xué)術(shù)年會論文集[C];2012年
5 周娜紅;宋瑋;高坤靜;;面向服務(wù)的繼電保護(hù)整定計(jì)算和數(shù)據(jù)管理研究[A];中國高等學(xué)校電力系統(tǒng)及其自動(dòng)化專業(yè)第二十四屆學(xué)術(shù)年會論文集(中冊)[C];2008年
6 沈春慧;;關(guān)于加強(qiáng)稅收征管業(yè)務(wù)數(shù)據(jù)管理的實(shí)踐與思考[A];中國管理科學(xué)文獻(xiàn)[C];2008年
7 聶培堯;徐秋元;;知識系統(tǒng)在科學(xué)數(shù)據(jù)管理中的應(yīng)用[A];第九屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集(下)[C];1990年
8 蔣愛華;;城鄉(xiāng)一體化數(shù)據(jù)管理探討[A];中國測繪學(xué)會九屆三次理事會暨2007年“信息化測繪論壇”學(xué)術(shù)年會論文集[C];2007年
9 朱曉華;;尋求深海測量數(shù)據(jù)管理新途徑——Bathy DataBASE技術(shù)研究[A];中國航海學(xué)會航標(biāo)專業(yè)委員會測繪學(xué)組學(xué)術(shù)研討會學(xué)術(shù)交流論文集[C];2008年
10 吳桂琴;趙萍;劉愛巧;;蛋雞育種數(shù)據(jù)管理與分析系統(tǒng)的應(yīng)用[A];安全優(yōu)質(zhì)的家禽生產(chǎn)——第十五次全國家禽學(xué)術(shù)討論會論文集[C];2011年
相關(guān)重要報(bào)紙文章 前10條
1 單群一;惠普:讓數(shù)據(jù)管理告別“亞健康”[N];中國稅務(wù)報(bào);2007年
2 李蒙生;數(shù)據(jù)管理年會落下帷幕 同方知網(wǎng)軟件喜獲殊榮[N];中國電腦教育報(bào);2007年
3 黎江 王頌;保險(xiǎn)公司:從數(shù)據(jù)管理“泥沼”中突圍[N];金融時(shí)報(bào);2006年
4 郭濤;統(tǒng)一數(shù)據(jù)管理 特立而獨(dú)行[N];中國計(jì)算機(jī)報(bào);2007年
5 本報(bào)記者 于翔;統(tǒng)一數(shù)據(jù)管理向“云”延伸[N];網(wǎng)絡(luò)世界;2009年
6 記者 劉一冰;CommVault再發(fā)力[N];電腦商報(bào);2011年
7 記者 劉佳;全國首個(gè)數(shù)據(jù)管理基礎(chǔ)標(biāo)準(zhǔn)在大連問世[N];遼寧日報(bào);2012年
8 趙愛東 記者 巴家偉;全國首個(gè)數(shù)據(jù)管理基礎(chǔ)標(biāo)準(zhǔn)“大連造”[N];大連日報(bào);2012年
9 《網(wǎng)絡(luò)世界》記者 柴莎莎;攜一體化夢想 翱翔數(shù)據(jù)管理天空[N];網(wǎng)絡(luò)世界;2012年
10 本報(bào)記者 陳錚;須從多維度提升水平[N];中國醫(yī)藥報(bào);2012年
相關(guān)博士學(xué)位論文 前7條
1 錢鵬;高?茖W(xué)數(shù)據(jù)管理研究[D];南京大學(xué);2012年
2 孔蘭菊;SaaS應(yīng)用交付平臺中多租戶云數(shù)據(jù)管理關(guān)鍵技術(shù)研究[D];山東大學(xué);2011年
3 馬海濤;Active XML數(shù)據(jù)管理基礎(chǔ)問題研究[D];哈爾濱工業(yè)大學(xué);2009年
4 吳剛;RDF圖數(shù)據(jù)管理的關(guān)鍵技術(shù)研究[D];清華大學(xué);2008年
5 邵峰;XML數(shù)據(jù)管理中的結(jié)構(gòu)查詢技術(shù)研究[D];浙江大學(xué);2008年
6 左維;基于XML/Web Services的月球探測數(shù)據(jù)管理與集成技術(shù)研究[D];中國科學(xué)院研究生院(地球化學(xué)研究所);2004年
7 李筧列;流程企業(yè)模型與數(shù)據(jù)管理研究[D];浙江大學(xué);2009年
相關(guān)碩士學(xué)位論文 前10條
1 白賓;外資銀行監(jiān)管數(shù)據(jù)報(bào)送系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];內(nèi)蒙古大學(xué);2015年
2 吳春靜;箭載嵌入式數(shù)據(jù)管理系統(tǒng)軟件設(shè)計(jì)與實(shí)現(xiàn)[D];中國科學(xué)院研究生院(空間科學(xué)與應(yīng)用研究中心);2015年
3 陳紅菊;新疆城鄉(xiāng)道路客運(yùn)成品油價(jià)格補(bǔ)助管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2015年
4 屠元利;巴音學(xué)院市場營銷模擬教學(xué)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2015年
5 蘇光耀;某機(jī)電企業(yè)PDM實(shí)施的研究與應(yīng)用[D];廣西大學(xué);2015年
6 趙悅璇;無線傳感網(wǎng)監(jiān)測系統(tǒng)中的數(shù)據(jù)管理與可視化[D];大連理工大學(xué);2015年
7 陽軍;都福企業(yè)數(shù)據(jù)管理網(wǎng)絡(luò)平臺的設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2015年
8 許嘉勛;基于云數(shù)據(jù)庫的企業(yè)資產(chǎn)管理應(yīng)用系統(tǒng)[D];復(fù)旦大學(xué);2013年
9 付大凡;變壓器企業(yè)PLM系統(tǒng)BOM數(shù)據(jù)管理的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2014年
10 劉月姣;基于CARMEN系統(tǒng)的寶馬項(xiàng)目數(shù)據(jù)管理統(tǒng)一協(xié)作系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2015年
,本文編號:1914231
本文鏈接:http://sikaile.net/shoufeilunwen/benkebiyelunwen/1914231.html