本文關鍵詞： 海洋大數(shù)據(jù) 數(shù)據(jù)建模 數(shù)據(jù)索引 數(shù)據(jù)劃分　出處：《上海海洋大學》2016年碩士論文　論文類型：學位論文

【摘要】：近年來,隨著信息技術的不斷更新,尤其是信息獲取技術、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)以及社交網(wǎng)絡等技術的突飛猛進,導致了各行業(yè)數(shù)據(jù)量的急劇增長,企業(yè)及互聯(lián)網(wǎng)數(shù)據(jù)以每年50%的速率在增長,據(jù)保守估計,目前每年全球至少產(chǎn)生15億TB的新數(shù)據(jù),行業(yè)大數(shù)據(jù)已經(jīng)成為目前研究的熱點。海洋發(fā)展戰(zhàn)略在國家戰(zhàn)略的地位日益突顯,海洋領域的各類應用對推動海洋信息化發(fā)展具有重大的意義。海洋環(huán)境監(jiān)測手段及設備的多樣化和廣布局,包括:浮標、衛(wèi)星、遙感、傳感器、監(jiān)測站等實時數(shù)據(jù)源采集不僅造成了數(shù)據(jù)量的密集增長,同時數(shù)據(jù)呈現(xiàn)出異構性、海量性、多樣性、實時性、相似性等特征,因此海洋數(shù)據(jù)無疑成為大數(shù)據(jù)的典范。針對該領域數(shù)據(jù)特征,深入分析數(shù)據(jù)模式,研究高效的數(shù)據(jù)存儲、劃分及查詢策略是目前亟須解決的海洋應用問題。海洋數(shù)據(jù)的異構、多樣、復雜等特征,使得數(shù)據(jù)的存儲模式脫離關系型結構,給數(shù)據(jù)的快速查詢和高效利用造成了應用難題,帶來了如下問題:如何無需手動調(diào)整低層次的視覺及內(nèi)容細節(jié),以完成表格數(shù)據(jù)的合理劃分及關系轉(zhuǎn)換,從而實現(xiàn)給定領域內(nèi)其結構化存儲。海洋數(shù)據(jù)的海量性、相似性及空間相關性等特征,給海洋應用(如極地在線考察、怪潮災害反演)上的數(shù)據(jù)快速獲取和查詢造成了巨大的壁壘,帶來了如下問題:1)如何對數(shù)據(jù)計算節(jié)點進行動態(tài)劃分,以適應海洋應用高性能計算、強實時反饋、高頻度查詢等需求;2)如何建立面向海洋領域的多層索引結構,從而滿足多源數(shù)據(jù)實時查詢響應需求,加快了海洋數(shù)字化和信息化進程。為此,本文分別提出了全局劃分和局部劃分策略,在此基礎上實現(xiàn)了主從索引機制,從而提高數(shù)據(jù)的利用率及海洋應用的查詢效率。深入學習海洋數(shù)據(jù)特征,以數(shù)據(jù)為樣本研究分布式存儲及索引技術是解決目前應用壁壘的有效途徑。針對上述問題,本章節(jié)從如下技術路線來優(yōu)化數(shù)據(jù)的存儲和查詢問題:數(shù)據(jù)建模、數(shù)據(jù)劃分及索引結構,其主要創(chuàng)新及研究內(nèi)容描述如下:1、對海洋數(shù)據(jù)存儲及表示形式進行描述,面向excel、csv等不具有明確結構的特殊非結構化數(shù)據(jù),提出了一種新的基于tabular庫的關系數(shù)據(jù)模型并討論了其上的查詢及優(yōu)化問題。本文利用partipath劃分樹,保留表格的語義信息,對表格的關系劃分及結構轉(zhuǎn)換,形成數(shù)據(jù)模式。在此技術上定義了表單數(shù)據(jù)上的基本查詢問題及融合用戶興趣指數(shù)改進查詢相似度指標,以滿足特定查詢需求。2、針對數(shù)據(jù)存儲中的關鍵問題——數(shù)據(jù)劃分,本文首先通過訓練采集數(shù)據(jù)獲取數(shù)據(jù)的特征及內(nèi)部規(guī)律,根據(jù)其空間自相關性及分布特征等,制定基于amsp的全局劃分策略,將符合特征描述的數(shù)據(jù)轉(zhuǎn)移到各分布式結點上。其次以需求為導向和用戶行為為基礎,制定基于amsp的自適應局部劃分策略,該策略能及時轉(zhuǎn)移局部數(shù)據(jù),保證存儲節(jié)點的深度一致及平衡�；赼dmd和amsp的劃分模式,設計多層索引結構能顯著提高數(shù)據(jù)的利用率及數(shù)據(jù)池的訪問效率。3、在上述數(shù)據(jù)劃分的基礎上,本文提出一種主從索引架構體系,基于AMDM的時間間隔B+-tree索引作為全局索引;基于AMSP的L-RR*樹作為局部索引。在此基礎上查詢處理研究主要分為兩個步驟:首先,查詢接收器通過時態(tài)主索引找到所有與之相關的節(jié)點,并建立查詢鏈接。第二步,執(zhí)行并行化的局部索引搜索模式,并最終的信息返回到客戶端。對比實驗驗證,本文結合實際應用場景論證了該技術架構的合理性,該結構滿足了大批量多源數(shù)據(jù)實時查詢響應及查詢服務并行運算處理的需求。
[Abstract]:In recent years , with the continuous updating of information technology , especially the technology of information acquisition , Internet , Internet of Things and social networks , the rapid growth of data in various industries has led to the rapid growth of data in various industries . This paper proposes a new method based on amsp , which can improve the utilization rate of data and query efficiency of data pool .

【學位授予單位】：上海海洋大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：P717;TP311.13

【相似文獻】

相關期刊論文 前10條

1 胡松林,王一凡;運用實體——聯(lián)系模型數(shù)據(jù)建模[J];湖北師范學院學報(自然科學版);2000年02期

2 張文勝,馬麟,李建國;基于圖像的虛擬現(xiàn)實空間數(shù)據(jù)建模方法[J];城市勘測;2005年01期

3 高寧寧;;基于Excel的數(shù)據(jù)建模挖掘[J];中央民族大學學報(自然科學版);2008年01期

4 劉超;吳喜之;;傳統(tǒng)統(tǒng)計面對的挑戰(zhàn)[J];統(tǒng)計與信息論壇;2011年12期

5 楊球,朱崇軍;運用語義對象模型進行數(shù)據(jù)建模[J];湖北師范學院學報(自然科學版);1999年01期

6 傅學芳;基于GP/GA的數(shù)據(jù)建模方法[J];數(shù)理統(tǒng)計與管理;2001年04期

7 王雁苓;孫利;郭新辰;呂學實;;應用字典數(shù)據(jù)建模[J];吉林大學學報(理學版);2013年02期

8 張春明,孫豁然,王恩德,趙志剛,范鐵生;礦產(chǎn)資源信息系統(tǒng)空間屬性數(shù)據(jù)建模方法[J];金屬礦山;2005年06期

9 葛偉鵬;袁道陽;郭華;;對城市活斷層探測項目中地震地質(zhì)數(shù)據(jù)建模的探討[J];西北地震學報;2006年02期

10 邢泉;;基于TableDesigner的語義對象數(shù)據(jù)建模[J];大眾科技;2009年01期

相關會議論文 前4條

1 邵信光;楊慧中;石晨曦;;ε不敏感支持向量回歸在化工數(shù)據(jù)建模中的應用[A];江蘇省自動化學會七屆四次理事會暨2004學術年會青年學者論壇論文集[C];2004年

2 申曉留;張廣月;;配電GIS數(shù)據(jù)建模的應用和研究[A];2006電力系統(tǒng)自動化學術交流研討大會論文集[C];2006年

3 屈詠梅;殷伯明;;LH小學學業(yè)進步GM(1,1)四數(shù)據(jù)建模與未來預測[A];第19屆灰色系統(tǒng)全國會議論文集[C];2010年

4 張亮;熊泳;張杭;;SCADA軟件中的數(shù)據(jù)建模[A];第五屆全國智能化電器及應用研討會會議論文集[C];2001年

相關博士學位論文 前4條

1 劉向陽;多流形數(shù)據(jù)建模及其應用[D];上海交通大學;2011年

2 呂曉艷;基于決策樹的數(shù)據(jù)建模分析方法及其在鐵路中的應用研究[D];中國鐵道科學研究院;2007年

3 高建;水下SAS數(shù)據(jù)建模及干涉測量關鍵技術研究[D];武漢大學;2012年

4 孫進;非完備幾何特征測量數(shù)據(jù)建模及其在顏面缺損修復中的應用研究[D];上海交通大學;2012年

相關碩士學位論文 前10條

1 孫樂;海洋環(huán)境監(jiān)測數(shù)據(jù)建模及索引技術研究[D];上海海洋大學;2016年

2 柳紀勝;路由器通用平臺中的數(shù)據(jù)建模工具部分模塊的設計與實現(xiàn)[D];南京大學;2012年

3 劉城成;時間序列數(shù)據(jù)建模與存儲研究[D];華中科技大學;2007年

4 劉英;地理系信息系統(tǒng)中時空數(shù)據(jù)建模及面向?qū)ο髷?shù)據(jù)模型的研究[D];山東科技大學;2003年

5 單彬;地質(zhì)時空維數(shù)據(jù)建模技術及在油藏開發(fā)中的應用研究[D];東北石油大學;2012年

6 洪駿;基于產(chǎn)品數(shù)據(jù)建模的PLM系統(tǒng)的研究及應用[D];上海交通大學;2012年

7 馬春娜;面向MPM的制造數(shù)據(jù)建模與工藝程序優(yōu)化研究[D];山東大學;2008年

8 吳英炳;快速開發(fā)平臺數(shù)據(jù)建模的研究[D];天津大學;2006年

9 魏星雷;基于元數(shù)據(jù)的數(shù)據(jù)建模與集成技術研究與應用[D];山東大學;2015年

10 丁鑫同;多源探測數(shù)據(jù)建模及信息處理研究[D];北京理工大學;2015年

，

本文編號：1499512