本文關(guān)鍵詞： 海洋大數(shù)據(jù) 數(shù)據(jù)建模 數(shù)據(jù)索引 數(shù)據(jù)劃分　出處：《上海海洋大學(xué)》2016年碩士論文　論文類型：學(xué)位論文

【摘要】：近年來(lái),隨著信息技術(shù)的不斷更新,尤其是信息獲取技術(shù)、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)以及社交網(wǎng)絡(luò)等技術(shù)的突飛猛進(jìn),導(dǎo)致了各行業(yè)數(shù)據(jù)量的急劇增長(zhǎng),企業(yè)及互聯(lián)網(wǎng)數(shù)據(jù)以每年50%的速率在增長(zhǎng),據(jù)保守估計(jì),目前每年全球至少產(chǎn)生15億TB的新數(shù)據(jù),行業(yè)大數(shù)據(jù)已經(jīng)成為目前研究的熱點(diǎn)。海洋發(fā)展戰(zhàn)略在國(guó)家戰(zhàn)略的地位日益突顯,海洋領(lǐng)域的各類應(yīng)用對(duì)推動(dòng)海洋信息化發(fā)展具有重大的意義。海洋環(huán)境監(jiān)測(cè)手段及設(shè)備的多樣化和廣布局,包括:浮標(biāo)、衛(wèi)星、遙感、傳感器、監(jiān)測(cè)站等實(shí)時(shí)數(shù)據(jù)源采集不僅造成了數(shù)據(jù)量的密集增長(zhǎng),同時(shí)數(shù)據(jù)呈現(xiàn)出異構(gòu)性、海量性、多樣性、實(shí)時(shí)性、相似性等特征,因此海洋數(shù)據(jù)無(wú)疑成為大數(shù)據(jù)的典范。針對(duì)該領(lǐng)域數(shù)據(jù)特征,深入分析數(shù)據(jù)模式,研究高效的數(shù)據(jù)存儲(chǔ)、劃分及查詢策略是目前亟須解決的海洋應(yīng)用問(wèn)題。海洋數(shù)據(jù)的異構(gòu)、多樣、復(fù)雜等特征,使得數(shù)據(jù)的存儲(chǔ)模式脫離關(guān)系型結(jié)構(gòu),給數(shù)據(jù)的快速查詢和高效利用造成了應(yīng)用難題,帶來(lái)了如下問(wèn)題:如何無(wú)需手動(dòng)調(diào)整低層次的視覺(jué)及內(nèi)容細(xì)節(jié),以完成表格數(shù)據(jù)的合理劃分及關(guān)系轉(zhuǎn)換,從而實(shí)現(xiàn)給定領(lǐng)域內(nèi)其結(jié)構(gòu)化存儲(chǔ)。海洋數(shù)據(jù)的海量性、相似性及空間相關(guān)性等特征,給海洋應(yīng)用(如極地在線考察、怪潮災(zāi)害反演)上的數(shù)據(jù)快速獲取和查詢?cè)斐闪司薮蟮谋趬?帶來(lái)了如下問(wèn)題:1)如何對(duì)數(shù)據(jù)計(jì)算節(jié)點(diǎn)進(jìn)行動(dòng)態(tài)劃分,以適應(yīng)海洋應(yīng)用高性能計(jì)算、強(qiáng)實(shí)時(shí)反饋、高頻度查詢等需求;2)如何建立面向海洋領(lǐng)域的多層索引結(jié)構(gòu),從而滿足多源數(shù)據(jù)實(shí)時(shí)查詢響應(yīng)需求,加快了海洋數(shù)字化和信息化進(jìn)程。為此,本文分別提出了全局劃分和局部劃分策略,在此基礎(chǔ)上實(shí)現(xiàn)了主從索引機(jī)制,從而提高數(shù)據(jù)的利用率及海洋應(yīng)用的查詢效率。深入學(xué)習(xí)海洋數(shù)據(jù)特征,以數(shù)據(jù)為樣本研究分布式存儲(chǔ)及索引技術(shù)是解決目前應(yīng)用壁壘的有效途徑。針對(duì)上述問(wèn)題,本章節(jié)從如下技術(shù)路線來(lái)優(yōu)化數(shù)據(jù)的存儲(chǔ)和查詢問(wèn)題:數(shù)據(jù)建模、數(shù)據(jù)劃分及索引結(jié)構(gòu),其主要?jiǎng)?chuàng)新及研究?jī)?nèi)容描述如下:1、對(duì)海洋數(shù)據(jù)存儲(chǔ)及表示形式進(jìn)行描述,面向excel、csv等不具有明確結(jié)構(gòu)的特殊非結(jié)構(gòu)化數(shù)據(jù),提出了一種新的基于tabular庫(kù)的關(guān)系數(shù)據(jù)模型并討論了其上的查詢及優(yōu)化問(wèn)題。本文利用partipath劃分樹(shù),保留表格的語(yǔ)義信息,對(duì)表格的關(guān)系劃分及結(jié)構(gòu)轉(zhuǎn)換,形成數(shù)據(jù)模式。在此技術(shù)上定義了表單數(shù)據(jù)上的基本查詢問(wèn)題及融合用戶興趣指數(shù)改進(jìn)查詢相似度指標(biāo),以滿足特定查詢需求。2、針對(duì)數(shù)據(jù)存儲(chǔ)中的關(guān)鍵問(wèn)題——數(shù)據(jù)劃分,本文首先通過(guò)訓(xùn)練采集數(shù)據(jù)獲取數(shù)據(jù)的特征及內(nèi)部規(guī)律,根據(jù)其空間自相關(guān)性及分布特征等,制定基于amsp的全局劃分策略,將符合特征描述的數(shù)據(jù)轉(zhuǎn)移到各分布式結(jié)點(diǎn)上。其次以需求為導(dǎo)向和用戶行為為基礎(chǔ),制定基于amsp的自適應(yīng)局部劃分策略,該策略能及時(shí)轉(zhuǎn)移局部數(shù)據(jù),保證存儲(chǔ)節(jié)點(diǎn)的深度一致及平衡。基于admd和amsp的劃分模式,設(shè)計(jì)多層索引結(jié)構(gòu)能顯著提高數(shù)據(jù)的利用率及數(shù)據(jù)池的訪問(wèn)效率。3、在上述數(shù)據(jù)劃分的基礎(chǔ)上,本文提出一種主從索引架構(gòu)體系,基于AMDM的時(shí)間間隔B+-tree索引作為全局索引;基于AMSP的L-RR*樹(shù)作為局部索引。在此基礎(chǔ)上查詢處理研究主要分為兩個(gè)步驟:首先,查詢接收器通過(guò)時(shí)態(tài)主索引找到所有與之相關(guān)的節(jié)點(diǎn),并建立查詢鏈接。第二步,執(zhí)行并行化的局部索引搜索模式,并最終的信息返回到客戶端。對(duì)比實(shí)驗(yàn)驗(yàn)證,本文結(jié)合實(shí)際應(yīng)用場(chǎng)景論證了該技術(shù)架構(gòu)的合理性,該結(jié)構(gòu)滿足了大批量多源數(shù)據(jù)實(shí)時(shí)查詢響應(yīng)及查詢服務(wù)并行運(yùn)算處理的需求。
[Abstract]:In recent years , with the continuous updating of information technology , especially the technology of information acquisition , Internet , Internet of Things and social networks , the rapid growth of data in various industries has led to the rapid growth of data in various industries . This paper proposes a new method based on amsp , which can improve the utilization rate of data and query efficiency of data pool .

【學(xué)位授予單位】：上海海洋大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：P717;TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 胡松林,王一凡;運(yùn)用實(shí)體——聯(lián)系模型數(shù)據(jù)建模[J];湖北師范學(xué)院學(xué)報(bào)(自然科學(xué)版);2000年02期

2 張文勝,馬麟,李建國(guó);基于圖像的虛擬現(xiàn)實(shí)空間數(shù)據(jù)建模方法[J];城市勘測(cè);2005年01期

3 高寧寧;;基于Excel的數(shù)據(jù)建模挖掘[J];中央民族大學(xué)學(xué)報(bào)(自然科學(xué)版);2008年01期

4 劉超;吳喜之;;傳統(tǒng)統(tǒng)計(jì)面對(duì)的挑戰(zhàn)[J];統(tǒng)計(jì)與信息論壇;2011年12期

5 楊球,朱崇軍;運(yùn)用語(yǔ)義對(duì)象模型進(jìn)行數(shù)據(jù)建模[J];湖北師范學(xué)院學(xué)報(bào)(自然科學(xué)版);1999年01期

6 傅學(xué)芳;基于GP/GA的數(shù)據(jù)建模方法[J];數(shù)理統(tǒng)計(jì)與管理;2001年04期

7 王雁苓;孫利;郭新辰;呂學(xué)實(shí);;應(yīng)用字典數(shù)據(jù)建模[J];吉林大學(xué)學(xué)報(bào)(理學(xué)版);2013年02期

8 張春明,孫豁然,王恩德,趙志剛,范鐵生;礦產(chǎn)資源信息系統(tǒng)空間屬性數(shù)據(jù)建模方法[J];金屬礦山;2005年06期

9 葛偉鵬;袁道陽(yáng);郭華;;對(duì)城市活斷層探測(cè)項(xiàng)目中地震地質(zhì)數(shù)據(jù)建模的探討[J];西北地震學(xué)報(bào);2006年02期

10 邢泉;;基于TableDesigner的語(yǔ)義對(duì)象數(shù)據(jù)建模[J];大眾科技;2009年01期

相關(guān)會(huì)議論文 前4條

1 邵信光;楊慧中;石晨曦;;ε不敏感支持向量回歸在化工數(shù)據(jù)建模中的應(yīng)用[A];江蘇省自動(dòng)化學(xué)會(huì)七屆四次理事會(huì)暨2004學(xué)術(shù)年會(huì)青年學(xué)者論壇論文集[C];2004年

2 申曉留;張廣月;;配電GIS數(shù)據(jù)建模的應(yīng)用和研究[A];2006電力系統(tǒng)自動(dòng)化學(xué)術(shù)交流研討大會(huì)論文集[C];2006年

3 屈詠梅;殷伯明;;LH小學(xué)學(xué)業(yè)進(jìn)步GM(1,1)四數(shù)據(jù)建模與未來(lái)預(yù)測(cè)[A];第19屆灰色系統(tǒng)全國(guó)會(huì)議論文集[C];2010年

4 張亮;熊泳;張杭;;SCADA軟件中的數(shù)據(jù)建模[A];第五屆全國(guó)智能化電器及應(yīng)用研討會(huì)會(huì)議論文集[C];2001年

相關(guān)博士學(xué)位論文 前4條

1 劉向陽(yáng);多流形數(shù)據(jù)建模及其應(yīng)用[D];上海交通大學(xué);2011年

2 呂曉艷;基于決策樹(shù)的數(shù)據(jù)建模分析方法及其在鐵路中的應(yīng)用研究[D];中國(guó)鐵道科學(xué)研究院;2007年

3 高建;水下SAS數(shù)據(jù)建模及干涉測(cè)量關(guān)鍵技術(shù)研究[D];武漢大學(xué);2012年

4 孫進(jìn);非完備幾何特征測(cè)量數(shù)據(jù)建模及其在顏面缺損修復(fù)中的應(yīng)用研究[D];上海交通大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 孫樂(lè);海洋環(huán)境監(jiān)測(cè)數(shù)據(jù)建模及索引技術(shù)研究[D];上海海洋大學(xué);2016年

2 柳紀(jì)勝;路由器通用平臺(tái)中的數(shù)據(jù)建模工具部分模塊的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2012年

3 劉城成;時(shí)間序列數(shù)據(jù)建模與存儲(chǔ)研究[D];華中科技大學(xué);2007年

4 劉英;地理系信息系統(tǒng)中時(shí)空數(shù)據(jù)建模及面向?qū)ο髷?shù)據(jù)模型的研究[D];山東科技大學(xué);2003年

5 單彬;地質(zhì)時(shí)空維數(shù)據(jù)建模技術(shù)及在油藏開(kāi)發(fā)中的應(yīng)用研究[D];東北石油大學(xué);2012年

6 洪駿;基于產(chǎn)品數(shù)據(jù)建模的PLM系統(tǒng)的研究及應(yīng)用[D];上海交通大學(xué);2012年

7 馬春娜;面向MPM的制造數(shù)據(jù)建模與工藝程序優(yōu)化研究[D];山東大學(xué);2008年

8 吳英炳;快速開(kāi)發(fā)平臺(tái)數(shù)據(jù)建模的研究[D];天津大學(xué);2006年

9 魏星雷;基于元數(shù)據(jù)的數(shù)據(jù)建模與集成技術(shù)研究與應(yīng)用[D];山東大學(xué);2015年

10 丁鑫同;多源探測(cè)數(shù)據(jù)建模及信息處理研究[D];北京理工大學(xué);2015年

，

本文編號(hào)：1499512