發(fā)布時(shí)間：2018-11-12 16:56

【摘要】：GNSS數(shù)據(jù)量呈指數(shù)級(jí)趨勢(shì)增長(zhǎng),Hadoop分布式文件系統(tǒng)(HDFS)解決了海量GNSS數(shù)據(jù)存儲(chǔ)瓶頸的難題,卻面臨內(nèi)存占用多、文件相關(guān)性差和缺乏優(yōu)化機(jī)制的問題。針對(duì)HDFS處理海量GNSS小文件效率不高的問題,結(jié)合GNSS數(shù)據(jù)類型、特點(diǎn)以及存儲(chǔ)過程,提出了一種新的GNSS小文件云存儲(chǔ)方法,優(yōu)化了GNSS小文件的寫入、讀取、添加和刪除策略。該方法分別按觀測(cè)文件和解算成果的類型進(jìn)行合并,對(duì)合并后的文件構(gòu)建壓縮Trie樹索引,索引切分后,根據(jù)匹配算法分布式地存儲(chǔ)索引塊。實(shí)驗(yàn)采用國(guó)際GNSS服務(wù)(IGS)28d的數(shù)據(jù)和產(chǎn)品進(jìn)行云存儲(chǔ)優(yōu)化。結(jié)果表明,該方法降低了各節(jié)點(diǎn)內(nèi)存消耗,提高了海量GNSS小文件寫入、讀取和刪除的效率,實(shí)現(xiàn)了對(duì)海量GNSS小文件的高效云存儲(chǔ)。
[Abstract]:The amount of GNSS data increases exponentially. Hadoop distributed file system (HDFS) solves the bottleneck problem of massive GNSS data storage, but it faces the problems of large memory consumption, poor file correlation and lack of optimization mechanism. In order to solve the problem that HDFS is not efficient in handling large amounts of GNSS small files, a new method of cloud storage of GNSS small files is proposed, which optimizes the strategy of writing, reading, adding and deleting GNSS small files, combined with the data types, characteristics and stored procedures of GNSS. In this method, the index of compressed Trie tree is constructed according to the type of the observed file and the result of computation, and the index block is stored distributed according to the matching algorithm after the index is segmented. The experiment adopts the data and product of international GNSS service (IGS) 28d for cloud storage optimization. The results show that this method reduces the memory consumption of each node, improves the efficiency of writing, reading and deleting massive GNSS small files, and realizes the efficient cloud storage of massive GNSS small files.
【作者單位】： 地理信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室;信息工程大學(xué)地理空間信息學(xué)院;
【基金】：國(guó)家自然科學(xué)基金(41674019) 國(guó)家重點(diǎn)研發(fā)計(jì)劃(2016YFB0501701) 地理信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室開放基金(SKLGIE2016-M-1-2)~~
【分類號(hào)】：P228.4

【參考文獻(xiàn)】

相關(guān)期刊論文 前5條

1 施闖;章紅平;辜聲峰;樓益棟;唐衛(wèi)明;;云定位技術(shù)及云定位服務(wù)平臺(tái)[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2015年08期

2 熊煉;徐正全;王濤;顧鑫;;云環(huán)境下的時(shí)空數(shù)據(jù)小文件存儲(chǔ)策略[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2014年10期

3 李林陽;呂志平;陳正生;樊黎暉;;海量連續(xù)運(yùn)行參考站網(wǎng)數(shù)據(jù)云存儲(chǔ)模型[J];導(dǎo)航定位學(xué)報(bào);2014年03期

4 劉小俊;徐正全;潘少明;;一種結(jié)合RDBMS和Hadoop的海量小文件存儲(chǔ)方法[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2013年01期

5 劉經(jīng)南,劉暉;建立我國(guó)衛(wèi)星定位連續(xù)運(yùn)行站網(wǎng)的若干思考[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2003年S1期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李林陽;呂志平;崔陽;王宇譜;周海濤;;海量GNSS小文件云存儲(chǔ)優(yōu)化方法研究[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2017年08期

2 劉文建;鄒璇;;廣東省北斗地基增強(qiáng)系統(tǒng)的建立與性能分析[J];地理空間信息;2017年07期

3 滕翠;梁川;梁碧珍;;海量數(shù)據(jù)環(huán)境下大型ISP網(wǎng)絡(luò)流量卸載方法研究[J];科學(xué)技術(shù)與工程;2017年13期

4 武曙光;聶桂根;邱蕾;汪善華;;深圳市連續(xù)運(yùn)行參考站坐標(biāo)時(shí)間序列分析[J];測(cè)繪地理信息;2017年03期

5 齊來軍;周麗娟;任仲山;;醫(yī)學(xué)影像云存儲(chǔ)模型的研究與設(shè)計(jì)[J];計(jì)算機(jī)應(yīng)用與軟件;2017年02期

6 李林陽;崔陽;陳正生;王寧;呂志平;;大規(guī)模GNSS網(wǎng)分布式存儲(chǔ)與解算方法[J];測(cè)繪科學(xué)技術(shù)學(xué)報(bào);2016年05期

7 孫華麗;張政治;;BDS CORS在數(shù)字城市中的應(yīng)用前景[J];現(xiàn)代導(dǎo)航;2016年06期

8 顧玉宛;王文聞;孫玉強(qiáng);;一種面向HDFS中海量小文件的存取優(yōu)化方法[J];計(jì)算機(jī)應(yīng)用研究;2017年08期

9 呂峰;李麗嬌;高云英;馬開陽;;基于Hadoop在中醫(yī)藥數(shù)據(jù)挖掘中的應(yīng)用[J];電子設(shè)計(jì)工程;2016年22期

10 丁建立;鄭峰弓;李永華;羅云生;曹衛(wèi)東;;基于NoSQL的海量航空物流小文件分布式多級(jí)存儲(chǔ)方法[J];計(jì)算機(jī)應(yīng)用研究;2017年05期

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 崔陽;呂志平;陳正生;王宇譜;呂浩;;多核環(huán)境下的GNSS網(wǎng)平差數(shù)據(jù)并行處理研究[J];測(cè)繪學(xué)報(bào);2013年05期

2 呂志平;陳正生;崔陽;黃令勇;;大型CORS網(wǎng)基線向量的分布式處理[J];測(cè)繪科學(xué)技術(shù)學(xué)報(bào);2013年04期

3 崔陽;呂志平;陳正生;;Web Services分布式計(jì)算在大規(guī)模網(wǎng)平差中的應(yīng)用[J];大地測(cè)量與地球動(dòng)力學(xué);2013年02期

4 晏強(qiáng);張曉鋒;丁蕊;;云存儲(chǔ)技術(shù)研究[J];計(jì)算機(jī)與信息技術(shù);2011年12期

5 劉琨;李愛菊;董龍江;;基于Hadoop的云存儲(chǔ)的研究及實(shí)現(xiàn)[J];微計(jì)算機(jī)信息;2011年07期

6 余思;桂小林;黃汝維;莊威;;一種提高云存儲(chǔ)中小文件存儲(chǔ)效率的方案[J];西安交通大學(xué)學(xué)報(bào);2011年06期

7 張龍立;;云存儲(chǔ)技術(shù)探討[J];電信科學(xué);2010年S1期

8 周可;王樺;李春花;;云存儲(chǔ)技術(shù)及其應(yīng)用[J];中興通訊技術(shù);2010年04期

9 楊元喜;;北斗衛(wèi)星導(dǎo)航系統(tǒng)的進(jìn)展、貢獻(xiàn)與挑戰(zhàn)[J];測(cè)繪學(xué)報(bào);2010年01期

10 施闖;樓益棟;宋偉偉;蔡華;;廣域?qū)崟r(shí)精密定位原型系統(tǒng)及初步結(jié)果[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2009年11期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 閆娜;;江蘇省GNSS連續(xù)運(yùn)行參考站網(wǎng)項(xiàng)目通過驗(yàn)收[J];測(cè)繪通報(bào);2007年02期

2 ;獲境外專業(yè)機(jī)構(gòu)青睞,合眾思?jí)迅呔獹NSS產(chǎn)品邁入世界前列[J];北京測(cè)繪;2007年02期

3 ;中國(guó)GNSS技術(shù)打破歐美壟斷高精度測(cè)量產(chǎn)品角逐國(guó)際市場(chǎng)[J];江西測(cè)繪;2007年02期

4 ;合眾思?jí)勋@海外定單標(biāo)志中國(guó)GNSS踏上自主創(chuàng)新成果產(chǎn)業(yè)化之路[J];現(xiàn)代測(cè)繪;2007年04期

5 ;十年中海達(dá) 中國(guó)GNSS產(chǎn)業(yè)化十年——中海達(dá)10周年慶典活動(dòng)拉開序幕[J];測(cè)繪技術(shù)裝備;2009年03期

6 楊永平;段德磊;;多功能手持GNSS在電力行業(yè)的應(yīng)用[J];電力與電工;2009年03期

7 薄萬舉;黃立人;李軍;程增杰;宋兆山;許明元;李文靜;李文一;;GNSS野外檢定場(chǎng)[J];測(cè)繪科學(xué);2009年S1期

8 季宇虹;王讓會(huì);;全球?qū)Ш蕉ㄎ幌到y(tǒng)GNSS的技術(shù)與應(yīng)用[J];全球定位系統(tǒng);2010年05期

9 董春來;周立;史建青;;GNSS多功能實(shí)驗(yàn)室的構(gòu)建與實(shí)踐[J];實(shí)驗(yàn)室研究與探索;2011年02期

10 Zhan Wei;Zhu Shuang;Yang Bo;Wu Yanqiang;Liu Zhiguang;Meng Xiangang;;Effects of the differences between the ITRF2000 and ITRF2005 models in GNSS data processing[J];Geodesy and Geodynamics;2013年04期

相關(guān)會(huì)議論文 前10條

1 張慧君;李孝輝;;GNSS系統(tǒng)時(shí)間偏差及其監(jiān)測(cè)與預(yù)報(bào)[A];2009全國(guó)時(shí)間頻率學(xué)術(shù)會(huì)議論文集[C];2009年

2 ;Supporting capability analysis of present spectrum management resources to GNSS IDM in China[A];第三屆中國(guó)衛(wèi)星導(dǎo)航學(xué)術(shù)年會(huì)電子文集——S01北斗/GNSS導(dǎo)航應(yīng)用[C];2012年

3 朱旭;;全球?qū)Ш叫l(wèi)星系統(tǒng)(GNSS)在空中交通管理中的應(yīng)用進(jìn)展[A];中國(guó)通信學(xué)會(huì)第六屆學(xué)術(shù)年會(huì)論文集（上）[C];2009年

4 董紹武;;GNSS時(shí)間系統(tǒng)及其互操作[A];2009全國(guó)虛擬儀器大會(huì)論文集（二）[C];2009年

5 孫曉波;李冶天;;多模GNSS高精度授時(shí)在電力系統(tǒng)中的應(yīng)用分析[A];經(jīng)濟(jì)發(fā)展方式轉(zhuǎn)變與自主創(chuàng)新——第十二屆中國(guó)科學(xué)技術(shù)協(xié)會(huì)年會(huì)（第四卷）[C];2010年

6 胡曉;高偉;李本玉;;GNSS衛(wèi)星導(dǎo)航系統(tǒng)關(guān)鍵技術(shù)的研究與思考[A];《測(cè)繪通報(bào)》測(cè)繪科學(xué)前沿技術(shù)論壇摘要集[C];2008年

7 高井祥;閆文林;王堅(jiān);;礦山變形災(zāi)害GNSS現(xiàn)代化監(jiān)測(cè)技術(shù)研究[A];《測(cè)繪通報(bào)》測(cè)繪科學(xué)前沿技術(shù)論壇摘要集[C];2008年

8 馬利華;韓延本;;全球衛(wèi)星導(dǎo)航系統(tǒng)(GNSS)概述[A];中國(guó)地球物理學(xué)會(huì)第二十三屆年會(huì)論文集[C];2007年

9 ;A study of ionospheric scintillation effects on Differential GNSS[A];第三屆中國(guó)衛(wèi)星導(dǎo)航學(xué)術(shù)年會(huì)電子文集——S08衛(wèi)星導(dǎo)航模型與方法[C];2012年

10 甄衛(wèi)民;韓超;杜黎明;陳麗;;我國(guó)GNSS開放服務(wù)中的干擾檢測(cè)與減緩計(jì)劃[A];第三屆中國(guó)衛(wèi)星導(dǎo)航學(xué)術(shù)年會(huì)電子文集——S01北斗/GNSS導(dǎo)航應(yīng)用[C];2012年

相關(guān)重要報(bào)紙文章 前10條

1 王娜;我GNSS技術(shù)打破國(guó)外壟斷[N];科技日?qǐng)?bào);2007年

2 陶渝;重慶建成國(guó)土資源GNSS網(wǎng)絡(luò)信息系統(tǒng)[N];中國(guó)測(cè)繪報(bào);2011年

3 記者 謝必如　特約記者 白文起 通訊員 陶渝;重慶建成國(guó)土資源GNSS網(wǎng)絡(luò)系統(tǒng)[N];中國(guó)國(guó)土資源報(bào);2011年

4 王巖;包頭用GNSS管理市政布局[N];中國(guó)建設(shè)報(bào);2010年

5 甘勃;“天眼”邁進(jìn)GNSS時(shí)代[N];大眾科技報(bào);2007年

6 王立彬;中國(guó)全球衛(wèi)星導(dǎo)航系統(tǒng),奪下千萬美元大單[N];新華每日電訊;2007年

7 通訊員 彭祥榮;“陸態(tài)網(wǎng)”民勤GNSS基準(zhǔn)站投入試運(yùn)行[N];中國(guó)氣象報(bào);2010年

8 記者 裴蕾;測(cè)繪氣象共建GNSS基準(zhǔn)站[N];四川日?qǐng)?bào);2010年

9 王雅麗;實(shí)施國(guó)際化戰(zhàn)略[N];中國(guó)測(cè)繪報(bào);2010年

10 記者 張敏霞　通訊員 王存林;陸態(tài)網(wǎng)沱沱河GNSS基準(zhǔn)站建成并試運(yùn)行[N];格爾木日?qǐng)?bào);2011年

相關(guān)博士學(xué)位論文 前10條

1 江鵬;地基GNSS探測(cè)2D/3D大氣水汽分布技術(shù)研究[D];武漢大學(xué);2014年

2 徐韶光;利用GNSS獲取動(dòng)態(tài)可降水量的理論與方法研究[D];西南交通大學(xué);2014年

3 李磊;基于GNSS的電離層總電子含量的預(yù)測(cè)與應(yīng)用研究[D];大連海事大學(xué);2015年

4 陳良;機(jī)載GNSS/SINS組合精密導(dǎo)航關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2013年

5 郭瑤;慣性輔助的高動(dòng)態(tài)GNSS基帶信號(hào)跟蹤技術(shù)[D];國(guó)防科學(xué)技術(shù)大學(xué);2013年

6 甘雨;GNSS/INS組合系統(tǒng)模型精化及載波相位定位測(cè)姿[D];解放軍信息工程大學(xué);2015年

7 李俊毅;GNSS動(dòng)態(tài)相對(duì)定位算法研究[D];解放軍信息工程大學(xué);2013年

8 任燁;多場(chǎng)景下的GNSS完好性監(jiān)測(cè)方法研究[D];中國(guó)科學(xué)院研究生院(國(guó)家授時(shí)中心);2016年

9 陳華;基于原始觀測(cè)值的GNSS統(tǒng)一快速精密數(shù)據(jù)處理方法[D];武漢大學(xué);2015年

10 郭博峰;單站高頻GNSS求解同震位移的新方法及聯(lián)合強(qiáng)震儀的地震預(yù)警應(yīng)用研究[D];武漢大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 劉成;GNSS-R應(yīng)用于測(cè)量表層土壤濕度及軟件設(shè)計(jì)[D];中國(guó)地質(zhì)大學(xué)(北京);2015年

2 高榮祥;基于GNSS信號(hào)的無源雷達(dá)目標(biāo)探測(cè)研究[D];中國(guó)地質(zhì)大學(xué)(北京);2015年

3 陳聞亞;基于Internet的GNSS高精度位置服務(wù)平臺(tái)研究與實(shí)現(xiàn)[D];西南交通大學(xué);2015年

4 楊晨云鸝;GNSS在地震矩反演中的應(yīng)用研究[D];西南交通大學(xué);2015年

5 張U，

本文編號(hào)：2327662