發(fā)布時間：2018-11-12 16:56

【摘要】：GNSS數(shù)據(jù)量呈指數(shù)級趨勢增長,Hadoop分布式文件系統(tǒng)(HDFS)解決了海量GNSS數(shù)據(jù)存儲瓶頸的難題,卻面臨內(nèi)存占用多、文件相關(guān)性差和缺乏優(yōu)化機(jī)制的問題。針對HDFS處理海量GNSS小文件效率不高的問題,結(jié)合GNSS數(shù)據(jù)類型、特點以及存儲過程,提出了一種新的GNSS小文件云存儲方法,優(yōu)化了GNSS小文件的寫入、讀取、添加和刪除策略。該方法分別按觀測文件和解算成果的類型進(jìn)行合并,對合并后的文件構(gòu)建壓縮Trie樹索引,索引切分后,根據(jù)匹配算法分布式地存儲索引塊。實驗采用國際GNSS服務(wù)(IGS)28d的數(shù)據(jù)和產(chǎn)品進(jìn)行云存儲優(yōu)化。結(jié)果表明,該方法降低了各節(jié)點內(nèi)存消耗,提高了海量GNSS小文件寫入、讀取和刪除的效率,實現(xiàn)了對海量GNSS小文件的高效云存儲。
[Abstract]:The amount of GNSS data increases exponentially. Hadoop distributed file system (HDFS) solves the bottleneck problem of massive GNSS data storage, but it faces the problems of large memory consumption, poor file correlation and lack of optimization mechanism. In order to solve the problem that HDFS is not efficient in handling large amounts of GNSS small files, a new method of cloud storage of GNSS small files is proposed, which optimizes the strategy of writing, reading, adding and deleting GNSS small files, combined with the data types, characteristics and stored procedures of GNSS. In this method, the index of compressed Trie tree is constructed according to the type of the observed file and the result of computation, and the index block is stored distributed according to the matching algorithm after the index is segmented. The experiment adopts the data and product of international GNSS service (IGS) 28d for cloud storage optimization. The results show that this method reduces the memory consumption of each node, improves the efficiency of writing, reading and deleting massive GNSS small files, and realizes the efficient cloud storage of massive GNSS small files.
【作者單位】： 地理信息工程國家重點實驗室;信息工程大學(xué)地理空間信息學(xué)院;
【基金】：國家自然科學(xué)基金(41674019) 國家重點研發(fā)計劃(2016YFB0501701) 地理信息工程國家重點實驗室開放基金(SKLGIE2016-M-1-2)~~
【分類號】：P228.4

【參考文獻(xiàn)】

相關(guān)期刊論文 前5條

1 施闖;章紅平;辜聲峰;樓益棟;唐衛(wèi)明;;云定位技術(shù)及云定位服務(wù)平臺[J];武漢大學(xué)學(xué)報(信息科學(xué)版);2015年08期

2 熊煉;徐正全;王濤;顧鑫;;云環(huán)境下的時空數(shù)據(jù)小文件存儲策略[J];武漢大學(xué)學(xué)報(信息科學(xué)版);2014年10期

3 李林陽;呂志平;陳正生;樊黎暉;;海量連續(xù)運行參考站網(wǎng)數(shù)據(jù)云存儲模型[J];導(dǎo)航定位學(xué)報;2014年03期

4 劉小俊;徐正全;潘少明;;一種結(jié)合RDBMS和Hadoop的海量小文件存儲方法[J];武漢大學(xué)學(xué)報(信息科學(xué)版);2013年01期

5 劉經(jīng)南,劉暉;建立我國衛(wèi)星定位連續(xù)運行站網(wǎng)的若干思考[J];武漢大學(xué)學(xué)報(信息科學(xué)版);2003年S1期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李林陽;呂志平;崔陽;王宇譜;周海濤;;海量GNSS小文件云存儲優(yōu)化方法研究[J];武漢大學(xué)學(xué)報(信息科學(xué)版);2017年08期

2 劉文建;鄒璇;;廣東省北斗地基增強(qiáng)系統(tǒng)的建立與性能分析[J];地理空間信息;2017年07期

3 滕翠;梁川;梁碧珍;;海量數(shù)據(jù)環(huán)境下大型ISP網(wǎng)絡(luò)流量卸載方法研究[J];科學(xué)技術(shù)與工程;2017年13期

4 武曙光;聶桂根;邱蕾;汪善華;;深圳市連續(xù)運行參考站坐標(biāo)時間序列分析[J];測繪地理信息;2017年03期

5 齊來軍;周麗娟;任仲山;;醫(yī)學(xué)影像云存儲模型的研究與設(shè)計[J];計算機(jī)應(yīng)用與軟件;2017年02期

6 李林陽;崔陽;陳正生;王寧;呂志平;;大規(guī)模GNSS網(wǎng)分布式存儲與解算方法[J];測繪科學(xué)技術(shù)學(xué)報;2016年05期

7 孫華麗;張政治;;BDS CORS在數(shù)字城市中的應(yīng)用前景[J];現(xiàn)代導(dǎo)航;2016年06期

8 顧玉宛;王文聞;孫玉強(qiáng);;一種面向HDFS中海量小文件的存取優(yōu)化方法[J];計算機(jī)應(yīng)用研究;2017年08期

9 呂峰;李麗嬌;高云英;馬開陽;;基于Hadoop在中醫(yī)藥數(shù)據(jù)挖掘中的應(yīng)用[J];電子設(shè)計工程;2016年22期

10 丁建立;鄭峰弓;李永華;羅云生;曹衛(wèi)東;;基于NoSQL的海量航空物流小文件分布式多級存儲方法[J];計算機(jī)應(yīng)用研究;2017年05期

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 崔陽;呂志平;陳正生;王宇譜;呂浩;;多核環(huán)境下的GNSS網(wǎng)平差數(shù)據(jù)并行處理研究[J];測繪學(xué)報;2013年05期

2 呂志平;陳正生;崔陽;黃令勇;;大型CORS網(wǎng)基線向量的分布式處理[J];測繪科學(xué)技術(shù)學(xué)報;2013年04期

3 崔陽;呂志平;陳正生;;Web Services分布式計算在大規(guī)模網(wǎng)平差中的應(yīng)用[J];大地測量與地球動力學(xué);2013年02期

4 晏強(qiáng);張曉鋒;丁蕊;;云存儲技術(shù)研究[J];計算機(jī)與信息技術(shù);2011年12期

5 劉琨;李愛菊;董龍江;;基于Hadoop的云存儲的研究及實現(xiàn)[J];微計算機(jī)信息;2011年07期

6 余思;桂小林;黃汝維;莊威;;一種提高云存儲中小文件存儲效率的方案[J];西安交通大學(xué)學(xué)報;2011年06期

7 張龍立;;云存儲技術(shù)探討[J];電信科學(xué);2010年S1期

8 周可;王樺;李春花;;云存儲技術(shù)及其應(yīng)用[J];中興通訊技術(shù);2010年04期

9 楊元喜;;北斗衛(wèi)星導(dǎo)航系統(tǒng)的進(jìn)展、貢獻(xiàn)與挑戰(zhàn)[J];測繪學(xué)報;2010年01期

10 施闖;樓益棟;宋偉偉;蔡華;;廣域?qū)崟r精密定位原型系統(tǒng)及初步結(jié)果[J];武漢大學(xué)學(xué)報(信息科學(xué)版);2009年11期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 閆娜;;江蘇省GNSS連續(xù)運行參考站網(wǎng)項目通過驗收[J];測繪通報;2007年02期

2 ;獲境外專業(yè)機(jī)構(gòu)青睞,合眾思壯高精GNSS產(chǎn)品邁入世界前列[J];北京測繪;2007年02期

3 ;中國GNSS技術(shù)打破歐美壟斷高精度測量產(chǎn)品角逐國際市場[J];江西測繪;2007年02期

4 ;合眾思壯獲海外定單標(biāo)志中國GNSS踏上自主創(chuàng)新成果產(chǎn)業(yè)化之路[J];現(xiàn)代測繪;2007年04期

5 ;十年中海達(dá) 中國GNSS產(chǎn)業(yè)化十年——中海達(dá)10周年慶典活動拉開序幕[J];測繪技術(shù)裝備;2009年03期

6 楊永平;段德磊;;多功能手持GNSS在電力行業(yè)的應(yīng)用[J];電力與電工;2009年03期

7 薄萬舉;黃立人;李軍;程增杰;宋兆山;許明元;李文靜;李文一;;GNSS野外檢定場[J];測繪科學(xué);2009年S1期

8 季宇虹;王讓會;;全球?qū)Ш蕉ㄎ幌到y(tǒng)GNSS的技術(shù)與應(yīng)用[J];全球定位系統(tǒng);2010年05期

9 董春來;周立;史建青;;GNSS多功能實驗室的構(gòu)建與實踐[J];實驗室研究與探索;2011年02期

10 Zhan Wei;Zhu Shuang;Yang Bo;Wu Yanqiang;Liu Zhiguang;Meng Xiangang;;Effects of the differences between the ITRF2000 and ITRF2005 models in GNSS data processing[J];Geodesy and Geodynamics;2013年04期

相關(guān)會議論文 前10條

1 張慧君;李孝輝;;GNSS系統(tǒng)時間偏差及其監(jiān)測與預(yù)報[A];2009全國時間頻率學(xué)術(shù)會議論文集[C];2009年

2 ;Supporting capability analysis of present spectrum management resources to GNSS IDM in China[A];第三屆中國衛(wèi)星導(dǎo)航學(xué)術(shù)年會電子文集——S01北斗/GNSS導(dǎo)航應(yīng)用[C];2012年

3 朱旭;;全球?qū)Ш叫l(wèi)星系統(tǒng)(GNSS)在空中交通管理中的應(yīng)用進(jìn)展[A];中國通信學(xué)會第六屆學(xué)術(shù)年會論文集（上）[C];2009年

4 董紹武;;GNSS時間系統(tǒng)及其互操作[A];2009全國虛擬儀器大會論文集（二）[C];2009年

5 孫曉波;李冶天;;多模GNSS高精度授時在電力系統(tǒng)中的應(yīng)用分析[A];經(jīng)濟(jì)發(fā)展方式轉(zhuǎn)變與自主創(chuàng)新——第十二屆中國科學(xué)技術(shù)協(xié)會年會（第四卷）[C];2010年

6 胡曉;高偉;李本玉;;GNSS衛(wèi)星導(dǎo)航系統(tǒng)關(guān)鍵技術(shù)的研究與思考[A];《測繪通報》測繪科學(xué)前沿技術(shù)論壇摘要集[C];2008年

7 高井祥;閆文林;王堅;;礦山變形災(zāi)害GNSS現(xiàn)代化監(jiān)測技術(shù)研究[A];《測繪通報》測繪科學(xué)前沿技術(shù)論壇摘要集[C];2008年

8 馬利華;韓延本;;全球衛(wèi)星導(dǎo)航系統(tǒng)(GNSS)概述[A];中國地球物理學(xué)會第二十三屆年會論文集[C];2007年

9 ;A study of ionospheric scintillation effects on Differential GNSS[A];第三屆中國衛(wèi)星導(dǎo)航學(xué)術(shù)年會電子文集——S08衛(wèi)星導(dǎo)航模型與方法[C];2012年

10 甄衛(wèi)民;韓超;杜黎明;陳麗;;我國GNSS開放服務(wù)中的干擾檢測與減緩計劃[A];第三屆中國衛(wèi)星導(dǎo)航學(xué)術(shù)年會電子文集——S01北斗/GNSS導(dǎo)航應(yīng)用[C];2012年

相關(guān)重要報紙文章 前10條

1 王娜;我GNSS技術(shù)打破國外壟斷[N];科技日報;2007年

2 陶渝;重慶建成國土資源GNSS網(wǎng)絡(luò)信息系統(tǒng)[N];中國測繪報;2011年

3 記者 謝必如　特約記者 白文起 通訊員 陶渝;重慶建成國土資源GNSS網(wǎng)絡(luò)系統(tǒng)[N];中國國土資源報;2011年

4 王巖;包頭用GNSS管理市政布局[N];中國建設(shè)報;2010年

5 甘勃;“天眼”邁進(jìn)GNSS時代[N];大眾科技報;2007年

6 王立彬;中國全球衛(wèi)星導(dǎo)航系統(tǒng),奪下千萬美元大單[N];新華每日電訊;2007年

7 通訊員 彭祥榮;“陸態(tài)網(wǎng)”民勤GNSS基準(zhǔn)站投入試運行[N];中國氣象報;2010年

8 記者 裴蕾;測繪氣象共建GNSS基準(zhǔn)站[N];四川日報;2010年

9 王雅麗;實施國際化戰(zhàn)略[N];中國測繪報;2010年

10 記者 張敏霞　通訊員 王存林;陸態(tài)網(wǎng)沱沱河GNSS基準(zhǔn)站建成并試運行[N];格爾木日報;2011年

相關(guān)博士學(xué)位論文 前10條

1 江鵬;地基GNSS探測2D/3D大氣水汽分布技術(shù)研究[D];武漢大學(xué);2014年

2 徐韶光;利用GNSS獲取動態(tài)可降水量的理論與方法研究[D];西南交通大學(xué);2014年

3 李磊;基于GNSS的電離層總電子含量的預(yù)測與應(yīng)用研究[D];大連海事大學(xué);2015年

4 陳良;機(jī)載GNSS/SINS組合精密導(dǎo)航關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2013年

5 郭瑤;慣性輔助的高動態(tài)GNSS基帶信號跟蹤技術(shù)[D];國防科學(xué)技術(shù)大學(xué);2013年

6 甘雨;GNSS/INS組合系統(tǒng)模型精化及載波相位定位測姿[D];解放軍信息工程大學(xué);2015年

7 李俊毅;GNSS動態(tài)相對定位算法研究[D];解放軍信息工程大學(xué);2013年

8 任燁;多場景下的GNSS完好性監(jiān)測方法研究[D];中國科學(xué)院研究生院(國家授時中心);2016年

9 陳華;基于原始觀測值的GNSS統(tǒng)一快速精密數(shù)據(jù)處理方法[D];武漢大學(xué);2015年

10 郭博峰;單站高頻GNSS求解同震位移的新方法及聯(lián)合強(qiáng)震儀的地震預(yù)警應(yīng)用研究[D];武漢大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 劉成;GNSS-R應(yīng)用于測量表層土壤濕度及軟件設(shè)計[D];中國地質(zhì)大學(xué)(北京);2015年

2 高榮祥;基于GNSS信號的無源雷達(dá)目標(biāo)探測研究[D];中國地質(zhì)大學(xué)(北京);2015年

3 陳聞亞;基于Internet的GNSS高精度位置服務(wù)平臺研究與實現(xiàn)[D];西南交通大學(xué);2015年

4 楊晨云鸝;GNSS在地震矩反演中的應(yīng)用研究[D];西南交通大學(xué);2015年

5 張U，

本文編號：2327662