隨著國(guó)防、科研、經(jīng)濟(jì)社會(huì)各行業(yè)對(duì)高精度時(shí)間的依賴不斷提升,為提高我國(guó)的高精度時(shí)間同步服務(wù)水平和保障能力,國(guó)家先后開展了高精度地基授時(shí)系統(tǒng)、國(guó)家時(shí)間頻率體系、空間站時(shí)頻實(shí)驗(yàn)系統(tǒng)等面向服務(wù)的基礎(chǔ)大科學(xué)裝置和試驗(yàn)儀器的建設(shè),將時(shí)間頻率服務(wù)納入基礎(chǔ)設(shè)施建設(shè),時(shí)間頻率科學(xué)數(shù)據(jù)將邁入大數(shù)據(jù)和信息服務(wù)時(shí)代。海量時(shí)間頻率科學(xué)數(shù)據(jù)高效管理不僅是實(shí)現(xiàn)時(shí)間頻率科學(xué)大數(shù)據(jù)存儲(chǔ)與分析、提供高效時(shí)間頻率信息服務(wù)的基礎(chǔ),更為時(shí)間頻率科學(xué)大數(shù)據(jù)知識(shí)獲取和科學(xué)發(fā)現(xiàn)提供技術(shù)支撐。本文從面向服務(wù)的角度以海量時(shí)間頻率科學(xué)數(shù)據(jù)的管理體系、存儲(chǔ)與并行處理方法為研究對(duì)象,利用云計(jì)算和大數(shù)據(jù)處理技術(shù)對(duì)面向服務(wù)的海量時(shí)間頻率科學(xué)數(shù)據(jù)管理關(guān)鍵技術(shù)展開研究,所作的主要工作及創(chuàng)新點(diǎn)體現(xiàn)在以下幾個(gè)方面:（1）研究并設(shè)計(jì)了面向服務(wù)的多元海量時(shí)間頻率科學(xué)數(shù)據(jù)一體化管理模型、技術(shù)架構(gòu)和多樣化服務(wù)方式:針對(duì)獨(dú)立建設(shè)的時(shí)頻科學(xué)數(shù)據(jù)管理系統(tǒng)在管理規(guī)范、數(shù)據(jù)標(biāo)準(zhǔn)等方面多樣差異,造成數(shù)據(jù)管理復(fù)雜、數(shù)據(jù)使用困難、數(shù)據(jù)產(chǎn)品單一問題。結(jié)合時(shí)間頻率科學(xué)大數(shù)據(jù)特征和面向服務(wù)的應(yīng)用需求,構(gòu)建了數(shù)據(jù)管理標(biāo)準(zhǔn)體系和原型系統(tǒng)。采用面向服務(wù)體系架構(gòu)的設(shè)計(jì)理念和松耦合特性,綜合運(yùn)... 

【文章來(lái)源】：中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院國(guó)家授時(shí)中心)陜西省

【文章頁(yè)數(shù)】：145 頁(yè)

【學(xué)位級(jí)別】：博士

【部分圖文】：

文件管理系統(tǒng)架構(gòu)

第3章海量時(shí)間頻率科學(xué)數(shù)據(jù)存儲(chǔ)管理方法研究47第3章海量時(shí)間頻率科學(xué)數(shù)據(jù)存儲(chǔ)管理方法研究海量時(shí)間頻率科學(xué)數(shù)據(jù)存儲(chǔ)方法是時(shí)間頻率科學(xué)數(shù)據(jù)高效管理的基矗傳統(tǒng)的集中式存儲(chǔ)系統(tǒng)和統(tǒng)一的數(shù)據(jù)管理方式無(wú)法完全滿足目前數(shù)據(jù)大、數(shù)據(jù)種類多、數(shù)據(jù)結(jié)構(gòu)復(fù)雜和面向服務(wù)多用戶并發(fā)訪問的時(shí)間頻率科學(xué)數(shù)據(jù)高效存儲(chǔ)管理需求。本章針對(duì)海量時(shí)間頻率科學(xué)數(shù)據(jù)非結(jié)構(gòu)化、半結(jié)構(gòu)化、結(jié)構(gòu)化和時(shí)序化多數(shù)據(jù)結(jié)構(gòu)并存的特征，結(jié)合面向服務(wù)的海量歷史數(shù)據(jù)快速查詢和在線數(shù)據(jù)實(shí)時(shí)讀寫的應(yīng)用場(chǎng)景，分別開展了基于HDFS分布式文件系統(tǒng)、HBase海量半結(jié)構(gòu)化分布式數(shù)據(jù)存儲(chǔ)管理和InfluxDB時(shí)間序列數(shù)據(jù)存儲(chǔ)管理方法研究。最后通過實(shí)驗(yàn)分析了這些數(shù)據(jù)存儲(chǔ)方法的性能優(yōu)勢(shì)。3.1基于HDFS的海量時(shí)頻數(shù)據(jù)文件存儲(chǔ)方法研究3.1.1HDFS架構(gòu)與存儲(chǔ)特性分析HDFS分布式文件系統(tǒng)是Hadoop核心組件之一，適合運(yùn)行在通用硬件上的、高度容錯(cuò)的、可擴(kuò)展的分布式文件系統(tǒng)，系統(tǒng)組成如圖3.1所示。HDFS采用主從式架構(gòu)提供高吞吐量的數(shù)據(jù)訪問，根據(jù)各節(jié)點(diǎn)任務(wù)部署整體上分為上個(gè)部分，分別為Client節(jié)點(diǎn)、NameNode名稱節(jié)點(diǎn)、DataNode數(shù)據(jù)節(jié)點(diǎn)[88]。圖3.1HDFS組成結(jié)構(gòu)圖Figure3.1ArchitectureofHDFS典型的HDFS集群包含一個(gè)名稱節(jié)點(diǎn)和一定數(shù)目的數(shù)據(jù)節(jié)點(diǎn)。名稱節(jié)點(diǎn)是中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的命名空間、塊文件、副本策略及客戶端對(duì)文件的訪問。命名空間管理節(jié)點(diǎn)主要維護(hù)文件系統(tǒng)目錄以及所有文件的元數(shù)據(jù)，包括命名空間鏡像文件（fsimage）和操作日志文件（editlog）；文件塊管理是通過記錄每個(gè)文件中各個(gè)塊所在的數(shù)據(jù)節(jié)點(diǎn)的位置信息（元數(shù)據(jù)信息），從名稱節(jié)點(diǎn)獲

面向服務(wù)的海量時(shí)間頻率科學(xué)數(shù)據(jù)管理關(guān)鍵技術(shù)研究52模由5GB增至40GB，分別執(zhí)行數(shù)據(jù)文件的并行讀寫操作，實(shí)驗(yàn)結(jié)果見表3.1。表3.1TFDFS讀寫時(shí)間Table3.1TFDFSReadandWriteTime文件數(shù)文件大�。℅B）總規(guī)模（GB）WriteTime（s）ReadTime（s）WriteAvgTime（s）ReadAvgTime（s）51540.06325.3358.01265.06701011073.14126.9947.31412.69941511587.32539.0965.82172.606420120119.67149.1295.98362.45625125143.69174.1425.72002.965730130178.84174.2415.96102.474735135219.163107.4766.26183.070740140229.877114.8425.74692.8710從表3.1中可以看出，當(dāng)GNSS監(jiān)測(cè)數(shù)據(jù)單個(gè)文件大小保持不變而數(shù)據(jù)文件個(gè)數(shù)和數(shù)據(jù)總體規(guī)模增加時(shí)，時(shí)頻數(shù)據(jù)文件存儲(chǔ)系統(tǒng)的讀寫執(zhí)行時(shí)間與讀寫任務(wù)數(shù)量、系統(tǒng)并發(fā)量成等比增長(zhǎng)，且讀（Write）操作性能明顯優(yōu)于寫（Read）操作性能，因此基于HDFS的時(shí)頻數(shù)據(jù)文件分布式存儲(chǔ)系統(tǒng)適合歷史數(shù)據(jù)文件歸檔或長(zhǎng)期存儲(chǔ)中大量數(shù)據(jù)寫入次數(shù)少而讀取多的場(chǎng)景。進(jìn)一步對(duì)比分析時(shí)頻數(shù)據(jù)文件總體規(guī)模增加時(shí)TFDFS讀/寫操作總體運(yùn)行時(shí)間和平均運(yùn)行時(shí)間（單個(gè)文件的處理時(shí)間），運(yùn)行時(shí)間變化趨勢(shì)如圖3.5所示。圖3.5TFDFS讀/寫操作運(yùn)行時(shí)間趨勢(shì)Figure3.5TFDFSRunningTimeofReadandWriteOperation從圖中可以看出，隨著數(shù)據(jù)規(guī)模的增長(zhǎng)TFDFS的讀/寫操作的總體運(yùn)行時(shí)間呈一次線性增長(zhǎng)，而讀/寫的整體平均運(yùn)行時(shí)間呈現(xiàn)平穩(wěn)下降趨勢(shì)，表明TFDFS集群適合處理大量時(shí)頻數(shù)據(jù)文件讀/寫操作。實(shí)驗(yàn)2：文件大小對(duì)TFDFS集群I/O性能的影響實(shí)驗(yàn)數(shù)據(jù)選取GNSS系統(tǒng)時(shí)差監(jiān)測(cè)原始數(shù)據(jù)，在數(shù)據(jù)總體規(guī)模保持5GB不變的情況下，控制GNSS系統(tǒng)時(shí)間監(jiān)測(cè)實(shí)驗(yàn)數(shù)據(jù)單個(gè)文件大小由1MB遞增至1GB，

【參考文獻(xiàn)】：
期刊論文
[1]基于云計(jì)算的會(huì)計(jì)電子數(shù)據(jù)的自動(dòng)采集模型構(gòu)建[J]. 張海霞.  自動(dòng)化與儀器儀表. 2019(10)
[2]基于云計(jì)算的移動(dòng)智慧旅游景區(qū)服務(wù)系統(tǒng)的研究與開發(fā)[J]. 潘洋,王庚蘭,姜文澤,徐瑤琨,米新新,劉明言.  天津理工大學(xué)學(xué)報(bào). 2019(05)
[3]HOS:一種基于HBase的分布式存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 季一木,張寧,堯海昌,李奎,李航,劉尚東,王汝傳.  南京郵電大學(xué)學(xué)報(bào)(自然科學(xué)版). 2019(05)
[4]基于influxDB的工業(yè)時(shí)序數(shù)據(jù)庫(kù)引擎設(shè)計(jì)[J]. 徐化巖,初彥龍.  計(jì)算機(jī)應(yīng)用與軟件. 2019(09)
[5]原子鐘模型和頻率穩(wěn)定度分析方法[J]. 伍貽威,楊斌,肖勝紅,王茂磊.  武漢大學(xué)學(xué)報(bào)(信息科學(xué)版). 2019(08)
[6]基于漸消因子的改進(jìn)Kalman濾波時(shí)間尺度估計(jì)算法[J]. 宋會(huì)杰,董紹武,王燕平,安衛(wèi),侯娟.  武漢大學(xué)學(xué)報(bào)(信息科學(xué)版). 2019(08)
[7]北斗衛(wèi)星導(dǎo)航系統(tǒng)RNSS授時(shí)監(jiān)測(cè)方法研究[J]. 張大眾,鄭作亞,谷守周,秘金鐘,馬力,李杰,張濤.  測(cè)繪科學(xué). 2019(11)
[8]SOA中系統(tǒng)建模和服務(wù)重用的要素及關(guān)系[J]. 朱現(xiàn)坡.  電子技術(shù)與軟件工程. 2019(14)
[9]BPM短波授時(shí)發(fā)播系統(tǒng)及其通道時(shí)延分析與測(cè)量[J]. 謝亮,蘆旭,蒙智謀,段建文.  時(shí)間頻率學(xué)報(bào). 2019(03)
[10]主數(shù)據(jù)管理驅(qū)動(dòng)的高校信息化SOA建設(shè)[J]. 梅廣,鄒恒華,張?zhí)?許維勝.  計(jì)算機(jī)應(yīng)用. 2019(09)

博士論文
[1]農(nóng)業(yè)科學(xué)數(shù)據(jù)監(jiān)管模型構(gòu)建及應(yīng)用研究[D]. 陸麗娜.吉林大學(xué) 2018
[2]多核環(huán)境下任務(wù)并行編程關(guān)鍵技術(shù)研究[D]. 范學(xué)鵬.華中科技大學(xué) 2018
[3]基于云計(jì)算的電力設(shè)備監(jiān)測(cè)數(shù)據(jù)的集中并行處理與診斷[D]. 王劉旺.華北電力大學(xué)(北京) 2017
[4]多數(shù)據(jù)中心架構(gòu)下遙感云數(shù)據(jù)管理及產(chǎn)品生產(chǎn)關(guān)鍵技術(shù)研究[D]. 閻繼寧.中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院遙感與數(shù)字地球研究所) 2017
[5]面向服務(wù)的空間數(shù)據(jù)管理關(guān)鍵技術(shù)研究[D]. 徐道柱.解放軍信息工程大學(xué) 2017
[6]領(lǐng)域數(shù)據(jù)集成及服務(wù)關(guān)鍵技術(shù)研究[D]. 劉歆.北京科技大學(xué) 2017
[7]云平臺(tái)下電力設(shè)備監(jiān)測(cè)大數(shù)據(jù)存儲(chǔ)優(yōu)化與并行處理技術(shù)研究[D]. 宋亞奇.華北電力大學(xué)(北京) 2016
[8]衛(wèi)星導(dǎo)航中的時(shí)間參數(shù)及其測(cè)試方法[D]. 朱峰.中國(guó)科學(xué)院研究生院（國(guó)家授時(shí)中心） 2015

碩士論文
[1]華為基于大數(shù)據(jù)的APT防御系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 程煦.南京大學(xué) 2019
[2]基于Spark Streaming實(shí)時(shí)推薦系統(tǒng)的研究與實(shí)現(xiàn)[D]. 周虎.武漢郵電科學(xué)研究院 2019
[3]基于Hadoop的離線數(shù)據(jù)分析平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D]. 朱雪.河北工程大學(xué) 2018
[4]基于Spark的農(nóng)業(yè)大數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 郭二秀.浙江大學(xué) 2018
[5]大規(guī)模集群狀態(tài)時(shí)序數(shù)據(jù)采集、存儲(chǔ)與分析[D]. 劉金.北京郵電大學(xué) 2018
[6]基于SOA的GNSS變形監(jiān)測(cè)數(shù)據(jù)共享服務(wù)研究[D]. 蘇亞偉.解放軍信息工程大學(xué) 2017
[7]基于MapReduce和移動(dòng)智能終端的人體行為識(shí)別系統(tǒng)研究與實(shí)現(xiàn)[D]. 李潤(rùn)超.電子科技大學(xué) 2017
[8]基于Spark的數(shù)據(jù)挖掘算法并行化系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 蘇洪磊.北京郵電大學(xué) 2017
[9]我國(guó)深空探測(cè)工程科學(xué)數(shù)據(jù)管理研究[D]. 李波.山東大學(xué) 2016
[10]守時(shí)信息自動(dòng)分析方法研究及軟件實(shí)現(xiàn)[D]. 賀瑞珍.中國(guó)科學(xué)院研究生院（國(guó)家授時(shí)中心） 2014



本文編號(hào)：3248867