北斗衛(wèi)星導(dǎo)航系統(tǒng)是我國自行研制的全球衛(wèi)星導(dǎo)航系統(tǒng),對于我國國防安全和國民生計(jì)具有重大戰(zhàn)略意義。監(jiān)測接收機(jī)作為衛(wèi)星信號質(zhì)量檢測工具,關(guān)乎到衛(wèi)星系統(tǒng)全球組網(wǎng)能否順利實(shí)現(xiàn)。監(jiān)測接收機(jī)通過固定協(xié)議和標(biāo)準(zhǔn)對衛(wèi)星信號完整性進(jìn)行分析,只有監(jiān)測接收機(jī)處于正常工作模式,衛(wèi)星信號評估時(shí)才能得出正確的分析結(jié)果。因此,監(jiān)測接收機(jī)的測試評估是各監(jiān)測接收機(jī)生產(chǎn)廠家最為關(guān)注的生產(chǎn)環(huán)節(jié)。傳統(tǒng)的監(jiān)測接收機(jī)測試評估往往采用人工方式,借助串行處理信號分析軟件對接收機(jī)實(shí)時(shí)流數(shù)據(jù)接收并存儲,再通過逐臺、逐測試項(xiàng)的評估方式進(jìn)行離線測試。在長時(shí)間接收的情況下會產(chǎn)生巨大的數(shù)據(jù)量,數(shù)據(jù)采集耗費(fèi)大量時(shí)間和人力,且相關(guān)評估軟件無法并行處理數(shù)據(jù),人工參與度大,無法給出實(shí)時(shí)結(jié)果,且性能極其不穩(wěn)定,已經(jīng)無法滿足我國第四代導(dǎo)航系統(tǒng)的測試評估要求。因此,研究并實(shí)現(xiàn)支持長時(shí)間數(shù)據(jù)處理、支持實(shí)時(shí)數(shù)據(jù)評估,且可以同時(shí)支持多臺監(jiān)測接收機(jī)測試評估的處理與存儲架構(gòu)將極大提升監(jiān)測接收機(jī)測試評估效率,對衛(wèi)星導(dǎo)航工作的順利開展有重要意義。首先,本文設(shè)計(jì)了監(jiān)測接收機(jī)整體測試評估流程,并對數(shù)據(jù)接收和數(shù)據(jù)處理與存儲流程進(jìn)行了詳細(xì)設(shè)計(jì)。在此基礎(chǔ)上,本文在單機(jī)下實(shí)現(xiàn)了C++串行化的測試評估代碼,使用Visual studio Profile對該實(shí)現(xiàn)代碼進(jìn)行瓶頸分析。通過瓶頸分析,發(fā)現(xiàn)在串行測試評估過程中存在單機(jī)內(nèi)存不足、耗時(shí)較長且無法實(shí)現(xiàn)實(shí)時(shí)評估的問題。同時(shí),測試數(shù)據(jù)以時(shí)間序列排列,各個(gè)測試項(xiàng)互不干擾,各頻點(diǎn)、衛(wèi)星下的測試評估均可單獨(dú)進(jìn)行的特點(diǎn),符合并行化處理的要求。針對這些問題,提出了使用分布式、并行化接收并處理的方案。不同接收機(jī)數(shù)據(jù)通過分布式一致性哈希算法映射到不同計(jì)算機(jī)節(jié)點(diǎn),使用Kafka消息中間件緩沖數(shù)據(jù)并解耦合數(shù)據(jù)接收和數(shù)據(jù)處理模塊,并使用Flink并行化處理多測試項(xiàng)、多接收機(jī)數(shù)據(jù),最后將測試評估結(jié)果與接收到的數(shù)據(jù)存入HDFS分布式文件系統(tǒng)中。其次,在提出的分布式、并行化接收并處理方案的基礎(chǔ)上進(jìn)行研究試驗(yàn),實(shí)現(xiàn)了本文所提出的基于Flink+Kafka+HDFS的監(jiān)測接收機(jī)數(shù)據(jù)處理與存儲架構(gòu)。將實(shí)現(xiàn)過程分為三個(gè)部分,第一部分為數(shù)據(jù)的接收與Kafka對實(shí)時(shí)數(shù)據(jù)的傳輸實(shí)現(xiàn),并按照接收機(jī)數(shù)據(jù)特點(diǎn),對每個(gè)測試項(xiàng)數(shù)據(jù)分別實(shí)現(xiàn)了數(shù)據(jù)序列化與反序列化器。第二部分針對瓶頸分析中總結(jié)出的4種典型數(shù)據(jù)處理過程,對監(jiān)測接收機(jī)的這4項(xiàng)典型測試項(xiàng)處理過程使用Flink并行化處理。第三部分為接收機(jī)評估結(jié)果文件與接收機(jī)數(shù)據(jù)在HDFS集群中的存儲實(shí)現(xiàn),根據(jù)測試項(xiàng)與頻點(diǎn)號在HDFS中創(chuàng)建了不同的存儲路徑,并且針對本文中結(jié)果文件為小文件的特點(diǎn),優(yōu)化了原始存儲算法,采用合并小文件為組合文件,并增加索引表的機(jī)制對HDFS存儲結(jié)構(gòu)進(jìn)行了優(yōu)化。最后,對本文提出的基于Flink+Kafka+HDFS的監(jiān)測接收機(jī)數(shù)據(jù)處理與存儲架構(gòu)進(jìn)行實(shí)驗(yàn)與分析,包括功能測試和性能測試。實(shí)驗(yàn)環(huán)境為4臺PC機(jī)搭建的分布式系統(tǒng),在該實(shí)驗(yàn)條件下,功能測試表明,本文所提出的分布式架構(gòu)能夠使用TCP接收監(jiān)測接收機(jī)信號并解析,通過消息隊(duì)列Kafka實(shí)時(shí)傳輸給Flink,在Flink中并行化處理接收機(jī)多項(xiàng)測試項(xiàng)數(shù)據(jù)和多臺監(jiān)測接收機(jī)數(shù)據(jù),并在數(shù)據(jù)處理過程中,將原始數(shù)據(jù)和測試結(jié)果存入HDFS。通過處理流程的并行化,本文提出的分布式架構(gòu)數(shù)據(jù)處理相較于原始串行化算法,平均加速比達(dá)到了4.0,接收機(jī)測試評估性能有了明顯提升,說明本文所實(shí)現(xiàn)的基于Flink+Kafka+HDFS的分布式處理與存儲架構(gòu)適用于監(jiān)測接收機(jī)批量測試評估流程。
【學(xué)位單位】：西安電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TN967.1
【部分圖文】：

衛(wèi)星導(dǎo)航系統(tǒng)整體布局圖

3.1 流程設(shè)計(jì)3.1.1 整體流程設(shè)計(jì)通過對北斗監(jiān)測接收機(jī)測試評估進(jìn)行需求分析，設(shè)計(jì)測試評估流程如圖3.1所示。圖3.1 北斗監(jiān)測接收機(jī)測試評估流程示意圖

（4）計(jì)算過程存在大量的迭代計(jì)算，應(yīng)使用支持迭代計(jì)算的技術(shù)簡化計(jì)算方式。因此，結(jié)合以上特點(diǎn)，下面從四個(gè)方面對接收機(jī)測試評估方案進(jìn)行設(shè)計(jì)。圖3.13 方案架構(gòu)示意圖（1）數(shù)據(jù)接收首先數(shù)據(jù)接收方面考慮針對不同的數(shù)據(jù)源，開放計(jì)算機(jī)不同端口。多臺接收機(jī)測試時(shí)，不同接收機(jī)同一項(xiàng)數(shù)據(jù)源數(shù)據(jù)發(fā)往處理計(jì)算機(jī)的該測試項(xiàng)對應(yīng)的同一端口。另外，為了緩解對單臺計(jì)算機(jī)接收數(shù)據(jù)的壓力，考慮使用多節(jié)點(diǎn)接收數(shù)據(jù)。也就
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 龐維欣;;軟件定義存儲架構(gòu)在私有云上的應(yīng)用[J];通訊世界;2016年24期

2 皮劍;鄭騰云;尹彥博;;分離解析安全云存儲架構(gòu)與標(biāo)準(zhǔn)化[J];信息技術(shù)與標(biāo)準(zhǔn)化;2014年11期

3 何國強(qiáng);汪智勇;;面向高性能計(jì)算的多通道交織存儲架構(gòu)設(shè)計(jì)[J];現(xiàn)代雷達(dá);2017年08期

4 ;Q-Cloud創(chuàng)新解決方案[J];辦公自動化;2015年05期

5 隗爽;;存儲架構(gòu)討論[J];教育信息化;2006年18期

6 馬書群;;船舶大數(shù)據(jù)信息中心的高性能存儲架構(gòu)設(shè)計(jì)[J];艦船科學(xué)技術(shù);2020年02期

7 高瑋;傅春瑜;王劍云;趙英英;鐘力煒;;醫(yī)療大數(shù)據(jù)的統(tǒng)一存儲架構(gòu)設(shè)計(jì)[J];中國數(shù)字醫(yī)學(xué);2017年04期

8 彤;Spansion全新NOR+ORNAND手機(jī)存儲架構(gòu)[J];電子設(shè)計(jì)應(yīng)用;2005年12期

9 馬西哲;;醫(yī)院信息系統(tǒng)存儲架構(gòu)分析[J];電子技術(shù)與軟件工程;2017年03期

10 徐聯(lián);;雙存儲架構(gòu)在媒體資產(chǎn)管理系統(tǒng)中的應(yīng)用[J];西部廣播電視;2017年10期

相關(guān)博士學(xué)位論文 前2條

1 李彭軍;醫(yī)學(xué)影像云服務(wù)平臺基礎(chǔ)架構(gòu)研究與實(shí)踐[D];南方醫(yī)科大學(xué);2011年

2 趙哲峰;基于語義分析方法的視頻流媒體大數(shù)據(jù)技術(shù)研究[D];太原理工大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 張曼;健康數(shù)據(jù)庫存儲架構(gòu)及高效數(shù)據(jù)訪問關(guān)鍵技術(shù)研究[D];國防科技大學(xué);2018年

2 周際援;基于霧計(jì)算模式的安全高效云存儲研究[D];華僑大學(xué);2019年

3 陳敏;北斗監(jiān)測接收機(jī)海量數(shù)據(jù)處理與存儲架構(gòu)研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2019年

4 皮陽;Ceph分層存儲優(yōu)化策略研究與實(shí)現(xiàn)[D];重慶郵電大學(xué);2019年

5 余捷;混合云存儲架構(gòu)優(yōu)化配置研究[D];上海交通大學(xué);2016年

6 顧蕊;面向會員用戶的云存儲架構(gòu)及其性能研究[D];燕山大學(xué);2018年

7 王博;面向全基因組關(guān)聯(lián)分析的大數(shù)據(jù)存儲架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2018年

8 劉浩;基于負(fù)載均衡的存儲架構(gòu)研究與應(yīng)用[D];山東大學(xué);2011年

9 張麗君;一種無主控制的云存儲架構(gòu)的研究[D];大連理工大學(xué);2011年

10 盧亮;混合云存儲架構(gòu)的研究與設(shè)計(jì)[D];北京郵電大學(xué);2015年

本文編號：2848991