隨著我國北斗衛(wèi)星建設事業(yè)的發(fā)展,國家組織相關部門研制了北斗地基增強系統(tǒng),并在全國各地陸續(xù)建設國家框架網(wǎng)基準站與衛(wèi)星直接通信,接收原始數(shù)據(jù)。作為北斗地基增強系統(tǒng)的分系統(tǒng)某數(shù)據(jù)管理系統(tǒng)的增強備份中心,備份系統(tǒng)與數(shù)據(jù)管理系統(tǒng)保持同步,均會接收基準站的原始數(shù)據(jù),然后進行標準化處理。隨著基準站數(shù)量不斷增多,實時流數(shù)據(jù)規(guī)模也越來越大,原有的單機多線程的處理方案無法滿足對原始流數(shù)據(jù)的實時處理需求,因此需要在備份系統(tǒng)中研究實現(xiàn)對基準站實時流數(shù)據(jù)的高并發(fā)處理方案。另外,當數(shù)據(jù)管理系統(tǒng)不可用時,在對用戶透明的情況下,備份系統(tǒng)需要替代數(shù)據(jù)管理系統(tǒng)對外提供服務,最大限度地減輕數(shù)據(jù)管理系統(tǒng)單點故障帶來的影響,因此需要從對外提供服務的角度,研究實現(xiàn)整體系統(tǒng)的高可用方案。本文借助基于分布式的流數(shù)據(jù)處理、計算框架來實現(xiàn)數(shù)據(jù)高并發(fā)處理方案,通過使用Flume框架接收來自框架網(wǎng)基準站的原始數(shù)據(jù),對原始數(shù)據(jù)進行數(shù)據(jù)包解析、時間轉換等預處理。然后通過基于ZooKeeper協(xié)調的分布式消息系統(tǒng)Kafka對Flume接收到的數(shù)據(jù)進行緩沖來保證整個數(shù)據(jù)傳輸與處理過程平穩(wěn)銜接。使用Flink流處理計算框架消費來自Kafka的數(shù)據(jù),根... 

【文章來源】：西安電子科技大學陜西省 211工程院校 教育部直屬院校

【文章頁數(shù)】：87 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
縮略語對照表
第一章 緒論
    1.1 研究背景及意義
    1.2 國內外發(fā)展現(xiàn)狀
    1.3 論文工作內容
    1.4 論文組織結構
第二章 相關技術研究
    2.1 流處理計算框架Flink
        2.1.1 Flink架構與數(shù)據(jù)流模型
        2.1.2 與流處理計算框架Spark Streaming及Sotrm的對比
    2.2 分布式日志收集系統(tǒng)Flume
    2.3 分布式消息系統(tǒng)Kafka
    2.4 Rsync算法
    2.5 文件系統(tǒng)監(jiān)控機制inotify
    2.6 本章小結
第三章 系統(tǒng)需求分析
    3.1 備份系統(tǒng)功能
    3.2 備份系統(tǒng)數(shù)據(jù)高并發(fā)處理需求
    3.3 整體系統(tǒng)高可用需求
    3.4 本章小結
第四章 備份系統(tǒng)數(shù)據(jù)高并發(fā)處理方案研究與實現(xiàn)
    4.1 備份系統(tǒng)數(shù)據(jù)高并發(fā)處理方案架構
    4.2 備份系統(tǒng)數(shù)據(jù)高并發(fā)處理方案實現(xiàn)
        4.2.1 數(shù)據(jù)收集部分
        4.2.2 數(shù)據(jù)處理部分
    4.3 測試與驗證
        4.3.1 實驗環(huán)境搭建
        4.3.2 實驗結果分析
    4.4 本章小結
第五章 整體系統(tǒng)高可用方案研究與實現(xiàn)
    5.1 遠程文件同步方案
        5.1.1 遠程文件高效同步算法的研究
        5.1.2 文件系統(tǒng)監(jiān)控機制的研究
        5.1.3 遠程文件雙向同步方案
    5.2 服務系統(tǒng)切換方案
    5.3 測試與驗證
        5.3.1 遠程文件同步方案
        5.3.2 服務系統(tǒng)切換方案
    5.4 本章小結
第六章 總結與展望
    6.1 工作總結
    6.2 工作展望
參考文獻
致謝
作者簡介


【參考文獻】：
期刊論文
[1]阿里巴巴的大數(shù)據(jù)之路JStorm與Blink的發(fā)展史[J]. 林琳.  計算機與網(wǎng)絡. 2019(02)
[2]北斗地基增強系統(tǒng)標準體系的構建[J]. 麥綠波,徐曉飛,梁昫,陳曉華.  中國標準化. 2016(14)
[3]北斗衛(wèi)星導航系統(tǒng)發(fā)展與應用[J]. 吳海玲,高麗峰,汪陶勝,李作虎.  導航定位學報. 2015(02)
[4]北斗觀測數(shù)據(jù)質量檢測方法及其軟件實現(xiàn)[J]. 蘇行,何戰(zhàn)科,孔垚,孫保琪,楊旭海.  時間頻率學報. 2014(04)
[5]新一代國際標準RTCM V3.2及其應用[J]. 陳振,王權,秘金鐘,谷守周,方書山,向常淦.  導航定位學報. 2014(04)

碩士論文
[1]Ntrip差分數(shù)據(jù)的標準化和可靠傳輸?shù)难芯颗c實現(xiàn)[D]. 李玲紅.西安電子科技大學 2018



本文編號：3188710