【摘要】：自2010年我國交通部將車聯(lián)網(wǎng)建設(shè)列入國家重大專項項目以來,社會各界人士開始關(guān)注、推動、參與車聯(lián)網(wǎng)在各城市交通體制中的部署落實。在這一背景下,本人參與了城市車輛智能防控系統(tǒng)的研發(fā)工作。本文以城市車輛智能防控系統(tǒng)為背景,聚焦該系統(tǒng)中的車聯(lián)網(wǎng)數(shù)據(jù)存儲問題。為了完成車聯(lián)網(wǎng)數(shù)據(jù)的存儲任務(wù),同時滿足高并發(fā)、高吞吐的寫入要求和高實時的查詢要求,根據(jù)車聯(lián)網(wǎng)數(shù)據(jù)的讀寫特征,本文設(shè)計并實現(xiàn)了一套混合存儲系統(tǒng)。該存儲系統(tǒng)依賴底層引擎的可靠性、可用性和可擴展性,為城市車輛智能防控系統(tǒng)提供健壯的數(shù)據(jù)服務(wù)。本文工作主要由以下三部分組成:1、系統(tǒng)需求分析。使用層次化的車聯(lián)網(wǎng)領(lǐng)域特征來確定城市車輛智能防控系統(tǒng)中心平臺的功能邊界,明確其主要工作是實現(xiàn)車聯(lián)網(wǎng)上五層的功能部署。將平臺內(nèi)最主要的兩條數(shù)據(jù)流定義為數(shù)據(jù)生產(chǎn)鏈和信息加工鏈。順著數(shù)據(jù)生產(chǎn)鏈和信息加工鏈,研究混合存儲系統(tǒng)和平臺其它組件之間的交互協(xié)作,提取混合存儲系統(tǒng)的功能性需求。從城市車輛智能防控系統(tǒng)的業(yè)務(wù)功能和生產(chǎn)環(huán)境中,歸納車聯(lián)網(wǎng)數(shù)據(jù)的讀寫特征,并將之劃分成感知數(shù)據(jù)、基礎(chǔ)信息、統(tǒng)計數(shù)據(jù)三類。同時,分析混合存儲系統(tǒng)的非功能性需求。根據(jù)上述需求和存儲技術(shù),選擇HBase、MySQL和Redis作為混合存儲系統(tǒng)底層的存儲引擎。2、系統(tǒng)設(shè)計與實現(xiàn)�；旌洗鎯ο到y(tǒng)由數(shù)據(jù)對象、操作接口、連接池和物理引擎組成,分為感知數(shù)據(jù)存儲子系統(tǒng)、基礎(chǔ)信息存儲子系統(tǒng)和統(tǒng)計數(shù)據(jù)存儲子系統(tǒng)。借助HBase強大的寫入能力和分布式管理邏輯,實現(xiàn)感知數(shù)據(jù)的高并發(fā)讀寫。本文提供感知數(shù)據(jù)存儲模式、操作接口、HBase連接池和索引維護程序的詳細設(shè)計,并給出具體的集群優(yōu)化配置參數(shù)和集群存儲規(guī)模的預(yù)估方法。借助MySQL的B樹索引和事務(wù)處理策略,管理關(guān)系復(fù)雜的基礎(chǔ)信息。結(jié)合實際應(yīng)用場景,分析統(tǒng)計數(shù)據(jù)的寫入沖突和查詢延遲問題。利用Redis的高性能,記錄下量少卻讀寫頻繁的統(tǒng)計數(shù)據(jù)。3、系統(tǒng)測試和總結(jié)。檢查混合存儲系統(tǒng)的節(jié)點使用情況,統(tǒng)計存儲吞吐量,檢測平臺的信息反饋時延。線上測試表明,集群負載情況良好、日吞吐量超過4億、信息反饋時延控制在7秒以內(nèi)�；旌洗鎯ο到y(tǒng)能夠為城市車輛智能防控系統(tǒng)提供穩(wěn)定、可靠、可擴展、高并發(fā)、高實時、高吞吐的數(shù)據(jù)存儲服務(wù)。
【圖文】：

圖 2.1 HBase 架構(gòu)圖[19]HMaster 進程的主要職責(zé)是為 RegionServer 分配 Region。這項任務(wù)的工作內(nèi)容，包括指派加載 Region 的 RegionServer，平衡集群中所有 RegionServer 的工作負載，以及在一個 RegionServer 出現(xiàn)故障后，重新分配其原先負責(zé)的全部 Region。此外，HMaster 還要處理用戶提交的 DDL 請求和 HDFS 上的垃圾回收。由于 DDL 請求的數(shù)

圖 4.3 車輛狀態(tài)數(shù)據(jù)業(yè)務(wù)和操作示意圖存儲系統(tǒng)要做的并非滿足車聯(lián)網(wǎng)數(shù)據(jù)上的業(yè)務(wù)需求，而是實現(xiàn)車聯(lián)。根據(jù)車輛狀態(tài)數(shù)據(jù)的查詢要求，最優(yōu)的存儲方式是按時間序列存盤順序讀取目標(biāo)數(shù)據(jù)。若想要達到這種效果，必須將車輛狀態(tài)數(shù)據(jù)鍵前綴。然而這種方法并不可取，究其原因和車輛狀態(tài)數(shù)據(jù)的 時
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：U495

【相似文獻】

相關(guān)期刊論文 前10條

1 陳游e，

本文編號：2611204