移動(dòng)互聯(lián)網(wǎng)、衛(wèi)星定位、LBS等技術(shù)的迅速發(fā)展,推動(dòng)了車聯(lián)網(wǎng)行業(yè)的進(jìn)步,但也為其帶來了新的挑戰(zhàn)。車聯(lián)網(wǎng)云數(shù)據(jù)中心與綜合服務(wù)平臺(tái)匯聚了關(guān)于車輛位置、狀態(tài)、速度、加速度、路網(wǎng)等非結(jié)構(gòu)化的海量車聯(lián)網(wǎng)數(shù)據(jù),傳統(tǒng)的數(shù)據(jù)分析技術(shù)已經(jīng)無法滿足當(dāng)前規(guī)模的車聯(lián)網(wǎng)數(shù)據(jù)處理的需求。因此,本文提出引進(jìn)分布式計(jì)算技術(shù)和數(shù)據(jù)存儲(chǔ)技術(shù),構(gòu)建云服務(wù)信息化平臺(tái),從而實(shí)現(xiàn)對車輛進(jìn)行高效實(shí)時(shí)監(jiān)控和調(diào)度管理。主要的貢獻(xiàn)如下:1、針對傳統(tǒng)關(guān)系型數(shù)據(jù)庫無法承載海量數(shù)據(jù)的存儲(chǔ),突破了單表存儲(chǔ)的上限,且數(shù)據(jù)的查詢和寫入性能呈現(xiàn)指數(shù)級(jí)別地下降的問題,同時(shí)考慮車載終端采集的數(shù)據(jù)海量、高速、非結(jié)構(gòu)化等特點(diǎn),本文基于HBase與Redis緩存數(shù)據(jù)庫設(shè)計(jì)和實(shí)現(xiàn)了車聯(lián)網(wǎng)數(shù)據(jù)的存儲(chǔ)和查詢優(yōu)化系統(tǒng)。具體地,利用非關(guān)系型、高性能、可擴(kuò)展的分布式數(shù)據(jù)庫HBase做存儲(chǔ),內(nèi)存數(shù)據(jù)庫Redis做數(shù)據(jù)緩存。此外,為了提高存儲(chǔ),查詢效率,節(jié)省存儲(chǔ)空間,分別從RowKey設(shè)計(jì),服務(wù)器預(yù)分區(qū),Redis緩存策略,集群參數(shù)調(diào)整等方面進(jìn)行優(yōu)化。實(shí)驗(yàn)表明,HBase數(shù)據(jù)寫入和查詢性能都有所提升,滿足了非結(jié)構(gòu)化車聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)需求。2、針對傳統(tǒng)車聯(lián)網(wǎng)平臺(tái)在處理海量數(shù)據(jù)時(shí)存在... 

【文章來源】：中國科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校

【文章頁數(shù)】：75 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

HBaae架構(gòu)圖

大型分布式系統(tǒng)中，有文本、視頻流等格式的文件類型，每種類型的數(shù)據(jù)??體量不同，處理速度也不同。消息隊(duì)列通過維護(hù)一個(gè)緩沖層來提高任務(wù)的執(zhí)行??效率，以盡可能快的速度寫入隊(duì)列，通過緩沖可以在一定程度上控制和優(yōu)化數(shù)??據(jù)被處理的速度。??６、異步通信??面對海量數(shù)據(jù)高并發(fā)請求，處理模塊無法同步及時(shí)的處理數(shù)據(jù)，當(dāng)數(shù)據(jù)產(chǎn)??生的速度大于處理（消費(fèi)）的速度，往往造成數(shù)據(jù)堵塞，堆積。為了防止數(shù)據(jù)??的丟失，實(shí)現(xiàn)數(shù)據(jù)的緩沖，對于實(shí)時(shí)性要求不高的數(shù)據(jù)，利用消息隊(duì)列的異步??通信機(jī)制，將消息以任意的速度發(fā)送到消息隊(duì)列中，消息的消費(fèi)者只需在需要??處理的時(shí)候從隊(duì)列中拉取數(shù)據(jù)即可。２．３．２?Ｋａｆｋａ??Ｋａｆｋａ是一個(gè)分布式的、高吞吐量的、多分區(qū)、多副本、多訂閱者的消息系??統(tǒng)，主要應(yīng)用場景：日志采集系統(tǒng)、實(shí)時(shí)分析系統(tǒng)，消息系統(tǒng)等［２４—２５］，其整體??架構(gòu)如圖２．２所示。??Ｐｒｏｄｕｃｅｒ?Ｆｌｕｍｅ?Ｒｅｄｉｓ?Ｒｅｓｏｕｒｃｅ?Ｏｔｈｅｒ?Ｄａｔａ??

ｊ?Ｊ??圖３．１存儲(chǔ)系統(tǒng)架構(gòu)圖??系統(tǒng)架構(gòu)如圖３．１所示，系統(tǒng)主要由數(shù)據(jù)存儲(chǔ)，查詢檢索兩個(gè)組成部分：??數(shù)據(jù)存儲(chǔ)：基于ＨＢａｓｅ高性能，高可靠的數(shù)據(jù)讀寫能力，利用緩存區(qū)，多??線程技術(shù)實(shí)現(xiàn)海量車聯(lián)網(wǎng)數(shù)據(jù)的持久化存儲(chǔ)。采用ＨＢａｓｅ大數(shù)據(jù)存儲(chǔ)框架，在??保證足夠的存儲(chǔ)空間的前提下，利用ＨＢａｓｅ的分布式特點(diǎn)來提高數(shù)據(jù)的存取速??度，解決數(shù)據(jù)的單點(diǎn)存儲(chǔ)隱患，保障數(shù)據(jù)的高可用性。??查詢檢索：為了實(shí)現(xiàn)快速，高效的數(shù)據(jù)查詢檢索服務(wù)，系統(tǒng)采用Ｒｅｄｉｓ緩存??策略。利用Ｒｅｄｉｓ高性能操作和運(yùn)算上的優(yōu)勢，為數(shù)據(jù)展示層提供既方便又快??捷的數(shù)據(jù)檢索。Ｒｅｄｉｓ存儲(chǔ)容量與物理內(nèi)存大小有關(guān)，因物理內(nèi)存有限，不能??１６??

【參考文獻(xiàn)】：
期刊論文
[1]SpringBoot集成Redis緩存在電信運(yùn)營系統(tǒng)中的應(yīng)用研究[J]. 葛寶龍,鄧欣,秦嘉羅.  中國新通信. 2017(23)
[2]基于K-means和DBSCAN的軌跡數(shù)據(jù)挖掘研究[J]. 張致寧.  中國戰(zhàn)略新興產(chǎn)業(yè). 2017(44)
[3]網(wǎng)絡(luò)訪問日志實(shí)時(shí)分析系統(tǒng)在Storm平臺(tái)上的實(shí)現(xiàn)[J]. 何雅琴,李濤.  信息化研究. 2016(04)
[4]基于GeoHash算法的周邊查詢應(yīng)用研究[J]. 趙雨琪,牟乃夏,祝帥兵,張昌景.  軟件導(dǎo)刊. 2016(06)
[5]基于Storm框架結(jié)構(gòu)的分布式實(shí)時(shí)日志分析系統(tǒng)的設(shè)計(jì)研究[J]. 趙陽,王春喜.  信息與電腦(理論版). 2016(08)
[6]基于交通軌跡數(shù)據(jù)挖掘的道路限速信息識(shí)別方法[J]. 廖律超,蔣新華,林銘榛,鄒復(fù)民.  交通運(yùn)輸工程學(xué)報(bào). 2015(05)
[7]HiBase:一種基于分層式索引的高效HBase查詢技術(shù)與系統(tǒng)[J]. 葛微,羅圣美,周文輝,趙頔,唐云,周娟,曲文武,袁春風(fēng),黃宜華.  計(jì)算機(jī)學(xué)報(bào). 2016(01)
[8]基于storm云平臺(tái)的電力信息系統(tǒng)實(shí)時(shí)監(jiān)理的研究[J]. 韓福霞,儲(chǔ)志高,舒彬,劉宏志,尹璐,丁仁山.  電氣應(yīng)用. 2015(S1)
[9]基于Kafka消息隊(duì)列的電網(wǎng)設(shè)備準(zhǔn)實(shí)時(shí)數(shù)據(jù)接入方法研究[J]. 王震,陳亮.  山東電力技術(shù). 2015(06)
[10]實(shí)時(shí)大數(shù)據(jù)處理技術(shù)在狀態(tài)監(jiān)測領(lǐng)域中的應(yīng)用[J]. 周國亮,朱永利,王桂蘭,宋亞奇.  電工技術(shù)學(xué)報(bào). 2014(S1)

碩士論文
[1]基于Kafka的消息隊(duì)列在射天文數(shù)據(jù)處理中應(yīng)用的研究[D]. 王鄭合.昆明理工大學(xué) 2017
[2]基于Storm的實(shí)時(shí)日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 屈國慶.南京大學(xué) 2016
[3]基于實(shí)時(shí)流數(shù)據(jù)平臺(tái)的車聯(lián)網(wǎng)數(shù)據(jù)監(jiān)控系統(tǒng)[D]. 楊樂.電子科技大學(xué) 2016
[4]海量數(shù)據(jù)存儲(chǔ)和準(zhǔn)實(shí)時(shí)查詢系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 齊方方.西南石油大學(xué) 2015
[5]HBase數(shù)據(jù)庫評測關(guān)鍵技術(shù)的研究[D]. 王帥.哈爾濱工業(yè)大學(xué) 2015
[6]大數(shù)據(jù)環(huán)境下的車輛監(jiān)控公共服務(wù)平臺(tái)研究[D]. 李曉夏.華中科技大學(xué) 2015
[7]基于HBase的嵌套式數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 馬浩田.浙江大學(xué) 2015
[8]一種基于Storm的分布式實(shí)時(shí)增量計(jì)算框架的研究與實(shí)現(xiàn)[D]. 李勁松.電子科技大學(xué) 2015
[9]基于Storm的實(shí)時(shí)計(jì)算系統(tǒng)的研究與實(shí)現(xiàn)[D]. 戴菲.西安電子科技大學(xué) 2014
[10]HBase存儲(chǔ)的研究與應(yīng)用[D]. 馮曉普.北京郵電大學(xué) 2014



本文編號(hào)：3325500