本文關(guān)鍵詞：基于HBase的交通數(shù)據(jù)管理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： NoSQL數(shù)據(jù)庫 分布式文件系統(tǒng) 分布式消息隊(duì)列 海量數(shù)據(jù)

【摘要】：隨著社會(huì)經(jīng)濟(jì)水平的提高,機(jī)動(dòng)車保有量迅速增長(zhǎng),交通擁堵嚴(yán)重、交通事故增長(zhǎng)等問題日益嚴(yán)重,與車輛有關(guān)的犯罪行為也逐漸增加。針對(duì)這一情況,各地公安及交通管理部門建設(shè)了大量的智能采集設(shè)備,對(duì)車輛的行車軌跡等進(jìn)行記錄,形成了海量的結(jié)構(gòu)化過車記錄、圖像、視頻等數(shù)據(jù)。這些數(shù)據(jù)數(shù)量巨大、種類豐富,蘊(yùn)含著巨大的價(jià)值,利用好這些數(shù)據(jù)將產(chǎn)生巨大的社會(huì)和經(jīng)濟(jì)效益。但是,采集設(shè)備的增加和抓拍清晰度的提高使得獲取的數(shù)據(jù)量飛速增長(zhǎng),對(duì)數(shù)據(jù)接入、存儲(chǔ)和分析能力帶來了很大的考驗(yàn),傳統(tǒng)的單機(jī)式的數(shù)據(jù)接入和存儲(chǔ)架構(gòu)無法滿足海量數(shù)據(jù)接入存儲(chǔ)的需求。面對(duì)這些挑戰(zhàn)和新的需求,我們利用新興的大數(shù)據(jù)技術(shù),構(gòu)建了新一代的交通數(shù)據(jù)管理平臺(tái)。為了解決海量數(shù)據(jù)接入存儲(chǔ)的問題,我們研究了分布式文件系統(tǒng)、NoSQL數(shù)據(jù)庫、磁盤陣列、分布式批處理框架、分布式流處理框架、分布式消息隊(duì)列等相關(guān)技術(shù)。在此基礎(chǔ)上,我們對(duì)用戶需求進(jìn)行了深入分析,設(shè)計(jì)了以HBase為基礎(chǔ)的分布式架構(gòu)的方案。我們的方案使用分布式文件系統(tǒng)HDFS存儲(chǔ)圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù),將結(jié)構(gòu)化數(shù)據(jù)存到HBase,使用分布式計(jì)算框架對(duì)存在HBase中的數(shù)據(jù)進(jìn)行分析,使用分布式消息隊(duì)列作為系統(tǒng)消息傳遞的中間件,很好地解決了海量數(shù)據(jù)的接入、存儲(chǔ)、查詢、分析等問題。遵循軟件工程的基本思想,在完成需求分析和上述的總體設(shè)計(jì)后我們又繼續(xù)完成了架構(gòu)和功能的詳細(xì)設(shè)計(jì)、軟件功能實(shí)現(xiàn)和測(cè)試,并最終投入到了實(shí)際的生產(chǎn)環(huán)境中使用。在實(shí)現(xiàn)過程中,整個(gè)系統(tǒng)采用MVC的軟件架構(gòu),使用了Java Web的相關(guān)技術(shù)和相關(guān)框架,做到了模塊間的低耦合和模塊內(nèi)的高聚合,保證了代碼良好的結(jié)構(gòu)和系統(tǒng)功能的穩(wěn)定性。
【關(guān)鍵詞】：NoSQL數(shù)據(jù)庫 分布式文件系統(tǒng) 分布式消息隊(duì)列 海量數(shù)據(jù)
【學(xué)位授予單位】：山東大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.52
【目錄】：

• 摘要8-9
• ABSTRACT9-10
• 第1章 緒論10-17
• 1.1 研究背景與意義10-12
• 1.1.1 智能交通管控介紹10-11
• 1.1.2 國(guó)內(nèi)外研究現(xiàn)狀11-12
• 1.1.3 研究的目的和意義12
• 1.2 相關(guān)技術(shù)發(fā)展情況12-15
• 1.2.1 分布式文件系統(tǒng)13
• 1.2.2 NoSQL數(shù)據(jù)庫13-14
• 1.2.3 分布式計(jì)算技術(shù)14
• 1.2.4 其他相關(guān)技術(shù)介紹14-15
• 1.3 本文的主要工作15-16
• 1.4 論文的組織結(jié)構(gòu)16-17
• 第2章 需求分析17-23
• 2.1 系統(tǒng)概述與分析17
• 2.2 功能性需求17-21
• 2.2.1 海量數(shù)據(jù)高速實(shí)時(shí)接入18
• 2.2.2 海量數(shù)據(jù)高效存儲(chǔ)檢索18-21
• 2.3 非功能性需求21-23
• 第3章 系統(tǒng)架構(gòu)設(shè)計(jì)23-33
• 3.1 系統(tǒng)的基礎(chǔ)架構(gòu)23-25
• 3.1.1 系統(tǒng)的軟件架構(gòu)設(shè)計(jì)23-24
• 3.1.2 系統(tǒng)主數(shù)據(jù)流走向24-25
• 3.2 卡口部分架構(gòu)設(shè)計(jì)25-29
• 3.2.1 卡口數(shù)據(jù)接入設(shè)計(jì)25-27
• 3.2.2 卡口數(shù)據(jù)存儲(chǔ)設(shè)計(jì)27-29
• 3.3 視頻部分架構(gòu)設(shè)計(jì)29-31
• 3.3.1 視頻數(shù)據(jù)接入設(shè)計(jì)29-30
• 3.3.2 視頻數(shù)據(jù)存儲(chǔ)設(shè)計(jì)30-31
• 3.4 前后臺(tái)交互架構(gòu)設(shè)計(jì)31-33
• 第4章 系統(tǒng)詳細(xì)設(shè)計(jì)33-49
• 4.1 數(shù)據(jù)接入部分詳細(xì)設(shè)計(jì)33-39
• 4.1.1 卡口數(shù)據(jù)接入詳細(xì)設(shè)計(jì)33-37
• 4.1.2 視頻數(shù)據(jù)接入詳細(xì)設(shè)計(jì)37-39
• 4.2 數(shù)據(jù)存儲(chǔ)部分詳細(xì)設(shè)計(jì)39-42
• 4.2.1 卡口數(shù)據(jù)存儲(chǔ)詳細(xì)設(shè)計(jì)39-40
• 4.2.2 視頻數(shù)據(jù)存儲(chǔ)詳細(xì)設(shè)計(jì)40-42
• 4.3 查詢統(tǒng)計(jì)部分詳細(xì)設(shè)計(jì)42-45
• 4.3.1 卡口數(shù)據(jù)查詢統(tǒng)計(jì)詳細(xì)設(shè)計(jì)42-44
• 4.3.2 視頻數(shù)據(jù)查詢?cè)敿?xì)設(shè)計(jì)44-45
• 4.4 數(shù)據(jù)下載部分詳細(xì)設(shè)計(jì)45-47
• 4.4.1 圖片服務(wù)器詳細(xì)設(shè)計(jì)45-46
• 4.4.2 視頻服務(wù)器詳細(xì)設(shè)計(jì)46-47
• 4.5 前后臺(tái)交互中間件詳細(xì)設(shè)計(jì)47-49
• 第5章 系統(tǒng)實(shí)現(xiàn)49-56
• 5.1 概述49-50
• 5.2 系統(tǒng)部分功能頁面展示50-53
• 5.3 系統(tǒng)相關(guān)功能代碼實(shí)現(xiàn)53-56
• 第6章 系統(tǒng)測(cè)試56-58
• 第7章 結(jié)論與展望58-59
• 參考文獻(xiàn)59-61
• 致謝61-62
• 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄62-63
• 學(xué)位論文評(píng)閱及答辯情況表63

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前10條

1 黃行;;構(gòu)筑歷史數(shù)據(jù)管理平臺(tái)[J];金融電子化;2005年05期

2 付強(qiáng);蕭蘊(yùn)詩;;油田數(shù)據(jù)管理平臺(tái)的研究與開發(fā)[J];佳木斯大學(xué)學(xué)報(bào)(自然科學(xué)版);2006年04期

3 吳燕;;統(tǒng)一數(shù)據(jù)管理平臺(tái)[J];信息系統(tǒng)工程;2008年02期

4 牟彬;;推進(jìn)銀行數(shù)據(jù)管理平臺(tái)系統(tǒng)建設(shè) 為銀行應(yīng)用系統(tǒng)提供基礎(chǔ)支持[J];金融電子化;2005年09期

5 陳德旺;魏天磊;侯贊;;嵌入式數(shù)字軌道地圖數(shù)據(jù)管理平臺(tái)的研究與設(shè)計(jì)[J];鐵路計(jì)算機(jī)應(yīng)用;2010年07期

6 孔維生;沈春山;吳仲城;申飛;;穩(wěn)態(tài)強(qiáng)磁場(chǎng)數(shù)據(jù)管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2011年04期

7 董冬;朱成亮;胡瑛;劉曉;李恒;;試驗(yàn)數(shù)據(jù)管理平臺(tái)設(shè)計(jì)研究[J];火箭推進(jìn);2014年04期

8 關(guān)穎;陳云鵬;;分析網(wǎng)絡(luò)化環(huán)境監(jiān)測(cè)數(shù)據(jù)管理平臺(tái)設(shè)計(jì)與開發(fā)[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年13期

9 馮宇;;非結(jié)構(gòu)化數(shù)據(jù)管理平臺(tái)研究與建設(shè)[J];電力信息化;2012年02期

10 萬俊;;試驗(yàn)數(shù)據(jù)管理平臺(tái)建設(shè)的研究----以飛機(jī)研制單位為例[J];數(shù)字技術(shù)與應(yīng)用;2014年04期

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫 前6條

1 李群立 王忠賢;費(fèi)縣地稅局 依托數(shù)據(jù)管理平臺(tái) 加強(qiáng)數(shù)據(jù)檢查考核[N];聯(lián)合日?qǐng)?bào);2009年

2 記者 李建國(guó);內(nèi)蒙古建成統(tǒng)一水資源數(shù)據(jù)管理平臺(tái)[N];中國(guó)水利報(bào);2014年

3 ;客戶數(shù)據(jù)管理平臺(tái)DataMatch發(fā)布[N];計(jì)算機(jī)世界;2008年

4 郭濤;H3C UDM統(tǒng)一數(shù)據(jù)管理平臺(tái)[N];中國(guó)計(jì)算機(jī)報(bào);2008年

5 本報(bào)記者 鄒大斌;VMware中國(guó)研發(fā)進(jìn)入核心領(lǐng)域[N];計(jì)算機(jī)世界;2011年

6 記者 桂雪琴;聯(lián)通信息“孤島” 為精益造船夯實(shí)基礎(chǔ)[N];中國(guó)船舶報(bào);2012年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 劉鵬;基于Spark的數(shù)據(jù)管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2016年

2 鄭國(guó)柱;基于SOA和ESB技術(shù)的煙草行業(yè)主數(shù)據(jù)管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];中國(guó)科學(xué)院大學(xué)(工程管理與信息技術(shù)學(xué)院);2016年

3 宋仁勇;基于HBase的交通數(shù)據(jù)管理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2016年

4 雷振興;數(shù)字化校園公共數(shù)據(jù)管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安科技大學(xué);2015年

5 孫宇;企業(yè)公共數(shù)據(jù)管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];東北石油大學(xué);2016年

6 謝家旺;基于云計(jì)算的尋暢網(wǎng)數(shù)據(jù)管理平臺(tái)開發(fā)[D];復(fù)旦大學(xué);2010年

7 奈存劍;虛擬化數(shù)據(jù)管理平臺(tái)研究[D];華中科技大學(xué);2013年

8 張宇波;上海空氣質(zhì)量自動(dòng)監(jiān)測(cè)數(shù)據(jù)管理平臺(tái)設(shè)計(jì)與開發(fā)[D];復(fù)旦大學(xué);2012年

9 石路遙;廣告投放數(shù)據(jù)管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京交通大學(xué);2015年

10 武元平;A大學(xué)主數(shù)據(jù)管理平臺(tái)解決方案設(shè)計(jì)[D];內(nèi)蒙古大學(xué);2015年

，

本文編號(hào)：882861