本文關鍵詞：基于HBase的交通數(shù)據(jù)管理平臺設計與實現(xiàn)

  更多相關文章： NoSQL數(shù)據(jù)庫 分布式文件系統(tǒng) 分布式消息隊列 海量數(shù)據(jù)

【摘要】：隨著社會經(jīng)濟水平的提高,機動車保有量迅速增長,交通擁堵嚴重、交通事故增長等問題日益嚴重,與車輛有關的犯罪行為也逐漸增加。針對這一情況,各地公安及交通管理部門建設了大量的智能采集設備,對車輛的行車軌跡等進行記錄,形成了海量的結構化過車記錄、圖像、視頻等數(shù)據(jù)。這些數(shù)據(jù)數(shù)量巨大、種類豐富,蘊含著巨大的價值,利用好這些數(shù)據(jù)將產(chǎn)生巨大的社會和經(jīng)濟效益。但是,采集設備的增加和抓拍清晰度的提高使得獲取的數(shù)據(jù)量飛速增長,對數(shù)據(jù)接入、存儲和分析能力帶來了很大的考驗,傳統(tǒng)的單機式的數(shù)據(jù)接入和存儲架構無法滿足海量數(shù)據(jù)接入存儲的需求。面對這些挑戰(zhàn)和新的需求,我們利用新興的大數(shù)據(jù)技術,構建了新一代的交通數(shù)據(jù)管理平臺。為了解決海量數(shù)據(jù)接入存儲的問題,我們研究了分布式文件系統(tǒng)、NoSQL數(shù)據(jù)庫、磁盤陣列、分布式批處理框架、分布式流處理框架、分布式消息隊列等相關技術。在此基礎上,我們對用戶需求進行了深入分析,設計了以HBase為基礎的分布式架構的方案。我們的方案使用分布式文件系統(tǒng)HDFS存儲圖片、視頻等非結構化數(shù)據(jù),將結構化數(shù)據(jù)存到HBase,使用分布式計算框架對存在HBase中的數(shù)據(jù)進行分析,使用分布式消息隊列作為系統(tǒng)消息傳遞的中間件,很好地解決了海量數(shù)據(jù)的接入、存儲、查詢、分析等問題。遵循軟件工程的基本思想,在完成需求分析和上述的總體設計后我們又繼續(xù)完成了架構和功能的詳細設計、軟件功能實現(xiàn)和測試,并最終投入到了實際的生產(chǎn)環(huán)境中使用。在實現(xiàn)過程中,整個系統(tǒng)采用MVC的軟件架構,使用了Java Web的相關技術和相關框架,做到了模塊間的低耦合和模塊內(nèi)的高聚合,保證了代碼良好的結構和系統(tǒng)功能的穩(wěn)定性。
【關鍵詞】：NoSQL數(shù)據(jù)庫 分布式文件系統(tǒng) 分布式消息隊列 海量數(shù)據(jù)
【學位授予單位】：山東大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP311.52
【目錄】：

• 摘要8-9
• ABSTRACT9-10
• 第1章 緒論10-17
• 1.1 研究背景與意義10-12
• 1.1.1 智能交通管控介紹10-11
• 1.1.2 國內(nèi)外研究現(xiàn)狀11-12
• 1.1.3 研究的目的和意義12
• 1.2 相關技術發(fā)展情況12-15
• 1.2.1 分布式文件系統(tǒng)13
• 1.2.2 NoSQL數(shù)據(jù)庫13-14
• 1.2.3 分布式計算技術14
• 1.2.4 其他相關技術介紹14-15
• 1.3 本文的主要工作15-16
• 1.4 論文的組織結構16-17
• 第2章 需求分析17-23
• 2.1 系統(tǒng)概述與分析17
• 2.2 功能性需求17-21
• 2.2.1 海量數(shù)據(jù)高速實時接入18
• 2.2.2 海量數(shù)據(jù)高效存儲檢索18-21
• 2.3 非功能性需求21-23
• 第3章 系統(tǒng)架構設計23-33
• 3.1 系統(tǒng)的基礎架構23-25
• 3.1.1 系統(tǒng)的軟件架構設計23-24
• 3.1.2 系統(tǒng)主數(shù)據(jù)流走向24-25
• 3.2 卡口部分架構設計25-29
• 3.2.1 卡口數(shù)據(jù)接入設計25-27
• 3.2.2 卡口數(shù)據(jù)存儲設計27-29
• 3.3 視頻部分架構設計29-31
• 3.3.1 視頻數(shù)據(jù)接入設計29-30
• 3.3.2 視頻數(shù)據(jù)存儲設計30-31
• 3.4 前后臺交互架構設計31-33
• 第4章 系統(tǒng)詳細設計33-49
• 4.1 數(shù)據(jù)接入部分詳細設計33-39
• 4.1.1 卡口數(shù)據(jù)接入詳細設計33-37
• 4.1.2 視頻數(shù)據(jù)接入詳細設計37-39
• 4.2 數(shù)據(jù)存儲部分詳細設計39-42
• 4.2.1 卡口數(shù)據(jù)存儲詳細設計39-40
• 4.2.2 視頻數(shù)據(jù)存儲詳細設計40-42
• 4.3 查詢統(tǒng)計部分詳細設計42-45
• 4.3.1 卡口數(shù)據(jù)查詢統(tǒng)計詳細設計42-44
• 4.3.2 視頻數(shù)據(jù)查詢詳細設計44-45
• 4.4 數(shù)據(jù)下載部分詳細設計45-47
• 4.4.1 圖片服務器詳細設計45-46
• 4.4.2 視頻服務器詳細設計46-47
• 4.5 前后臺交互中間件詳細設計47-49
• 第5章 系統(tǒng)實現(xiàn)49-56
• 5.1 概述49-50
• 5.2 系統(tǒng)部分功能頁面展示50-53
• 5.3 系統(tǒng)相關功能代碼實現(xiàn)53-56
• 第6章 系統(tǒng)測試56-58
• 第7章 結論與展望58-59
• 參考文獻59-61
• 致謝61-62
• 攻讀學位期間發(fā)表的學術論文目錄62-63
• 學位論文評閱及答辯情況表63

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 黃行;;構筑歷史數(shù)據(jù)管理平臺[J];金融電子化;2005年05期

2 付強;蕭蘊詩;;油田數(shù)據(jù)管理平臺的研究與開發(fā)[J];佳木斯大學學報(自然科學版);2006年04期

3 吳燕;;統(tǒng)一數(shù)據(jù)管理平臺[J];信息系統(tǒng)工程;2008年02期

4 牟彬;;推進銀行數(shù)據(jù)管理平臺系統(tǒng)建設 為銀行應用系統(tǒng)提供基礎支持[J];金融電子化;2005年09期

5 陳德旺;魏天磊;侯贊;;嵌入式數(shù)字軌道地圖數(shù)據(jù)管理平臺的研究與設計[J];鐵路計算機應用;2010年07期

6 孔維生;沈春山;吳仲城;申飛;;穩(wěn)態(tài)強磁場數(shù)據(jù)管理平臺的設計與實現(xiàn)[J];計算機工程與設計;2011年04期

7 董冬;朱成亮;胡瑛;劉曉;李恒;;試驗數(shù)據(jù)管理平臺設計研究[J];火箭推進;2014年04期

8 關穎;陳云鵬;;分析網(wǎng)絡化環(huán)境監(jiān)測數(shù)據(jù)管理平臺設計與開發(fā)[J];計算機光盤軟件與應用;2013年13期

9 馮宇;;非結構化數(shù)據(jù)管理平臺研究與建設[J];電力信息化;2012年02期

10 萬俊;;試驗數(shù)據(jù)管理平臺建設的研究----以飛機研制單位為例[J];數(shù)字技術與應用;2014年04期

中國重要報紙全文數(shù)據(jù)庫 前6條

1 李群立 王忠賢;費縣地稅局 依托數(shù)據(jù)管理平臺 加強數(shù)據(jù)檢查考核[N];聯(lián)合日報;2009年

2 記者 李建國;內(nèi)蒙古建成統(tǒng)一水資源數(shù)據(jù)管理平臺[N];中國水利報;2014年

3 ;客戶數(shù)據(jù)管理平臺DataMatch發(fā)布[N];計算機世界;2008年

4 郭濤;H3C UDM統(tǒng)一數(shù)據(jù)管理平臺[N];中國計算機報;2008年

5 本報記者 鄒大斌;VMware中國研發(fā)進入核心領域[N];計算機世界;2011年

6 記者 桂雪琴;聯(lián)通信息“孤島” 為精益造船夯實基礎[N];中國船舶報;2012年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 劉鵬;基于Spark的數(shù)據(jù)管理平臺的設計與實現(xiàn)[D];浙江大學;2016年

2 鄭國柱;基于SOA和ESB技術的煙草行業(yè)主數(shù)據(jù)管理平臺的設計與實現(xiàn)[D];中國科學院大學(工程管理與信息技術學院);2016年

3 宋仁勇;基于HBase的交通數(shù)據(jù)管理平臺設計與實現(xiàn)[D];山東大學;2016年

4 雷振興;數(shù)字化校園公共數(shù)據(jù)管理平臺的設計與實現(xiàn)[D];西安科技大學;2015年

5 孫宇;企業(yè)公共數(shù)據(jù)管理平臺的設計與實現(xiàn)[D];東北石油大學;2016年

6 謝家旺;基于云計算的尋暢網(wǎng)數(shù)據(jù)管理平臺開發(fā)[D];復旦大學;2010年

7 奈存劍;虛擬化數(shù)據(jù)管理平臺研究[D];華中科技大學;2013年

8 張宇波;上�？諝赓|(zhì)量自動監(jiān)測數(shù)據(jù)管理平臺設計與開發(fā)[D];復旦大學;2012年

9 石路遙;廣告投放數(shù)據(jù)管理平臺的設計與實現(xiàn)[D];北京交通大學;2015年

10 武元平;A大學主數(shù)據(jù)管理平臺解決方案設計[D];內(nèi)蒙古大學;2015年

，

本文編號：882861