本文關(guān)鍵詞：基于Hadoop的公交物聯(lián)網(wǎng)海量采集數(shù)據(jù)的存儲平臺設計

  更多相關(guān)文章： 公交物聯(lián)網(wǎng) Hadoop 海量日志存儲 分布式視頻轉(zhuǎn)碼

【摘要】：隨著公共交通和物聯(lián)網(wǎng)技術(shù)的不斷發(fā)展,各類車載信息采集設備所產(chǎn)生的數(shù)據(jù)量也逐年增長,傳統(tǒng)數(shù)據(jù)存儲方式已經(jīng)難以支持日益增長的采集數(shù)據(jù)存儲需求。所以如何利用工具將這些數(shù)據(jù)進行高效的存儲和管理是急需解決的問題。在公交系統(tǒng)各類采集數(shù)據(jù)信息中,兩種典型且重要的海量存儲數(shù)據(jù)一個是GPS日志數(shù)據(jù),另一個是視頻數(shù)據(jù)。GPS日志數(shù)據(jù)用于分析公交調(diào)度和公交線路優(yōu)化,需要實現(xiàn)對日志數(shù)據(jù)的分布式壓縮存儲并且支持以時間和空間范圍為條件的高效查詢操作;公交監(jiān)控視頻數(shù)據(jù)具有來源復雜,格式混亂的特點,為了實現(xiàn)監(jiān)控視頻數(shù)據(jù)的統(tǒng)一管理存儲,需要對視頻文件進行分布式轉(zhuǎn)碼,然后壓縮存儲�；谝陨洗鎯π枨�,本文提出使用Hadoop實現(xiàn)公交物聯(lián)網(wǎng)海量采集數(shù)據(jù)存儲,通過Hadoop的HDFS分布式數(shù)據(jù)存儲系統(tǒng)和MapReduce分布式計算技術(shù),解決公交物聯(lián)網(wǎng)采集數(shù)據(jù)的高效存儲和管理問題。本文研究Hadoop的技術(shù)架構(gòu)特點,并分析總結(jié)了公交物聯(lián)網(wǎng)系統(tǒng)GPS日志和視頻數(shù)據(jù)的采集、處理和存儲特點,設計基于Hadoop的公交物聯(lián)網(wǎng)海量采集數(shù)據(jù)的分布式存儲方案。根據(jù)GPS日志數(shù)據(jù)的分布式壓縮存儲和以時間、空間為條件的高效查詢需求,設計實現(xiàn)了基于Hadoop的GPS日志數(shù)據(jù)存儲管理系統(tǒng)。該系統(tǒng)根據(jù)時間和GPS位置信息對日志數(shù)據(jù)實行時間-空間分層劃分,并根據(jù)節(jié)點性能動態(tài)選擇數(shù)據(jù)存儲節(jié)點,然后壓縮存儲于HDFS。最后通過實驗數(shù)據(jù)證明該系統(tǒng)在優(yōu)化存儲效率的同時支持更高效的數(shù)據(jù)查詢,能有效的提高日志文件的寫入和存儲效率。針對車載監(jiān)控視頻存儲空間占用大和視頻格式復雜多樣的問題,設計并實現(xiàn)了基于Hadoop的分布式視頻存儲轉(zhuǎn)碼系統(tǒng)。該系統(tǒng)采用MapReduce和FFMPEG相結(jié)合的視頻處理技術(shù)實現(xiàn)視頻文件的分布式轉(zhuǎn)碼;利用LZO壓縮技術(shù)實現(xiàn)對視頻文件的高壓縮存儲。最終實驗結(jié)果證實該視頻存儲系統(tǒng)可以極大地提高轉(zhuǎn)碼效率,適合處理和存儲公交物聯(lián)網(wǎng)視頻采集數(shù)據(jù)。
【關(guān)鍵詞】：公交物聯(lián)網(wǎng) Hadoop 海量日志存儲 分布式視頻轉(zhuǎn)碼
【學位授予單位】：北京工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：U495;TP391.44;TN929.5
【目錄】：

• 摘要4-5
• Abstract5-10
• 第1章 緒論10-16
• 1.1 研究背景10-11
• 1.2 國內(nèi)外研究現(xiàn)狀11-14
• 1.2.1 大數(shù)據(jù)應用于智能公交技術(shù)的國內(nèi)外研究現(xiàn)狀11-12
• 1.2.2 Hadoop的國內(nèi)外研究現(xiàn)狀12-14
• 1.3 論文內(nèi)容和組織結(jié)構(gòu)14
• 1.4 課題來源14-16
• 第2章 Hadoop海量數(shù)據(jù)處理技術(shù)16-22
• 2.1 Hadoop關(guān)鍵技術(shù)16-20
• 2.1.1 HDFS分布式數(shù)據(jù)存儲技術(shù)16-18
• 2.1.2 MapReduce分布式處理技術(shù)18-20
• 2.2 基于Hadoop的公交物聯(lián)網(wǎng)海量采集數(shù)據(jù)存儲平臺難點20
• 2.2.1 海量GPS日志數(shù)據(jù)讀寫性能問題20
• 2.2.2 海量視頻文件的轉(zhuǎn)碼效率問題20
• 2.3 本章小結(jié)20-22
• 第3章 公交物聯(lián)網(wǎng)平臺架構(gòu)22-30
• 3.1 數(shù)據(jù)采集層23-25
• 3.2 業(yè)務處理層25-26
• 3.3 Hadoop平臺層26-29
• 3.3.1 Hadoop日志存儲管理系統(tǒng)26-27
• 3.3.2 Hadoop視頻存儲轉(zhuǎn)碼系統(tǒng)27-29
• 3.4 本章小結(jié)29-30
• 第4章 基于Hadoop的公交物聯(lián)網(wǎng)GPS日志存儲管理系統(tǒng)30-54
• 4.1 總體設計30-32
• 4.2 存儲映射模塊32-38
• 4.2.1 數(shù)據(jù)存儲模型32-33
• 4.2.2 存儲層次劃分33-36
• 4.2.3 文件存儲結(jié)構(gòu)36-38
• 4.3 元數(shù)據(jù)管理模塊38-39
• 4.4 Hive數(shù)據(jù)加載模塊39-41
• 4.5 查詢處理模塊41-43
• 4.5.1 自定義Input Format41
• 4.5.2 Hive數(shù)據(jù)查詢41-42
• 4.5.3 查詢結(jié)果分析42-43
• 4.6 節(jié)點存儲管理模塊43-46
• 4.6.1 節(jié)點性能評估方法43-44
• 4.6.2 存儲節(jié)點選擇方法44-46
• 4.6.3 小文件塊處理46
• 4.7 實驗與系統(tǒng)評估46-53
• 4.7.1 實驗環(huán)境與測試數(shù)據(jù)46-48
• 4.7.2 實驗結(jié)果與系統(tǒng)評估48-53
• 4.8 本章小結(jié)53-54
• 第5章 基于Hadoop的公交物聯(lián)網(wǎng)分布式視頻存儲轉(zhuǎn)碼系統(tǒng)54-76
• 5.1 總體設計54-55
• 5.2 視頻文件傳輸與存儲55-57
• 5.3 分布式視頻轉(zhuǎn)碼處理過程57-62
• 5.3.1 Map階段59-61
• 5.3.2 Reduce階段61-62
• 5.4 FFmpeg視頻處理62-67
• 5.4.1 FFmpeg視頻切割63-64
• 5.4.2 FFmpeg視頻轉(zhuǎn)碼64-67
• 5.4.3 FFmpeg視頻合并67
• 5.5 HDFS視頻文件操作67-70
• 5.5.1 節(jié)點間視頻文件傳輸67-68
• 5.5.2 視頻文件壓縮68-69
• 5.5.3 視頻文件訪問69-70
• 5.6 實驗與系統(tǒng)評估70-75
• 5.6.1 實驗環(huán)境與測試數(shù)據(jù)70-72
• 5.6.2 實驗結(jié)果與系統(tǒng)評估72-75
• 5.7 本章小結(jié)75-76
• 結(jié)論76-78
• 參考文獻78-82
• 攻讀碩士學位期間所取得的學術(shù)成果82-84
• 致謝84

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 ;上海開中國物聯(lián)網(wǎng)技術(shù)研發(fā)先河[J];上海城市管理;2010年02期

2 網(wǎng)集;;物聯(lián)網(wǎng)正悄然改變著我們的生活[J];華北電業(yè);2010年03期

3 本刊編輯;;感知中國與物聯(lián)網(wǎng)[J];智能建筑與城市信息;2010年05期

4 周洪波;;“千面”物聯(lián)網(wǎng)初探[J];智能建筑與城市信息;2010年05期

5 ;“物聯(lián)網(wǎng)”[J];電工材料;2010年02期

6 趙紅梅;;制定完善標準體系 大力發(fā)展物聯(lián)網(wǎng)[J];大眾標準化;2010年S1期

7 本刊編輯部;;中國物聯(lián)網(wǎng)標準聯(lián)合工作組成立[J];現(xiàn)代建筑電氣;2010年06期

8 蘇江;;物聯(lián)網(wǎng)破成本“瓶頸”[J];交通建設與管理;2010年07期

9 李尚春;;物聯(lián)網(wǎng)在中國流程制造業(yè)中的應用[J];中國制造業(yè)信息化;2010年14期

10 ;物聯(lián)網(wǎng)整體規(guī)模將達到7500億元[J];中國防偽報道;2010年11期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 柯欣;;物聯(lián)網(wǎng)的智慧從何而來[A];兩化融合與物聯(lián)網(wǎng)發(fā)展學術(shù)研討會論文集[C];2010年

2 李晨熙;;物聯(lián)網(wǎng)的發(fā)展狀況與趨勢[A];兩化融合與物聯(lián)網(wǎng)發(fā)展學術(shù)研討會論文集[C];2010年

3 朱順強;;中國物聯(lián)網(wǎng)發(fā)展狀況分析[A];中國通信學會2010年光纜電纜學術(shù)年會論文集[C];2010年

4 李文增;李拉;;對我國物聯(lián)網(wǎng)產(chǎn)業(yè)進一步加快發(fā)展的對策研究[A];2010年度京津冀區(qū)域協(xié)作論壇論文集[C];2010年

5 曾躍;羅斌;周東曉;;關(guān)注物聯(lián)網(wǎng)發(fā)展:冷靜分析,務實前行[A];兩化融合與物聯(lián)網(wǎng)發(fā)展學術(shù)研討會論文集[C];2010年

6 張金鑫;魏峻旭;;我國物聯(lián)網(wǎng)發(fā)展現(xiàn)狀研究[A];兩化融合與物聯(lián)網(wǎng)發(fā)展學術(shù)研討會論文集[C];2010年

7 肖良顏;余翔宇;;廣東省物聯(lián)網(wǎng)建設和發(fā)展的思考[A];廣東通信2010青年論壇優(yōu)秀論文集[C];2010年

8 曹玉旺;張炎明;;淺析物聯(lián)網(wǎng)下智慧城市的發(fā)展策略[A];融合與創(chuàng)新——中國通信學會通信管理委員會第29次學術(shù)研討會論文集[C];2011年

9 陳衛(wèi)國;;超級物聯(lián)網(wǎng):中國物聯(lián)網(wǎng)發(fā)展第三條道路[A];新觀點新學說學術(shù)沙龍文集47：物聯(lián)網(wǎng)產(chǎn)業(yè)與區(qū)域經(jīng)濟發(fā)展[C];2010年

10 王繼祥;;避免浮躁氣息,求同存異推進物聯(lián)網(wǎng)應用[A];新觀點新學說學術(shù)沙龍文集47：物聯(lián)網(wǎng)產(chǎn)業(yè)與區(qū)域經(jīng)濟發(fā)展[C];2010年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 本報記者 張煜;物聯(lián)網(wǎng)：下一個經(jīng)濟增長點？[N];中國電子報;2009年

2 本報記者 魏剛;物聯(lián)網(wǎng)：地球的神經(jīng)元[N];北京科技報;2009年

3 本報通訊員 張前　本報記者 陳曉春;神奇物聯(lián)網(wǎng),大步走近我們的生活[N];新華日報;2009年

4 蔡玉高　劉巍巍;我國科研機構(gòu)加緊研發(fā)物聯(lián)網(wǎng)技術(shù)[N];人民郵電;2009年

5 記者 付秋實;物聯(lián)網(wǎng),危機催生的新技術(shù)[N];金融時報;2009年

6 朱小兵;物聯(lián)網(wǎng)不可一陣風[N];計算機世界;2009年

7 本報記者 谷慧;物聯(lián)網(wǎng)掘金潮:前夜突圍[N];中國經(jīng)營報;2009年

8 本報記者 張麗婭　陳薇亦 實習生 方卿;“物聯(lián)網(wǎng)”生活令人憧憬[N];江蘇經(jīng)濟報;2009年

9 工業(yè)和信息化部 通信科技委委員 侯自強;物聯(lián)網(wǎng)僅僅才開始[N];計算機世界;2009年

10 本報記者 余建斌　整理 劉先云;物聯(lián)網(wǎng),智能改變生活[N];人民日報;2009年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 董新平;物聯(lián)網(wǎng)產(chǎn)業(yè)成長研究[D];華中師范大學;2012年

2 蘇美文;物聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展的理論分析與對策研究[D];吉林大學;2015年

3 鄧雪峰;設施農(nóng)業(yè)物聯(lián)網(wǎng)系統(tǒng)建模與模型驗證[D];中國農(nóng)業(yè)大學;2016年

4 王峰;物聯(lián)網(wǎng)數(shù)據(jù)處理若干關(guān)鍵問題研究[D];吉林大學;2016年

5 原旭;面向精細化種植的物聯(lián)網(wǎng)數(shù)據(jù)處理方法研究[D];大連理工大學;2016年

6 喻濤;物聯(lián)網(wǎng)感知終端及數(shù)據(jù)管理關(guān)鍵技術(shù)研究[D];武漢大學;2015年

7 杜克明;小麥生長監(jiān)測物聯(lián)網(wǎng)關(guān)鍵技術(shù)研究[D];中國農(nóng)業(yè)科學院;2015年

8 方昶;物聯(lián)網(wǎng)環(huán)境下混合生產(chǎn)系統(tǒng)中三種新的生產(chǎn)計劃模型及求解算法研究[D];合肥工業(yè)大學;2016年

9 楊建棟;面向城市生命線管理的物聯(lián)網(wǎng)關(guān)鍵技術(shù)研究與應用[D];北京工業(yè)大學;2016年

10 駱冰清;物聯(lián)網(wǎng)輕量級IP尋址技術(shù)研究[D];南京郵電大學;2016年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 關(guān)勇;物聯(lián)網(wǎng)行業(yè)發(fā)展分析[D];北京郵電大學;2010年

2 劉鵬程;物聯(lián)網(wǎng)標準體系構(gòu)建研究[D];北京交通大學;2011年

3 黃迪;物聯(lián)網(wǎng)的應用和發(fā)展研究[D];北京郵電大學;2011年

4 曹自立;物聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展的驅(qū)動因素研究[D];南京郵電大學;2012年

5 周桄召;我國物聯(lián)網(wǎng)產(chǎn)業(yè)布局及對策研究[D];南京郵電大學;2012年

6 覃敏杰;物聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展影響研究[D];北京郵電大學;2012年

7 程鈺杰;我國物聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展研究[D];安徽大學;2012年

8 唐力;物聯(lián)網(wǎng)倫理問題探究[D];太原科技大學;2012年

9 寧金芳;從虛擬到實在：對物聯(lián)網(wǎng)的哲學探究[D];中南大學;2012年

10 周潔;物聯(lián)網(wǎng)環(huán)境下我國政府公共服務的研究[D];西南交通大學;2012年

，

本文編號：557556