本文關(guān)鍵詞：基于大數(shù)據(jù)技術(shù)的公安移動(dòng)通信數(shù)據(jù)處理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：大數(shù)據(jù)時(shí)代,隨著數(shù)據(jù)量不斷增長(zhǎng),存儲(chǔ)與計(jì)算集群的規(guī)模也逐漸擴(kuò)大,幾百上千臺(tái)的云計(jì)算環(huán)境已不鮮見�，F(xiàn)在的集群所需要解決的問題不僅僅是高性能、高可靠性、高可擴(kuò)展性,還需要面對(duì)易維護(hù)性以及數(shù)據(jù)平臺(tái)內(nèi)部的數(shù)據(jù)共享性等諸多挑戰(zhàn)。優(yōu)秀的數(shù)據(jù)處理平臺(tái)既能提供豐富完善的業(yè)務(wù)應(yīng)用,又能實(shí)現(xiàn)數(shù)據(jù)平臺(tái)各組件的集中式管理、方便系統(tǒng)運(yùn)維人員日常監(jiān)測(cè)、提升運(yùn)維效率,并能反饋系統(tǒng)運(yùn)行狀態(tài)給系統(tǒng)開發(fā)人員。大數(shù)據(jù)時(shí)代的業(yè)務(wù)與運(yùn)維將緊密的結(jié)合在一起。大數(shù)據(jù)已開始影響并應(yīng)用到人類致力于發(fā)展的所有領(lǐng)域中,公安工作領(lǐng)域亦不例外�；诖髷�(shù)據(jù)技術(shù)的公安移動(dòng)通信數(shù)據(jù)處理平臺(tái)以海量結(jié)構(gòu)化通信數(shù)據(jù)和平臺(tái)各組件產(chǎn)生的海量結(jié)構(gòu)化、半結(jié)構(gòu)化日志數(shù)據(jù)為研究對(duì)象,設(shè)計(jì)并實(shí)現(xiàn)了一種融合業(yè)務(wù)系統(tǒng)與運(yùn)維系統(tǒng),集成實(shí)時(shí)數(shù)據(jù)流處理引擎、大數(shù)據(jù)管理引擎、分布式內(nèi)存計(jì)算架構(gòu)和數(shù)據(jù)交換系統(tǒng)的解決方案。本文從公安信息化建設(shè)實(shí)際工作出發(fā),根據(jù)公安部門提供的全省手機(jī)通信實(shí)時(shí)數(shù)據(jù)流傳輸接口,設(shè)計(jì)并實(shí)現(xiàn)了實(shí)時(shí)數(shù)據(jù)流處理引擎,對(duì)不同運(yùn)營(yíng)商、不同信令的實(shí)時(shí)通信數(shù)據(jù)流實(shí)施抽取、清洗、關(guān)聯(lián)回填等步驟后裝載到數(shù)據(jù)倉庫中。基于數(shù)據(jù)倉庫,整合地理信息系統(tǒng)與wEB系統(tǒng),構(gòu)建了移動(dòng)通信數(shù)據(jù)分析子系統(tǒng),在空間、時(shí)間、目標(biāo)號(hào)碼等多個(gè)維度上對(duì)通信數(shù)據(jù)進(jìn)行查詢、分析。另外,為實(shí)現(xiàn)通訊數(shù)據(jù)處理平臺(tái)的高可靠性、易維護(hù)性以及數(shù)據(jù)平臺(tái)內(nèi)部組件間高效的數(shù)據(jù)交換,設(shè)計(jì)并實(shí)現(xiàn)了日志數(shù)據(jù)分析子系統(tǒng),通過整合數(shù)據(jù)采集工具、分布式消息隊(duì)列、全文搜索引擎和分布式內(nèi)存計(jì)算架構(gòu)實(shí)現(xiàn)了對(duì)通信數(shù)據(jù)的處理、以及數(shù)據(jù)平臺(tái)組件日志數(shù)據(jù)的收集、處理與分析,本系統(tǒng)在濟(jì)南市公安局已經(jīng)成功應(yīng)用,在“科技強(qiáng)警”中起到了重要作用,為分析案情提供了基于通信大數(shù)據(jù)的高效分析方法,同時(shí)也大大提高系統(tǒng)研發(fā)與運(yùn)維人員的工作效率。本文首先對(duì)海量通信數(shù)據(jù)和日志數(shù)據(jù)應(yīng)用環(huán)境下公安數(shù)據(jù)中心建設(shè)的課題背景進(jìn)行研究,分析了公安對(duì)基于移動(dòng)通信數(shù)據(jù)的大型數(shù)據(jù)處理平臺(tái)的需求以及目前公共安全領(lǐng)域數(shù)據(jù)集成平臺(tái)的應(yīng)用情況。第二,依據(jù)需求分析,通過架構(gòu)預(yù)研與技術(shù)選型,給出了基于大數(shù)據(jù)技術(shù)的公安移動(dòng)通信數(shù)據(jù)處理平臺(tái)實(shí)時(shí)數(shù)據(jù)流處理引擎、移動(dòng)通信數(shù)據(jù)分析子系統(tǒng)、日志數(shù)據(jù)分析子系統(tǒng)的概要結(jié)構(gòu)設(shè)計(jì),包含系統(tǒng)架構(gòu)設(shè)計(jì)和技術(shù)架構(gòu)設(shè)計(jì),技術(shù)架構(gòu)設(shè)計(jì)主要依照分層思想定義數(shù)據(jù)處理平臺(tái)各組件的功能,系統(tǒng)架構(gòu)設(shè)計(jì)的出發(fā)點(diǎn)在于系統(tǒng)的可擴(kuò)展性、高可用性、可維護(hù)性,對(duì)現(xiàn)有的主流開源大數(shù)據(jù)技術(shù)進(jìn)行了調(diào)研,闡述了日志處理解決方案ELK Stack、分布式內(nèi)存計(jì)算架構(gòu)Spark 與 Hadoop Ecosystem的融合架構(gòu),詳述了由數(shù)據(jù)采集組件(Flume、Logstash)、分布式數(shù)據(jù)流處理框架(Spark Streaming)組成的實(shí)時(shí)數(shù)據(jù)流處理引擎的設(shè)計(jì)依據(jù),以及由分布式列式數(shù)據(jù)倉庫(Hbase)、分布式消息隊(duì)列(Kafka)、全文搜索引擎(Elasticsearch)組成的大數(shù)據(jù)管理引擎的設(shè)計(jì)方案和特點(diǎn)等。第三,給出了移動(dòng)通信數(shù)據(jù)分析子系統(tǒng)與日志數(shù)據(jù)分析子系統(tǒng)各模塊的詳細(xì)設(shè)計(jì),在詳細(xì)設(shè)計(jì)的基礎(chǔ)上給出各個(gè)模塊的實(shí)現(xiàn)和測(cè)試,包括利用公安提供的實(shí)時(shí)數(shù)據(jù)流接口進(jìn)行實(shí)時(shí)數(shù)據(jù)流處理程序的開發(fā),基于Spark Streaming的通信數(shù)據(jù)流關(guān)聯(lián)回填、實(shí)時(shí)監(jiān)控程序開發(fā),以及軟件模塊的開發(fā)等。本文最后對(duì)生產(chǎn)環(huán)境的搭建和應(yīng)用情況作詳細(xì)分析,并對(duì)系統(tǒng)的進(jìn)一步改進(jìn)提出了建議。
【關(guān)鍵詞】：流處理 數(shù)據(jù)共享 數(shù)據(jù)采集/轉(zhuǎn)換/裝載 日志處理 通信大數(shù)據(jù)
【學(xué)位授予單位】：山東大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.52
【目錄】：

• 摘要8-10
• ABSTRACT10-13
• 第1章 概述13-17
• 1.1 系統(tǒng)開發(fā)背景13-14
• 1.2 相關(guān)研究現(xiàn)狀14-15
• 1.3 本文的主要工作15-16
• 1.4 論文的組織結(jié)構(gòu)16-17
• 第2章 需求分析17-24
• 2.1 系統(tǒng)概述17
• 2.2 系統(tǒng)功能性需求描述17-22
• 2.2.1 實(shí)時(shí)數(shù)據(jù)流處理引擎17-19
• 2.2.2 移動(dòng)通信數(shù)據(jù)分析子系統(tǒng)19-20
• 2.2.3 日志數(shù)據(jù)分析子系統(tǒng)20-22
• 2.3 系統(tǒng)非功能性需求描述22-24
• 2.3.1 系統(tǒng)高可用性22-23
• 2.3.2 系統(tǒng)高可擴(kuò)展性23
• 2.3.3 系統(tǒng)效率23-24
• 第3章 概要設(shè)計(jì)24-39
• 3.1 系統(tǒng)設(shè)計(jì)目標(biāo)和原則24-25
• 3.1.1 設(shè)計(jì)目標(biāo)24
• 3.1.2 設(shè)計(jì)原則24-25
• 3.2 技術(shù)架構(gòu)25-27
• 3.3 系統(tǒng)架構(gòu)27-39
• 3.3.1 數(shù)據(jù)采集27-30
• 3.3.2 消息隊(duì)列30-31
• 3.3.3 分布式內(nèi)存計(jì)算引擎31-32
• 3.3.4 數(shù)據(jù)存儲(chǔ)平臺(tái)32-37
• 3.3.5 全文搜索引擎37-39
• 第4章 系統(tǒng)詳細(xì)設(shè)計(jì)39-60
• 4.1 實(shí)時(shí)數(shù)據(jù)流處理引擎詳細(xì)設(shè)計(jì)39-53
• 4.1.1 移動(dòng)通信數(shù)據(jù)流采集與字段解析39-50
• 4.1.2 移動(dòng)通信數(shù)據(jù)流關(guān)聯(lián)回填50-52
• 4.1.3 日志數(shù)據(jù)流采集與字段解析52-53
• 4.2 移動(dòng)通信數(shù)據(jù)分析子系統(tǒng)詳細(xì)設(shè)計(jì)53-57
• 4.2.1 業(yè)務(wù)查詢?cè)O(shè)計(jì)53
• 4.2.2 軌跡渲染設(shè)計(jì)53-55
• 4.2.3 實(shí)時(shí)監(jiān)控設(shè)計(jì)55
• 4.2.4 系統(tǒng)管理設(shè)計(jì)55-56
• 4.2.5 類結(jié)構(gòu)設(shè)計(jì)56-57
• 4.3 日志數(shù)據(jù)分析子系統(tǒng)詳細(xì)設(shè)計(jì)57-60
• 第5章 系統(tǒng)實(shí)現(xiàn)60-68
• 5.1 移動(dòng)通信數(shù)據(jù)分析子系統(tǒng)60-63
• 5.1.1 業(yè)務(wù)查詢模塊60-61
• 5.1.2 軌跡渲染模塊61
• 5.1.3 系統(tǒng)管理模塊61-63
• 5.2 日志數(shù)據(jù)分析子系統(tǒng)63-67
• 5.2.1 日志查詢模塊63-64
• 5.2.2 視圖構(gòu)建模塊64
• 5.2.3 儀表盤定制模塊64-65
• 5.2.4 郵件告警65-67
• 5.3 生產(chǎn)環(huán)境部署67-68
• 第6章 結(jié)論68-69
• 參考文獻(xiàn)69-72
• 致謝72-73
• 學(xué)位論文評(píng)閱及答辯情況表73

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前10條

1 黃衛(wèi)軍;口岸城市通關(guān)數(shù)據(jù)處理平臺(tái)[J];上海信息化;2005年01期

2 林華兵;;數(shù)據(jù)處理平臺(tái)高可靠性的設(shè)計(jì)與實(shí)現(xiàn)[J];中國(guó)金融電腦;2010年11期

3 胡繼軍;;淺談統(tǒng)計(jì)部門在數(shù)據(jù)處理平臺(tái)設(shè)計(jì)中應(yīng)考慮的問題[J];現(xiàn)代經(jīng)濟(jì)信息;2012年14期

4 王業(yè)斌;;省級(jí)防雷業(yè)務(wù)數(shù)據(jù)處理平臺(tái)的開發(fā)[J];科技信息;2009年30期

5 龔一飛;劉萬才;;農(nóng)作物有害生物調(diào)查項(xiàng)目數(shù)據(jù)處理平臺(tái)的構(gòu)建與實(shí)現(xiàn)[J];中國(guó)植保導(dǎo)刊;2012年03期

6 邢煜;;一種海量數(shù)據(jù)處理平臺(tái)的解決方案[J];電腦知識(shí)與技術(shù);2013年21期

7 蔡玉寶;左春;張正;鄒志強(qiáng);;數(shù)據(jù)處理平臺(tái)的研究與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2008年07期

8 張濤;李建;康永佳;;多任務(wù)高并發(fā)數(shù)據(jù)處理平臺(tái)的技術(shù)研究[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2010年03期

9 宋均;祝林;;基于云計(jì)算的海量數(shù)據(jù)處理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J];電訊技術(shù);2012年04期

10 楊凱;曹小軍;盧鶯;;控制系統(tǒng)數(shù)據(jù)處理平臺(tái)開發(fā)與應(yīng)用[J];彈箭與制導(dǎo)學(xué)報(bào);2009年04期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫 前6條

1 王業(yè)斌;徐建鵬;王凱;;安徽省常規(guī)防雷業(yè)務(wù)服務(wù)數(shù)據(jù)處理平臺(tái)的開發(fā)[A];信息技術(shù)在氣象領(lǐng)域的開發(fā)應(yīng)用論文集（一）[C];2005年

2 季曉林;劉海硯;;基于數(shù)據(jù)處理平臺(tái)的空間矢量數(shù)據(jù)融合[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第八屆年會(huì)論文集[C];2004年

3 趙旭霞;劉立峰;邵起明;;智能路測(cè)系統(tǒng)中的數(shù)據(jù)處理平臺(tái)[A];2006通信理論與技術(shù)新進(jìn)展——第十一屆全國(guó)青年通信學(xué)術(shù)會(huì)議論文集[C];2006年

4 張鵬;;基于XML/Java的數(shù)據(jù)處理平臺(tái)[A];Java技術(shù)及應(yīng)用的進(jìn)展——第八屆中國(guó)Java技術(shù)及應(yīng)用交流大會(huì)文集[C];2005年

5 丁輝;張大華;羅志明;;基于Hadoop的海量數(shù)據(jù)處理平臺(tái)研究[A];2011電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2011年

6 陶金花;蘇林;李樹楷;;一種基于網(wǎng)格的LiDAR數(shù)據(jù)處理平臺(tái)架構(gòu)[A];2007年先進(jìn)激光技術(shù)發(fā)展與應(yīng)用研討會(huì)論文集[C];2007年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫 前5條

1 本報(bào)記者 劉書臻;山東：數(shù)據(jù)處理平臺(tái)建成[N];中國(guó)信息報(bào);2011年

2 楊小國(guó);“四大工程”助推普查資料開發(fā)提速[N];中國(guó)信息報(bào);2012年

3 董平;創(chuàng)新,永不止步[N];中國(guó)國(guó)門時(shí)報(bào);2011年

4 《網(wǎng)絡(luò)世界》記者 李夏艷;直面無線挑戰(zhàn)[N];網(wǎng)絡(luò)世界;2012年

5 ;“康師傅”喜新厭舊[N];網(wǎng)絡(luò)世界;2002年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 林文輝;基于Hadoop的海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺(tái)的關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2014年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 張波;基于大數(shù)據(jù)技術(shù)的公安移動(dòng)通信數(shù)據(jù)處理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2016年

2 周碧漳;面向量化交易的金融數(shù)據(jù)處理平臺(tái)研究與原型實(shí)現(xiàn)[D];電子科技大學(xué);2016年

3 張杰;面向車載信息的大規(guī)模數(shù)據(jù)處理平臺(tái)技術(shù)研究[D];電子科技大學(xué);2016年

4 嚴(yán)華;統(tǒng)計(jì)局?jǐn)?shù)據(jù)處理平臺(tái)的設(shè)計(jì)和實(shí)現(xiàn)[D];電子科技大學(xué);2014年

5 潘思聰;基于云環(huán)境的電信數(shù)據(jù)處理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2014年

6 但玻;城市熱島效應(yīng)衛(wèi)星遙感數(shù)據(jù)處理平臺(tái)研發(fā)[D];電子科技大學(xué);2011年

7 竺蓓;利用虛擬儀器構(gòu)建數(shù)據(jù)處理平臺(tái)的研究[D];北京交通大學(xué);2014年

8 李濤;基于組件結(jié)構(gòu)的水文信息統(tǒng)一數(shù)據(jù)處理平臺(tái)的研究與設(shè)計(jì)[D];華中科技大學(xué);2006年

9 張銀葉;一種可適應(yīng)多變需求的數(shù)據(jù)處理平臺(tái)設(shè)計(jì)與應(yīng)用[D];中國(guó)科學(xué)技術(shù)大學(xué);2015年

10 虞培良;成像聲納嵌入式數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工程大學(xué);2008年

  本文關(guān)鍵詞：基于大數(shù)據(jù)技術(shù)的公安移動(dòng)通信數(shù)據(jù)處理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：476766