近些年來,各類公共安全事件已經(jīng)呈現(xiàn)出由非常態(tài)化的偶發(fā)向常態(tài)化頻發(fā)轉(zhuǎn)變的趨勢,人民群眾的生命財產(chǎn)安全正面臨日益嚴(yán)峻的挑戰(zhàn)。為了準(zhǔn)確追蹤和監(jiān)控公共安全事件的發(fā)展演化過程,需要匯聚、融合并存儲管理大量的多源異構(gòu)數(shù)據(jù)。由于公共安全數(shù)據(jù)具有復(fù)雜多樣且獲取困難等特性,公共安全業(yè)務(wù)場景靈活多變,從而造成當(dāng)前在公共安全數(shù)據(jù)集成和組織管理等方面仍存在較大的不足,這已成為制約公共安全數(shù)據(jù)科學(xué)領(lǐng)域發(fā)展的瓶頸。因此,研究公共安全多源異構(gòu)數(shù)據(jù)的處理、融合和存儲管理方法,不僅可以為突發(fā)性公共安全事件治理提供有力的數(shù)據(jù)支持,而且對大數(shù)據(jù)技術(shù)在公共安全領(lǐng)域的實際應(yīng)用也具有較高的研究價值和意義。根據(jù)上述背景,本文主要研究工作如下:首先,圍繞公共安全數(shù)據(jù)的三個主要特點,結(jié)合公共安全數(shù)據(jù)的不同管理需求,對數(shù)據(jù)接入、數(shù)據(jù)處理以及數(shù)據(jù)存儲三個階段,設(shè)計了各自的技術(shù)解決方案,提出了公共安全大數(shù)據(jù)的全鏈條、多層次融合與存儲管理的系統(tǒng)整體架構(gòu)。其次,研究了公共安全大數(shù)據(jù)預(yù)處理與融合方法。設(shè)計并實現(xiàn)了基于Kettle的公共安全大數(shù)據(jù)預(yù)處理典型架構(gòu),研究了基于二分類邏輯回歸模型的“臟數(shù)據(jù)”識別及數(shù)據(jù)清洗算法;采用Apriori算法構(gòu)建數(shù)...

【文章頁數(shù)】：73 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖2-1公共安全事件分類

第二章公共安全數(shù)據(jù)管理架構(gòu)9（2）公共安全事件分類公共安全事件是指具有突發(fā)性、涉及區(qū)域大且可能會造成重大社會影響的事件�！秶彝话l(fā)公共事件總體應(yīng)急預(yù)案》中將公共安全事件劃分成四大類：自然災(zāi)害、事故災(zāi)難、公共衛(wèi)生事件和社會安全事件。各類公共安全事件結(jié)合其性質(zhì)、嚴(yán)重程度、可靠性等方面....

圖2-2公共安全數(shù)據(jù)管理系統(tǒng)需求

第二章公共安全數(shù)據(jù)管理架構(gòu)12描述某一公共安全事件，所有的數(shù)據(jù)之間沒有建立有效地聯(lián)系，因此需要挖掘出數(shù)據(jù)間的關(guān)聯(lián)關(guān)系，使所有數(shù)據(jù)形成一個整體。在公共安全事件處理過程中，為了能夠保證精確的對實時態(tài)勢進(jìn)行判斷，必須要把多源異構(gòu)數(shù)據(jù)進(jìn)行一系列包括清洗、關(guān)聯(lián)、組合等操作，從而實現(xiàn)數(shù)據(jù)融合....

圖2-3數(shù)據(jù)處理流程

第二章公共安全數(shù)據(jù)管理架構(gòu)142.4公共安全數(shù)據(jù)管理系統(tǒng)架構(gòu)設(shè)計在經(jīng)過對公共安全數(shù)據(jù)管理系統(tǒng)的需求分析之后，同時結(jié)合大數(shù)據(jù)架構(gòu)特點，對該公共安全數(shù)據(jù)管理系統(tǒng)的總體架構(gòu)進(jìn)行設(shè)計。本文設(shè)計的公共安全數(shù)據(jù)管理系統(tǒng)對數(shù)據(jù)處理流程表現(xiàn)為將多種來源的公共安全數(shù)據(jù)采集之后，對相關(guān)數(shù)據(jù)進(jìn)行融合，....

圖2-4數(shù)據(jù)接入方式示意圖

第二章公共安全數(shù)據(jù)管理架構(gòu)15圖2-4數(shù)據(jù)接入方式示意圖2.4.2數(shù)據(jù)處理方法公共安全事件處理過程中，各種數(shù)據(jù)具有跨領(lǐng)域、跨行業(yè)的特征，需要對不同行業(yè)、不同部門的信息進(jìn)行進(jìn)行統(tǒng)一處理。在數(shù)據(jù)處理過程中，為了能夠保證精確的對實時態(tài)勢進(jìn)行判斷，必須要把多源異構(gòu)數(shù)據(jù)進(jìn)行一系列包括清洗、....

本文編號：3915861