本文關(guān)鍵詞：卡口數(shù)據(jù)集成平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)，，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著公安信息化建設(shè)的迅速發(fā)展,特別是以天網(wǎng)工程為建設(shè)重點(diǎn)的快速發(fā)展,按照公安部統(tǒng)一部署,各級(jí)公安部門已開(kāi)始建設(shè)治安、交警、機(jī)場(chǎng)高速路等卡口系統(tǒng)及相應(yīng)的指揮管理中心,為公安機(jī)關(guān)偵查辦案提供數(shù)據(jù)支持。越來(lái)越多的布控需求導(dǎo)致卡口數(shù)據(jù)急劇增長(zhǎng),特別是高速、治安卡口數(shù)據(jù)的高速并發(fā)已經(jīng)給現(xiàn)有的數(shù)據(jù)存儲(chǔ)體系造成了巨大的壓力。但由于各個(gè)區(qū)域的卡口是由不同廠家建設(shè),卡口數(shù)據(jù)沒(méi)有統(tǒng)一字段描述,相互間缺少統(tǒng)一規(guī)劃和技術(shù)協(xié)調(diào),不能有效實(shí)現(xiàn)網(wǎng)絡(luò)的互聯(lián)互通和資源共享。同時(shí),現(xiàn)有成熟的分布式系統(tǒng)大都是通用型,不能很好地解決按時(shí)間或地域進(jìn)行相對(duì)集中存儲(chǔ)的問(wèn)題,這與公安偵查辦案中的實(shí)際需求還有一定的差距。為解決公安卡口數(shù)據(jù)應(yīng)用的困惑,本文設(shè)計(jì)了符合公安機(jī)關(guān)實(shí)際業(yè)務(wù)需求的卡口數(shù)據(jù)集成平臺(tái),用于實(shí)現(xiàn)對(duì)公安機(jī)關(guān)各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)支持。本文通過(guò)以下三個(gè)步驟來(lái)完成:首先,介紹了課題研究背景和意義,通過(guò)對(duì)國(guó)內(nèi)外研究現(xiàn)狀分析的基礎(chǔ)上,結(jié)合公安機(jī)關(guān)具體業(yè)務(wù)需求對(duì)卡口數(shù)據(jù)集成平臺(tái)進(jìn)行了需求分析,介紹了卡口數(shù)據(jù)集成平臺(tái)工作流程和功能架構(gòu)。其次,緊緊圍繞公安機(jī)關(guān)具體需求,對(duì)卡口數(shù)據(jù)集成平臺(tái)進(jìn)行總體設(shè)計(jì),提出了符合卡口數(shù)據(jù)特點(diǎn)的存儲(chǔ)體系架構(gòu)。接著,按照數(shù)據(jù)流向,并根據(jù)卡口數(shù)據(jù)集成平臺(tái)的工作流程和功能架構(gòu),對(duì)數(shù)據(jù)采集與預(yù)處理、數(shù)據(jù)寫(xiě)入、數(shù)據(jù)檢索功能和系統(tǒng)可用性方面進(jìn)行研究。在數(shù)據(jù)采集與預(yù)處理方面,采用搭接方式實(shí)時(shí)采集卡口數(shù)據(jù),通過(guò)對(duì)卡口數(shù)據(jù)進(jìn)行分析,采用動(dòng)態(tài)清洗插件技術(shù)和XML語(yǔ)言來(lái)解決底層卡口數(shù)據(jù)的異構(gòu)性問(wèn)題。在數(shù)據(jù)被寫(xiě)入主存儲(chǔ)節(jié)點(diǎn)的整個(gè)過(guò)程中,對(duì)關(guān)鍵技術(shù)數(shù)據(jù)緩存策略、多維數(shù)據(jù)構(gòu)建、組播路由機(jī)制、全主控節(jié)點(diǎn)機(jī)制進(jìn)行詳細(xì)研究。緩存策略能夠保證數(shù)據(jù)采集與數(shù)據(jù)寫(xiě)入存儲(chǔ)體系的有效銜接;采用多維度數(shù)據(jù)切分策略和組播路由機(jī)制相結(jié)合的策略實(shí)現(xiàn)了多維數(shù)據(jù)構(gòu)建、寫(xiě)入和檢索功能。通過(guò)對(duì)卡口數(shù)據(jù)按區(qū)域、時(shí)間進(jìn)行分組,使相鄰數(shù)據(jù)相對(duì)集中存儲(chǔ)。在進(jìn)行數(shù)據(jù)檢索時(shí),通過(guò)對(duì)檢索條件進(jìn)行多維字段切分,快速找到層間組播的下一個(gè)組播源,提高層內(nèi)檢索速度。通過(guò)全主控節(jié)點(diǎn)機(jī)制避免單點(diǎn)故障問(wèn)題;在系統(tǒng)可用性方面,主要對(duì)存儲(chǔ)節(jié)點(diǎn)檢測(cè)、在線備份、離線備份和數(shù)據(jù)恢復(fù)方面進(jìn)行研究。最后,本文的研究成果在項(xiàng)目中得到了初步驗(yàn)證,整個(gè)系統(tǒng)的運(yùn)行通過(guò)了功能測(cè)試及非功能測(cè)試。從測(cè)試結(jié)果可以看出系統(tǒng)在穩(wěn)定性、負(fù)載能力上表現(xiàn)良好。同時(shí),經(jīng)測(cè)試發(fā)現(xiàn)卡口數(shù)據(jù)集成平臺(tái)的存儲(chǔ)體系具備更高的可用性、更簡(jiǎn)易的擴(kuò)充性,具有較廣闊的前景�？傮w來(lái)說(shuō),論文所設(shè)計(jì)的卡口數(shù)據(jù)集成平臺(tái)的實(shí)現(xiàn)能夠?yàn)楦鱾�(gè)警種提供可用性高的數(shù)據(jù)存儲(chǔ),為治安管理和打擊犯罪提供數(shù)據(jù)支持。
【關(guān)鍵詞】：異構(gòu)數(shù)據(jù) 分布式存儲(chǔ) 數(shù)據(jù)檢索 數(shù)據(jù)冗余 數(shù)據(jù)恢復(fù)
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP311.52
【目錄】：

• 摘要3-5
• ABSTRACT5-10
• 1 緒論10-13
• 1.1 研究背景10
• 1.2 研究意義10-11
• 1.3 本文研究?jī)?nèi)容11-12
• 1.4 本文組織結(jié)構(gòu)12-13
• 2 國(guó)內(nèi)外研究現(xiàn)狀13-18
• 2.1 大數(shù)據(jù)處理技術(shù)發(fā)展現(xiàn)狀13-14
• 2.2 國(guó)內(nèi)警用系統(tǒng)發(fā)展現(xiàn)狀14-15
• 2.3 海量數(shù)據(jù)存儲(chǔ)技術(shù)15-16
• 2.4 分布式存儲(chǔ)系統(tǒng)16-17
• 2.5 本章小結(jié)17-18
• 3 卡口數(shù)據(jù)集成平臺(tái)需求分析18-23
• 3.1 卡口數(shù)據(jù)現(xiàn)狀18-19
• 3.2 需求分析19-22
• 3.2.1 功能需求19-21
• 3.2.2 非功能需求21-22
• 3.3 本章小結(jié)22-23
• 4 卡口數(shù)據(jù)集成平臺(tái)設(shè)計(jì)23-45
• 4.1 卡口數(shù)據(jù)集成平臺(tái)架構(gòu)23-24
• 4.2 存儲(chǔ)體系架構(gòu)24-26
• 4.3 數(shù)據(jù)采集與預(yù)處理26-30
• 4.3.1 數(shù)據(jù)采集27
• 4.3.2 卡口數(shù)據(jù)分析27-29
• 4.3.3 數(shù)據(jù)清洗轉(zhuǎn)換29-30
• 4.4 數(shù)據(jù)寫(xiě)入30-36
• 4.4.1 數(shù)據(jù)緩存策略31-32
• 4.4.2 多維數(shù)據(jù)構(gòu)建32-33
• 4.4.3 多級(jí)組播路由機(jī)制33-35
• 4.4.4 全主控節(jié)點(diǎn)機(jī)制35-36
• 4.5 數(shù)據(jù)檢索36-39
• 4.5.1 數(shù)據(jù)檢索流程36-38
• 4.5.2 異常容錯(cuò)機(jī)制38-39
• 4.6 可用性策略39-44
• 4.6.1 節(jié)點(diǎn)檢測(cè)39-42
• 4.6.2 數(shù)據(jù)備份42-43
• 4.6.3 數(shù)據(jù)恢復(fù)43-44
• 4.7 本章小結(jié)44-45
• 5 卡口數(shù)據(jù)集成平臺(tái)實(shí)現(xiàn)45-56
• 5.1 數(shù)據(jù)的采集與預(yù)處理實(shí)現(xiàn)45-48
• 5.1.1 數(shù)據(jù)采集46-47
• 5.1.2 數(shù)據(jù)清洗47-48
• 5.2 數(shù)據(jù)寫(xiě)實(shí)現(xiàn)48-50
• 5.3 數(shù)據(jù)檢索實(shí)現(xiàn)50-51
• 5.4 數(shù)據(jù)可用性實(shí)現(xiàn)51-54
• 5.4.1 節(jié)點(diǎn)檢測(cè)52
• 5.4.2 數(shù)據(jù)備份52-53
• 5.4.3 數(shù)據(jù)恢復(fù)53-54
• 5.5 數(shù)據(jù)服務(wù)接口實(shí)現(xiàn)54-55
• 5.6 本章小結(jié)55-56
• 6 測(cè)試與結(jié)果分析56-70
• 6.1 測(cè)試環(huán)境56-57
• 6.1.1 實(shí)施架構(gòu)56-57
• 6.1.2 測(cè)試數(shù)據(jù)集57
• 6.2 功能性測(cè)試57-62
• 6.2.1 數(shù)據(jù)采集與預(yù)處理58-59
• 6.2.2 數(shù)據(jù)切分59-60
• 6.2.3 數(shù)據(jù)寫(xiě)入60-61
• 6.2.4 數(shù)據(jù)檢索61-62
• 6.3 非功能性測(cè)試62-68
• 6.3.1 自動(dòng)冗余62-64
• 6.3.2 離線數(shù)據(jù)自動(dòng)備份和恢復(fù)64-66
• 6.3.3 性能測(cè)試66-67
• 6.3.4 擴(kuò)展性測(cè)試67-68
• 6.4 系統(tǒng)驗(yàn)證分析68-69
• 6.5 本章小結(jié)69-70
• 7 總結(jié)與展望70-73
• 7.1 總結(jié)70-71
• 7.2 展望71-73
• 參考文獻(xiàn)73-75
• 致謝75-76
• 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄76-78

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 丁劍飚;;地測(cè)集成平臺(tái)的研制開(kāi)發(fā)及應(yīng)用[J];銅業(yè)工程;2007年02期

2 冷鵬;;搭建金融業(yè)數(shù)據(jù)集成平臺(tái)[J];金融電子化;2009年11期

3 相海泉;;醫(yī)院集成平臺(tái)熱的背后[J];中國(guó)信息界(e醫(yī)療);2014年01期

4 鄭自強(qiáng);如何正確選擇業(yè)務(wù)集成平臺(tái)[J];互聯(lián)網(wǎng)周刊;2002年33期

5 黃雙喜,范玉順;企業(yè)集成平臺(tái)參考模型與實(shí)現(xiàn)體系研究[J];機(jī)械科學(xué)與技術(shù);2003年S1期

6 李建強(qiáng),范玉順;整體解決方案下的集成平臺(tái)技術(shù)研究[J];控制與決策;2004年03期

7 李進(jìn),何衛(wèi)平,房亞?wèn)|,王忠明;基于動(dòng)態(tài)分類的制造資源集成平臺(tái)的研究及實(shí)現(xiàn)[J];制造業(yè)自動(dòng)化;2004年11期

8 李建強(qiáng);范玉順;;企業(yè)集成平臺(tái)技術(shù)研究[J];計(jì)算機(jī)科學(xué);2004年01期

9 鄒澤明,李從心,阮雪榆;適用于企業(yè)信息化的數(shù)控系統(tǒng)集成平臺(tái)研究[J];計(jì)算機(jī)工程;2005年12期

10 劉雪暉,尹超,何彥,劉飛;網(wǎng)絡(luò)化制造集成平臺(tái)集中式身份認(rèn)證策略研究[J];計(jì)算機(jī)集成制造系統(tǒng);2005年06期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 谷豐;胡志坤;陳曉龍;李勛;;城市智能交通管理系統(tǒng)集成平臺(tái)開(kāi)發(fā)[A];第七屆中國(guó)智能交通年會(huì)優(yōu)秀論文集——智能交通應(yīng)用[C];2012年

2 嚴(yán)瑾;;鐵路客站現(xiàn)代管理集成平臺(tái)在成都東站的研究與應(yīng)用[A];四川省通信學(xué)會(huì)2012年學(xué)術(shù)年會(huì)論文集[C];2012年

3 杜峗曦;龔京忠;李國(guó)喜;吳寶中;;衛(wèi)星數(shù)字化設(shè)計(jì)制造集成平臺(tái)[A];企業(yè)應(yīng)用集成系統(tǒng)與技術(shù)學(xué)術(shù)研究會(huì)論文集[C];2006年

4 李悅;殷燕芬;;SoC集成平臺(tái)設(shè)計(jì)的研究[A];2005中國(guó)通信集成電路技術(shù)與應(yīng)用研討會(huì)論文集[C];2005年

5 金蓓弘;劉昕;李京;邵丹華;;實(shí)時(shí)數(shù)據(jù)集成平臺(tái)的設(shè)計(jì)和實(shí)現(xiàn)[A];第十七屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2000年

6 高鶴;李歧強(qiáng);;流程行業(yè)MES基于智聯(lián)子集成平臺(tái)的研究[A];第16屆中國(guó)過(guò)程控制學(xué)術(shù)年會(huì)暨第4屆全國(guó)故障診斷與安全性學(xué)術(shù)會(huì)議論文集[C];2005年

7 董燕;;中央監(jiān)測(cè)資源集成平臺(tái)的軟件架構(gòu)設(shè)計(jì)思路[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)2008年學(xué)術(shù)年會(huì)論文集（下）[C];2008年

8 劉永寧;魏嘉;仇正蘭;;NEWS BASE3.0數(shù)據(jù)集成平臺(tái)[A];油氣地球物理實(shí)用新技術(shù)——中國(guó)石化石油勘探開(kāi)發(fā)研究院南京石油物探研究所2004年學(xué)術(shù)交流會(huì)論文集[C];2004年

9 王霓虹;韓璐;;嵌入式GIS研究與發(fā)展綜述[A];黑龍江省計(jì)算機(jī)學(xué)會(huì)2009年學(xué)術(shù)交流年會(huì)論文集[C];2010年

10 吳清漪;張浩;喬非;謝小軒;;基于J2EE標(biāo)準(zhǔn)的BPR集成平臺(tái)的研究和實(shí)現(xiàn)[A];工業(yè)自動(dòng)化應(yīng)用實(shí)踐——全國(guó)（第五屆）煉鋼、連鑄和軋鋼自動(dòng)化學(xué)術(shù)會(huì)議論文集[C];2002年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 駐京記者 賈巖;打破信息孤島 集成平臺(tái)勝算幾何[N];醫(yī)藥經(jīng)濟(jì)報(bào);2011年

2 章立;企業(yè)集成平臺(tái)選擇尤為重要[N];中國(guó)電力報(bào);2004年

3 記者 薛峰 通訊員 高靜;上海石油加快搭建三大系統(tǒng)集成平臺(tái)[N];中國(guó)石化報(bào);2007年

4 董麗娟;南鋁信息化系統(tǒng)集成平臺(tái)投入運(yùn)行[N];閩北日?qǐng)?bào);2009年

5 董麗娟;南鋁鋁業(yè)信息化系統(tǒng)集成平臺(tái) 通過(guò)科技成果鑒定[N];中國(guó)有色金屬報(bào);2009年

6 ;GE：懂醫(yī)療是我們的核心技術(shù)[N];中國(guó)計(jì)算機(jī)報(bào);2011年

7 記者 廖雪梅;三峽庫(kù)區(qū)綜合信息空間 集成平臺(tái)正式開(kāi)通[N];重慶日?qǐng)?bào);2010年

8 遼寧中醫(yī)藥大學(xué)附屬醫(yī)院 羅智博　何繼勇 李明哲;構(gòu)建四大平臺(tái) 實(shí)現(xiàn)中醫(yī)院數(shù)字化[N];中國(guó)中醫(yī)藥報(bào);2011年

9 徐旭忠;三峽庫(kù)區(qū)綜合信息空間集成平臺(tái)開(kāi)始建設(shè)[N];中國(guó)稅務(wù)報(bào);2008年

10 記者 張銀炎;上海地區(qū)開(kāi)拓IPMS新領(lǐng)域[N];中國(guó)船舶報(bào);2005年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前2條

1 任午令;電子商務(wù)環(huán)境下供應(yīng)鏈管理集成平臺(tái)及其關(guān)鍵技術(shù)研究[D];浙江大學(xué);2003年

2 馬增輝;水信息系統(tǒng)綜合集成研究與應(yīng)用[D];西安理工大學(xué);2009年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 陳志強(qiáng);基于SOA框架的高校人事管理系統(tǒng)設(shè)計(jì)[D];復(fù)旦大學(xué);2013年

2 狄t

本文編號(hào)：299426