隨著我國改革開放這一政策的不斷深入,世界經(jīng)濟一體化進程的加快以及我國在國際上各個領(lǐng)域的交流不斷加深,來華外國人數(shù)量也逐年攀升。雖然這些人員為我國經(jīng)濟社會的發(fā)展貢獻了力量和促進了中外文化交流。但是也帶來了不少新的不穩(wěn)定因素。由于入境的外國人具有較大的流動性、入境事務(wù)種類較多和入境范圍較廣的三大特點,因此會出現(xiàn)“從事與簽證種類不符活動”和“涉嫌非法就業(yè)外籍人員”等違法行為。為了避免我國的社會治安受到這些違法行為帶來的負面影響,需要對境內(nèi)外國人做好管理工作。如何對其進行有效、有預(yù)見性的管理,這是當(dāng)前研究人員和相關(guān)部門研究的核心。習(xí)近平總書記在2017年就提出了“一帶一路”思想,并在國際合作論壇上宣布2018年舉辦首屆中國國際進口博覽會。該會將于2018年11月在上海舉辦。此次會議期間,預(yù)計有60余個國家商務(wù)人員來滬,屆時需加大對境外人員的分析管理,提高境外人員軌跡分析、預(yù)警研判。這就要求上海在對入境外國人進行管理的時候?qū)ζ湟M行全面的信息化管理。在充分明確需求并結(jié)合業(yè)務(wù)要求,對系統(tǒng)模型進行了構(gòu)建。在上述工作基礎(chǔ)上,本文對技術(shù)架構(gòu)進行了詳細的設(shè)計。由于系統(tǒng)數(shù)據(jù)來源兩個渠道,一個是外部系統(tǒng),另一... 

【文章來源】：江蘇大學(xué)江蘇省

【文章頁數(shù)】：69 頁

【學(xué)位級別】：碩士

【部分圖文】：

ETL工作原理示意圖

出入境智能動態(tài)管控系統(tǒng)的設(shè)計與實現(xiàn)通過使用ETL技術(shù)，可以實現(xiàn)多個將源端數(shù)據(jù)結(jié)構(gòu)的映射，使其可以被映射到多個目標(biāo)端結(jié)構(gòu)，使數(shù)據(jù)的分發(fā)集成實現(xiàn)一次提取，從而滿足同時抽取多個目標(biāo)數(shù)據(jù)庫的需求[24-25]。通過使用該技術(shù)，可以實現(xiàn)數(shù)據(jù)的回滾，如果在分發(fā)操作的時候有些數(shù)據(jù)寫入失敗，則可以讓其他分發(fā)操作的數(shù)據(jù)得到回滾處理，在抽取數(shù)據(jù)的時候，可以讓數(shù)據(jù)集成工作的一致性提升、平等性提升[26-27]。2.5分布式并行計算架構(gòu)FusionInsightMPP設(shè)計為能夠分析和存儲PB級海量結(jié)構(gòu)化數(shù)據(jù)，其包括多個系統(tǒng)資源邏輯節(jié)點，比如存儲、內(nèi)容等，這些節(jié)點互不共享，彼此之間是獨立的存在，基于x86服務(wù)器、Shared-Nothing分布式執(zhí)行的開發(fā)架構(gòu),在這樣的系統(tǒng)架構(gòu)中，可以讓業(yè)務(wù)數(shù)據(jù)被分散，從而使不同的物理節(jié)點存儲這些數(shù)據(jù)，通過分析數(shù)據(jù)，可以使就近位置的數(shù)據(jù)被執(zhí)行，利用控制模型協(xié)調(diào)功能，可以讓大量數(shù)據(jù)的處理工作被完成，大幅度縮短系統(tǒng)處理數(shù)據(jù)的響應(yīng)時間。FusionInsightMPP支持通過開放標(biāo)準SQL接口實現(xiàn)復(fù)雜查詢。通過分布列散列算法和分區(qū)路由算法避免數(shù)據(jù)偏斜導(dǎo)致單節(jié)點計算或存儲性能瓶頸，提供整集群近似線性擴展能力。其具體框架圖見圖2.2所示。全AA架構(gòu)實現(xiàn)系統(tǒng)在規(guī)模數(shù)據(jù)處理過程中的24小時不間斷服務(wù)。圖2.2FusionInsightMPP框架圖2.6Hadoop計算架構(gòu)對Hadoop大數(shù)據(jù)處理平臺進行研究可以明確，其集成了多種功能，如監(jiān)控、分析、查詢等，該架構(gòu)具有以下優(yōu)點：1）可維護性和易管理性

江蘇大學(xué)工程碩士學(xué)位論文13否進行合并，否則新增，同時記錄新增或修改時間；（2）每天凌晨對人員索引表中的全部記錄（人員狀態(tài)為有效數(shù)據(jù)），抽取全國版系統(tǒng)、公安部接口、社會化數(shù)據(jù)的到出入境各中間表；如遇到本地庫與全國庫記錄相同時，不做合并處理，用數(shù)據(jù)來源區(qū)分；（3）按最后修改時間作為時間戳同步進市局匯集庫。3.2.2數(shù)據(jù)獲取本課題系統(tǒng)需要有大量的數(shù)據(jù)支持，數(shù)據(jù)可以從不同的網(wǎng)絡(luò)中獲得，比如互聯(lián)網(wǎng)中的數(shù)據(jù)、市局大數(shù)據(jù)中心存儲的數(shù)據(jù)等�？梢员４鏀�(shù)據(jù)的方式有很多種，比如：可以通過Word、Excel等文件保存數(shù)據(jù)，可以通過Sqlserver、Oracle等關(guān)系型數(shù)據(jù)庫保存數(shù)據(jù)。在對這些數(shù)據(jù)進行采集和利用的時候，將會根據(jù)不同出入境數(shù)據(jù)管理業(yè)務(wù)進行，通過對數(shù)據(jù)進行清洗、組織，從而使數(shù)據(jù)可以根據(jù)業(yè)務(wù)需求被保存。在獲取數(shù)據(jù)的時候，是通過插件式的設(shè)計模式實現(xiàn)的，通過讓開放的訪問組件可以訪問總數(shù)據(jù)文件和數(shù)據(jù)庫，從而獲得多源異構(gòu)數(shù)據(jù)。如果是新的數(shù)據(jù)源，則可以集成在本課題的技術(shù)框架中，從而使系統(tǒng)在獲取數(shù)據(jù)的時候具有更好的擴展性。3.2.3數(shù)據(jù)維護本課題系統(tǒng)需要具有數(shù)據(jù)維護功能，可以修改、維護已經(jīng)保存在數(shù)據(jù)庫中的基礎(chǔ)數(shù)據(jù)，包括的數(shù)據(jù)有軌跡、出入境等，此外，本系統(tǒng)還可以添加新的數(shù)據(jù)，圖3.2所示的是基礎(chǔ)數(shù)據(jù)維護操作流程示意。圖3.2基礎(chǔ)數(shù)據(jù)維護流程示意圖當(dāng)使用人員登錄系統(tǒng)之后，系統(tǒng)會對使用人員登錄的用戶名進行識別，明確該用戶具有的操作權(quán)限，如果發(fā)現(xiàn)該使用人員并沒有管理權(quán)限，則可以讓使用人員使用基礎(chǔ)功

【參考文獻】：
期刊論文
[1]Echarts在數(shù)據(jù)可視化課程中的應(yīng)用[J]. 鄭戟明,柳青.  電腦知識與技術(shù). 2020(02)
[2]云環(huán)境下基于混合密碼體系的跨域控制方案[J]. 江澤濤,時晨,張少欽,徐娟娟.  計算機應(yīng)用研究. 2020(11)
[3]大數(shù)據(jù)背景下數(shù)據(jù)庫的安全管理[J]. 侯珂珂,蔡莉莉.  電子技術(shù)與軟件工程. 2019(20)
[4]我國境內(nèi)“三非”外國人問題分析[J]. 方衛(wèi)軍.  山東警察學(xué)院學(xué)報. 2019(03)
[5]基于SOA的信息總線與云計算的融合策略[J]. 平彥.  中國新通信. 2018(20)
[6]警務(wù)大數(shù)據(jù)關(guān)鍵技術(shù)研究及多軌聯(lián)偵應(yīng)用探索[J]. 劉翔,彭成.  中國安全防范技術(shù)與應(yīng)用. 2018(04)
[7]計算機軟件工程方法的進展研究[J]. 李林森.  科技展望. 2016(29)
[8]城市地鐵反恐應(yīng)急處置對策研究[J]. 陳文彪.  公安教育. 2016(09)
[9]信息可視化分析技術(shù)在公安行業(yè)中的應(yīng)用[J]. 余協(xié)力,陳宇.  警察技術(shù). 2011(01)
[10]ETL在公安部門數(shù)據(jù)共享與資源整合中的應(yīng)用[J]. 高立春,徐葉強.  情報雜志. 2010(S2)

碩士論文
[1]我國出入境邊防檢查機關(guān)反恐職能研究[D]. 汪文.安徽大學(xué) 2019
[2]復(fù)雜信息系統(tǒng)的數(shù)據(jù)提取、建模及其應(yīng)用[D]. 黃鵬飛.浙江理工大學(xué) 2019
[3]境外人員管理問題研究[D]. 劉柏辰.南京理工大學(xué) 2018
[4]大數(shù)據(jù)應(yīng)用于外國人管理問題研究[D]. 吳婷婷.東北財經(jīng)大學(xué) 2018
[5]基于ETL的公安情報數(shù)據(jù)質(zhì)量分析與優(yōu)化[D]. 王霞.中國科學(xué)院大學(xué)(工程管理與信息技術(shù)學(xué)院) 2016
[6]警務(wù)可視化實戰(zhàn)應(yīng)用系統(tǒng)研究與研發(fā)[D]. 謝強.電子科技大學(xué) 2016
[7]我國地鐵警務(wù)標(biāo)準化研究[D]. 邱三忠.華南理工大學(xué) 2016
[8]基于數(shù)據(jù)挖掘的涉外情報系統(tǒng)設(shè)計與實現(xiàn)[D]. 韋雷.上海交通大學(xué) 2015



本文編號：3359886