本文選題：數據采集 + 圖數據�。� 參考：《中國科學院大學(中國科學院工程管理與信息技術學院)》2017年碩士論文

【摘要】：為應對突發(fā)性公共安全事件帶來的巨大挑戰(zhàn),我國的公共安全處置策略需要從“事后處置”轉變到“事前預防”,為此,需要強化數據資源的綜合利用以及自動化地、深度地數據分析和信息挖掘手段,以提高信息發(fā)現(xiàn)的及時性、前瞻性,防范突發(fā)性安全事件于未然。通過建設面向公共安全的數據分析系統(tǒng),為信息挖掘應用提供監(jiān)測和預警手段,解決安全保障部門面臨的問題。本文在研究了面向特定網站的主動式快速數據采集技術,關系網絡分析相關的圖數據壓縮存儲、分析和可視化展示等技術的基礎上,設計并實現(xiàn)了一套主動獲取數據、自動分析數據的分析系統(tǒng),實現(xiàn)對特定人員、特定群體、異常行為、安全事件的檢測與挖掘。本文的主要工作如下:實現(xiàn)面向特定網站的數據采集。分析了針對公共安全領域內數據查詢類網站進行數據采集的技術,研究基于瀏覽器模擬、瀏覽器操縱的采集方式,實現(xiàn)用戶名密碼、PKI證書登錄的認證授權,獲取數據并進行解析,使用增量式加速、長連接加速、并行加速、分布式加速等加速策略加快采集速度,并使用最近最少使用法、直接映射法對數據去重,實現(xiàn)對公共安全領域內數據查詢類網站數據的準確高效的采集,為信息挖掘應用提供基礎數據來源。研究數據分析技術,提出一種隱關系發(fā)現(xiàn)算法并證明其正確性。研究基于Bloom過濾器和基于Cuckoo過濾器的數據比對加速技術,實現(xiàn)特定人員快速偵測;通過統(tǒng)計方法挖掘隱含在人員活動數據中的人員關系,利用多源異構數據構建人員關系和活動圖,實現(xiàn)大規(guī)模圖數據的壓縮,在關系網絡上進行治安效價傳遞、異常行為等分析,并進行可視化展示,使公共安區(qū)保障部門能直觀地觀察分析和處理結果。設計并實現(xiàn)了數據分析系統(tǒng)。通過整合面向特定網站的數據采集技術和數據分析與圖可視化技術,設計開發(fā)一套主動獲取數據、自動分析數據的分析系統(tǒng),對活動記錄進行分析處理,實現(xiàn)對特定人員、特定群體、異常行為、安全事件的檢測與挖掘。
[Abstract]:In order to cope with the huge challenge of emergency public safety events, the strategy of public security disposal in China needs to be changed from "post treatment" to "pre prevention". Therefore, it is necessary to strengthen the comprehensive utilization of data resources and the methods of automatic and in-depth data analysis and information mining to improve the timeliness and foresight of information discovery. By building a data analysis system facing public security, it provides monitoring and early warning for information mining applications, and solves the problems faced by the security and security departments. In this paper, the active fast data acquisition technology for specific websites is studied, and the related graph data compression storage is related to the network analysis. On the basis of analysis and visualization techniques, a set of active data acquisition and analysis system is designed and implemented to realize the detection and mining of specific people, specific groups, abnormal behavior and security events. The main work of this paper is as follows: to realize data acquisition for specific websites and analyze public security. The technology of data collection in the field of data query in the field, research based on the browser simulation, the acquisition mode manipulated by the browser, realize the username cipher, the authentication authorization of the PKI certificate, obtain the data and analyze it, use incremental acceleration, accelerate the long connection, accelerate the acceleration, and accelerate the distributed acceleration strategy to speed the acquisition speed. And using the latest least use method, the direct mapping method is used to retrieve data accurately and efficiently in the field of public security. It provides the basic data source for the application of information mining. It studies the data analysis technology and presents a hidden relation discovery algorithm and proves its correctness. The research is based on the Bloom filter and the research. Based on the data comparison of the Cuckoo filter, the rapid detection of specific personnel is realized, the personnel relationship hidden in the personnel activity data is excavated by statistical method, the personnel relationship and activity graph are constructed by using multi source heterogeneous data to realize the compression of the large scale map data, and the security titer transfer and abnormal behavior are carried out on the closed network. Through the analysis and visualization, the Security Department of the public security area can observe and analyze the results intuitively. The data analysis system is designed and implemented. By integrating data acquisition technology and data analysis and graph visualization technology oriented to specific websites, a set of active data acquisition and analysis system is designed and developed. Activity records are analyzed and processed to detect and mine specific people, specific groups, abnormal behaviors and security incidents.
【學位授予單位】：中國科學院大學(中國科學院工程管理與信息技術學院)
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP274.2

【相似文獻】

相關期刊論文 前10條

1 代美;陳林;趙惠燕;程登發(fā);;掃描昆蟲雷達數據分析系統(tǒng)的設計和研究[J];計算機工程與設計;2009年03期

2 李磊;;黑龍江郵政數據分析系統(tǒng)研究[J];林業(yè)科技情報;2011年04期

3 陳起榕;陳新亮;曹世彪;;一種新的數據分析系統(tǒng)前端展示方案[J];郵電設計技術;2012年10期

4 孟慶超;李永亮;;智能數據分析系統(tǒng)研究[J];現(xiàn)代商貿工業(yè);2008年11期

5 郭靜;;鋼鐵企業(yè)能源數據分析系統(tǒng)的構建[J];昆明理工大學學報(理工版);2009年05期

6 哈文雷;;基于云計算的油田數據分析系統(tǒng)[J];中國新技術新產品;2013年17期

7 黃麗麗;陳華輝;;博客數據分析系統(tǒng)的設計與實現(xiàn)[J];寧波大學學報(理工版);2008年03期

8 田月潔;焦波;謝金洲;;中藥不良反應數據分析系統(tǒng)的設計與應用[J];中國藥物警戒;2007年04期

9 毛蘭斌;;基于機電結構檢測的可靠性數據分析系統(tǒng)設計[J];中國高新技術企業(yè);2008年08期

10 毛羽芳;王銳明;;天津市工商行政管理局數據分析系統(tǒng)的建設[J];信息系統(tǒng)工程;2010年07期

相關會議論文 前7條

1 顧紅生;;淺談汽車行業(yè)競品數據分析系統(tǒng)解決方案[A];第八屆中國汽車設計與研發(fā)高峰論壇論文集[C];2013年

2 辛建峰;辛陽;;數據分析系統(tǒng)中的自定義量度方案設計實現(xiàn)[A];2011年通信與信息技術新進展——第八屆中國通信學會學術年會論文集[C];2011年

3 尚屹;朱琦;;國家持久性有機污染物數據分析系統(tǒng)研究[A];2008中國環(huán)境科學學會學術年會優(yōu)秀論文集（下卷）[C];2008年

4 鄭慧娟;周嘉元;李斌;;水電站生產數據分析系統(tǒng)及其現(xiàn)場應用[A];中國水力發(fā)電工程學會信息化專委會2010年學術交流會論文集[C];2010年

5 張永忠;趙靜;;基于事件檢測算法的交通數據分析系統(tǒng)[A];2008全國第十三屆自動化應用技術學術交流會論文集[C];2008年

6 王治國;王薇;訾凱;任鵬;;臨床檢驗方法確認與性能驗證數據分析系統(tǒng)(MVS)的開發(fā)與應用[A];中華醫(yī)學會第九次全國檢驗醫(yī)學學術會議暨中國醫(yī)院協(xié)會臨床檢驗管理專業(yè)委員會第六屆全國臨床檢驗實驗室管理學術會議論文匯編[C];2011年

7 董剛;孫建林;譚耘宇;;建立梅鋼熱軋數據分析系統(tǒng)[A];自動化技術與冶金流程節(jié)能減排——全國冶金自動化信息網2008年會論文集[C];2008年

相關重要報紙文章 前8條

1 記者 劉慧敏;開發(fā)區(qū)一企業(yè)研發(fā)成功“消費行為數據分析系統(tǒng)”[N];寧波日報;2009年

2 別志銘;基于云的大數據分析系統(tǒng)[N];網絡世界;2013年

3 袁毅;蘇州：數據分析系統(tǒng)精準問診城市交通[N];人民公安報·交通安全周刊;2011年

4 紹興職業(yè)技術學院 沈華峰 寧波大學信息科學與工程學院 朱雙東;基于可縮放矢量圖形數據分析系統(tǒng)的設計與實現(xiàn)[N];中國計算機報;2010年

5 記者 董科;轉型客戶服務 打造全新競爭力[N];期貨日報;2010年

6 江蘇省淮安市漣水地稅局 周躍 黃呂勝 童政;應完善稅收數據分析系統(tǒng)提升使用效能[N];中國稅務報;2013年

7 陶利軍;路橋當好企業(yè)經濟分析師[N];中國工商報;2007年

8 本報記者 鞏國強;汛潮的“賣點”[N];山西經濟日報;2004年

相關碩士學位論文 前10條

1 夷臻;學生事務數據分析系統(tǒng)的設計與實現(xiàn)[D];蘇州大學;2015年

2 李永秋;智能化體檢數據分析系統(tǒng)設計與實現(xiàn)[D];山東大學;2014年

3 翟羽佳;萊蕪供電公司經營數據分析系統(tǒng)的設計與實現(xiàn)[D];山東大學;2015年

4 張磊磊;高考錄取數據分析系統(tǒng)前端界面模塊的設計與實現(xiàn)[D];山東大學;2015年

5 韓繼軍;金卡科技公司業(yè)務數據分析系統(tǒng)設計與實現(xiàn)[D];大連理工大學;2015年

6 張志祥;某數據分析系統(tǒng)的設計與實現(xiàn)[D];北京郵電大學;2015年

7 龍少杭;基于Storm的實時大數據分析系統(tǒng)的研究與實現(xiàn)[D];上海交通大學;2015年

8 余夢然;面向商務智能的公共交通數據分析系統(tǒng)的設計與實現(xiàn)[D];西安電子科技大學;2014年

9 張鵬宇;中國聯(lián)通ERP用戶感知業(yè)務監(jiān)控數據分析系統(tǒng)的設計與實現(xiàn)[D];華南理工大學;2015年

10 廖寧平;石化企業(yè)數據分析系統(tǒng)的開發(fā)及運營管理中的應用[D];浙江工業(yè)大學;2014年

，

本文編號：2004015