本文選題：數(shù)據(jù)采集 + 圖數(shù)據(jù)　； 參考：《中國科學(xué)院大學(xué)(中國科學(xué)院工程管理與信息技術(shù)學(xué)院)》2017年碩士論文

【摘要】：為應(yīng)對突發(fā)性公共安全事件帶來的巨大挑戰(zhàn),我國的公共安全處置策略需要從“事后處置”轉(zhuǎn)變到“事前預(yù)防”,為此,需要強(qiáng)化數(shù)據(jù)資源的綜合利用以及自動化地、深度地數(shù)據(jù)分析和信息挖掘手段,以提高信息發(fā)現(xiàn)的及時性、前瞻性,防范突發(fā)性安全事件于未然。通過建設(shè)面向公共安全的數(shù)據(jù)分析系統(tǒng),為信息挖掘應(yīng)用提供監(jiān)測和預(yù)警手段,解決安全保障部門面臨的問題。本文在研究了面向特定網(wǎng)站的主動式快速數(shù)據(jù)采集技術(shù),關(guān)系網(wǎng)絡(luò)分析相關(guān)的圖數(shù)據(jù)壓縮存儲、分析和可視化展示等技術(shù)的基礎(chǔ)上,設(shè)計并實(shí)現(xiàn)了一套主動獲取數(shù)據(jù)、自動分析數(shù)據(jù)的分析系統(tǒng),實(shí)現(xiàn)對特定人員、特定群體、異常行為、安全事件的檢測與挖掘。本文的主要工作如下:實(shí)現(xiàn)面向特定網(wǎng)站的數(shù)據(jù)采集。分析了針對公共安全領(lǐng)域內(nèi)數(shù)據(jù)查詢類網(wǎng)站進(jìn)行數(shù)據(jù)采集的技術(shù),研究基于瀏覽器模擬、瀏覽器操縱的采集方式,實(shí)現(xiàn)用戶名密碼、PKI證書登錄的認(rèn)證授權(quán),獲取數(shù)據(jù)并進(jìn)行解析,使用增量式加速、長連接加速、并行加速、分布式加速等加速策略加快采集速度,并使用最近最少使用法、直接映射法對數(shù)據(jù)去重,實(shí)現(xiàn)對公共安全領(lǐng)域內(nèi)數(shù)據(jù)查詢類網(wǎng)站數(shù)據(jù)的準(zhǔn)確高效的采集,為信息挖掘應(yīng)用提供基礎(chǔ)數(shù)據(jù)來源。研究數(shù)據(jù)分析技術(shù),提出一種隱關(guān)系發(fā)現(xiàn)算法并證明其正確性。研究基于Bloom過濾器和基于Cuckoo過濾器的數(shù)據(jù)比對加速技術(shù),實(shí)現(xiàn)特定人員快速偵測;通過統(tǒng)計方法挖掘隱含在人員活動數(shù)據(jù)中的人員關(guān)系,利用多源異構(gòu)數(shù)據(jù)構(gòu)建人員關(guān)系和活動圖,實(shí)現(xiàn)大規(guī)模圖數(shù)據(jù)的壓縮,在關(guān)系網(wǎng)絡(luò)上進(jìn)行治安效價傳遞、異常行為等分析,并進(jìn)行可視化展示,使公共安區(qū)保障部門能直觀地觀察分析和處理結(jié)果。設(shè)計并實(shí)現(xiàn)了數(shù)據(jù)分析系統(tǒng)。通過整合面向特定網(wǎng)站的數(shù)據(jù)采集技術(shù)和數(shù)據(jù)分析與圖可視化技術(shù),設(shè)計開發(fā)一套主動獲取數(shù)據(jù)、自動分析數(shù)據(jù)的分析系統(tǒng),對活動記錄進(jìn)行分析處理,實(shí)現(xiàn)對特定人員、特定群體、異常行為、安全事件的檢測與挖掘。
[Abstract]:In order to cope with the huge challenge of emergency public safety events, the strategy of public security disposal in China needs to be changed from "post treatment" to "pre prevention". Therefore, it is necessary to strengthen the comprehensive utilization of data resources and the methods of automatic and in-depth data analysis and information mining to improve the timeliness and foresight of information discovery. By building a data analysis system facing public security, it provides monitoring and early warning for information mining applications, and solves the problems faced by the security and security departments. In this paper, the active fast data acquisition technology for specific websites is studied, and the related graph data compression storage is related to the network analysis. On the basis of analysis and visualization techniques, a set of active data acquisition and analysis system is designed and implemented to realize the detection and mining of specific people, specific groups, abnormal behavior and security events. The main work of this paper is as follows: to realize data acquisition for specific websites and analyze public security. The technology of data collection in the field of data query in the field, research based on the browser simulation, the acquisition mode manipulated by the browser, realize the username cipher, the authentication authorization of the PKI certificate, obtain the data and analyze it, use incremental acceleration, accelerate the long connection, accelerate the acceleration, and accelerate the distributed acceleration strategy to speed the acquisition speed. And using the latest least use method, the direct mapping method is used to retrieve data accurately and efficiently in the field of public security. It provides the basic data source for the application of information mining. It studies the data analysis technology and presents a hidden relation discovery algorithm and proves its correctness. The research is based on the Bloom filter and the research. Based on the data comparison of the Cuckoo filter, the rapid detection of specific personnel is realized, the personnel relationship hidden in the personnel activity data is excavated by statistical method, the personnel relationship and activity graph are constructed by using multi source heterogeneous data to realize the compression of the large scale map data, and the security titer transfer and abnormal behavior are carried out on the closed network. Through the analysis and visualization, the Security Department of the public security area can observe and analyze the results intuitively. The data analysis system is designed and implemented. By integrating data acquisition technology and data analysis and graph visualization technology oriented to specific websites, a set of active data acquisition and analysis system is designed and developed. Activity records are analyzed and processed to detect and mine specific people, specific groups, abnormal behaviors and security incidents.
【學(xué)位授予單位】：中國科學(xué)院大學(xué)(中國科學(xué)院工程管理與信息技術(shù)學(xué)院)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP274.2

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 代美;陳林;趙惠燕;程登發(fā);;掃描昆蟲雷達(dá)數(shù)據(jù)分析系統(tǒng)的設(shè)計和研究[J];計算機(jī)工程與設(shè)計;2009年03期

2 李磊;;黑龍江郵政數(shù)據(jù)分析系統(tǒng)研究[J];林業(yè)科技情報;2011年04期

3 陳起榕;陳新亮;曹世彪;;一種新的數(shù)據(jù)分析系統(tǒng)前端展示方案[J];郵電設(shè)計技術(shù);2012年10期

4 孟慶超;李永亮;;智能數(shù)據(jù)分析系統(tǒng)研究[J];現(xiàn)代商貿(mào)工業(yè);2008年11期

5 郭靜;;鋼鐵企業(yè)能源數(shù)據(jù)分析系統(tǒng)的構(gòu)建[J];昆明理工大學(xué)學(xué)報(理工版);2009年05期

6 哈文雷;;基于云計算的油田數(shù)據(jù)分析系統(tǒng)[J];中國新技術(shù)新產(chǎn)品;2013年17期

7 黃麗麗;陳華輝;;博客數(shù)據(jù)分析系統(tǒng)的設(shè)計與實(shí)現(xiàn)[J];寧波大學(xué)學(xué)報(理工版);2008年03期

8 田月潔;焦波;謝金洲;;中藥不良反應(yīng)數(shù)據(jù)分析系統(tǒng)的設(shè)計與應(yīng)用[J];中國藥物警戒;2007年04期

9 毛蘭斌;;基于機(jī)電結(jié)構(gòu)檢測的可靠性數(shù)據(jù)分析系統(tǒng)設(shè)計[J];中國高新技術(shù)企業(yè);2008年08期

10 毛羽芳;王銳明;;天津市工商行政管理局?jǐn)?shù)據(jù)分析系統(tǒng)的建設(shè)[J];信息系統(tǒng)工程;2010年07期

相關(guān)會議論文 前7條

1 顧紅生;;淺談汽車行業(yè)競品數(shù)據(jù)分析系統(tǒng)解決方案[A];第八屆中國汽車設(shè)計與研發(fā)高峰論壇論文集[C];2013年

2 辛建峰;辛陽;;數(shù)據(jù)分析系統(tǒng)中的自定義量度方案設(shè)計實(shí)現(xiàn)[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國通信學(xué)會學(xué)術(shù)年會論文集[C];2011年

3 尚屹;朱琦;;國家持久性有機(jī)污染物數(shù)據(jù)分析系統(tǒng)研究[A];2008中國環(huán)境科學(xué)學(xué)會學(xué)術(shù)年會優(yōu)秀論文集（下卷）[C];2008年

4 鄭慧娟;周嘉元;李斌;;水電站生產(chǎn)數(shù)據(jù)分析系統(tǒng)及其現(xiàn)場應(yīng)用[A];中國水力發(fā)電工程學(xué)會信息化專委會2010年學(xué)術(shù)交流會論文集[C];2010年

5 張永忠;趙靜;;基于事件檢測算法的交通數(shù)據(jù)分析系統(tǒng)[A];2008全國第十三屆自動化應(yīng)用技術(shù)學(xué)術(shù)交流會論文集[C];2008年

6 王治國;王薇;訾凱;任鵬;;臨床檢驗(yàn)方法確認(rèn)與性能驗(yàn)證數(shù)據(jù)分析系統(tǒng)(MVS)的開發(fā)與應(yīng)用[A];中華醫(yī)學(xué)會第九次全國檢驗(yàn)醫(yī)學(xué)學(xué)術(shù)會議暨中國醫(yī)院協(xié)會臨床檢驗(yàn)管理專業(yè)委員會第六屆全國臨床檢驗(yàn)實(shí)驗(yàn)室管理學(xué)術(shù)會議論文匯編[C];2011年

7 董剛;孫建林;譚耘宇;;建立梅鋼熱軋數(shù)據(jù)分析系統(tǒng)[A];自動化技術(shù)與冶金流程節(jié)能減排——全國冶金自動化信息網(wǎng)2008年會論文集[C];2008年

相關(guān)重要報紙文章 前8條

1 記者 劉慧敏;開發(fā)區(qū)一企業(yè)研發(fā)成功“消費(fèi)行為數(shù)據(jù)分析系統(tǒng)”[N];寧波日報;2009年

2 別志銘;基于云的大數(shù)據(jù)分析系統(tǒng)[N];網(wǎng)絡(luò)世界;2013年

3 袁毅;蘇州：數(shù)據(jù)分析系統(tǒng)精準(zhǔn)問診城市交通[N];人民公安報·交通安全周刊;2011年

4 紹興職業(yè)技術(shù)學(xué)院 沈華峰 寧波大學(xué)信息科學(xué)與工程學(xué)院 朱雙東;基于可縮放矢量圖形數(shù)據(jù)分析系統(tǒng)的設(shè)計與實(shí)現(xiàn)[N];中國計算機(jī)報;2010年

5 記者 董科;轉(zhuǎn)型客戶服務(wù) 打造全新競爭力[N];期貨日報;2010年

6 江蘇省淮安市漣水地稅局 周躍 黃呂勝 童政;應(yīng)完善稅收數(shù)據(jù)分析系統(tǒng)提升使用效能[N];中國稅務(wù)報;2013年

7 陶利軍;路橋當(dāng)好企業(yè)經(jīng)濟(jì)分析師[N];中國工商報;2007年

8 本報記者 鞏國強(qiáng);汛潮的“賣點(diǎn)”[N];山西經(jīng)濟(jì)日報;2004年

相關(guān)碩士學(xué)位論文 前10條

1 夷臻;學(xué)生事務(wù)數(shù)據(jù)分析系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D];蘇州大學(xué);2015年

2 李永秋;智能化體檢數(shù)據(jù)分析系統(tǒng)設(shè)計與實(shí)現(xiàn)[D];山東大學(xué);2014年

3 翟羽佳;萊蕪供電公司經(jīng)營數(shù)據(jù)分析系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D];山東大學(xué);2015年

4 張磊磊;高考錄取數(shù)據(jù)分析系統(tǒng)前端界面模塊的設(shè)計與實(shí)現(xiàn)[D];山東大學(xué);2015年

5 韓繼軍;金卡科技公司業(yè)務(wù)數(shù)據(jù)分析系統(tǒng)設(shè)計與實(shí)現(xiàn)[D];大連理工大學(xué);2015年

6 張志祥;某數(shù)據(jù)分析系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D];北京郵電大學(xué);2015年

7 龍少杭;基于Storm的實(shí)時大數(shù)據(jù)分析系統(tǒng)的研究與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

8 余夢然;面向商務(wù)智能的公共交通數(shù)據(jù)分析系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

9 張鵬宇;中國聯(lián)通ERP用戶感知業(yè)務(wù)監(jiān)控數(shù)據(jù)分析系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D];華南理工大學(xué);2015年

10 廖寧平;石化企業(yè)數(shù)據(jù)分析系統(tǒng)的開發(fā)及運(yùn)營管理中的應(yīng)用[D];浙江工業(yè)大學(xué);2014年

，

本文編號：2004015