移動互聯(lián)網(wǎng)審計平臺數(shù)據(jù)處理方案的改進與實現(xiàn)
本文選題:移動互聯(lián)網(wǎng) + 安全審計 ; 參考:《北京交通大學》2017年碩士論文
【摘要】:隨著第四代移動通訊技術的崛起和智能終端的迅速發(fā)展,移動設備的網(wǎng)絡連入量占據(jù)互聯(lián)網(wǎng)的份額也越來越大,在移動互聯(lián)網(wǎng)時代,數(shù)據(jù)業(yè)務漸變成了用戶的核心需求,數(shù)據(jù)價值也將會成為運營商的最寶貴價值所在。因此移動互聯(lián)網(wǎng)業(yè)務數(shù)據(jù)的分析與審計就會變得非常必要且重要。然而,也正因為移動設備的普及和移動應用的全方位覆蓋,使得數(shù)據(jù)隨時隨地都在產(chǎn)生,移動網(wǎng)絡數(shù)據(jù)包小且雜、同一時刻的實時活躍連接數(shù)量龐大、智能終端的應用種類繁多成了移動互聯(lián)網(wǎng)的主要特點,對于數(shù)據(jù)分析,處理速度要求也變的更高,高效率的實時流量處理才能令移動業(yè)務數(shù)據(jù)產(chǎn)生相應的價值。原有移動互聯(lián)網(wǎng)審計平臺是單進程多線程架構的系統(tǒng),采用傳統(tǒng)的Libpcap工具來捕獲數(shù)據(jù)包,單純地采用DPI技術進行數(shù)據(jù)包解析,這樣的審計系統(tǒng)性能問題諸多,頻繁的中斷請求和數(shù)據(jù)拷貝,耗時的DPI業(yè)務識別,串行的單任務進程等原因嚴重限制了移動互聯(lián)網(wǎng)審計平臺的性能,當流量速率足夠大時,原平臺的處理效率令人堪憂。本文分析指出原系統(tǒng)嚴重限制數(shù)據(jù)處理效率的原因,為提高審計平臺數(shù)據(jù)處理的能力以滿足實時高速的移動業(yè)務數(shù)據(jù)細粒度審計的需求,提出了數(shù)據(jù)處理過程中新的階段性工作改進方案,在數(shù)據(jù)采集階段采用基于PF_RING+NAPI的數(shù)據(jù)包捕獲方案,并結合零拷貝思想做出相應的改進措施,在數(shù)據(jù)解析階段采用基于DPI/DFI相結合的數(shù)據(jù)解析方式,并提出了基于緩存命中的預處理方法,大幅度降低了 DPI處理壓力。同時,采用多核多進程架構重新設計審計平臺的數(shù)據(jù)分析模塊,在充分利用硬件資源的同時,提升審計平臺的整體性能。通過階段化的驗證試驗,對數(shù)據(jù)采集階段和數(shù)據(jù)解析階段的方案分別做了性能測試,并展示多進程架構下的系統(tǒng)運行狀態(tài)。實驗表明,本文方案完成了高速移動網(wǎng)絡環(huán)境下,實時穩(wěn)定的業(yè)務數(shù)據(jù)處理審計任務,達到了預期研究目標,可助力運營商開展移動網(wǎng)絡數(shù)據(jù)價值轉換和移動互聯(lián)網(wǎng)安全監(jiān)管等后續(xù)工作。
[Abstract]:With the rise of the fourth generation mobile communication technology and the rapid development of intelligent terminals, the amount of network connection of mobile devices occupies an increasingly large share of the Internet. In the era of mobile Internet, data services have gradually become the core needs of users. Data value will also become the most valuable value of operators. Therefore, the analysis and audit of mobile Internet business data will become very necessary and important. However, because of the popularity of mobile devices and the omni-directional coverage of mobile applications, the data is generated anytime and anywhere, the mobile network data packets are small and miscellaneous, and the number of real-time active connections at the same time is huge. The application of intelligent terminals has become the main characteristic of mobile Internet. For data analysis, processing speed also changes higher, high efficiency real-time traffic processing can make mobile business data produce corresponding value. The original mobile Internet audit platform is a single-process multi-threaded system. The traditional Libpcap tools are used to capture data packets, and the DPI technology is used to resolve the data packets. There are many problems in the performance of the audit system. Frequent interrupt requests and data copy, time-consuming DPI service identification, serial single-task process and other reasons seriously limit the performance of the mobile Internet audit platform. When the traffic rate is large enough, the processing efficiency of the original platform is worrying. This paper analyzes and points out that the original system seriously limits the efficiency of data processing. In order to improve the capability of data processing in the audit platform to meet the needs of real-time and high-speed fine-grained audit of mobile business data, In this paper, a new stage work improvement scheme in the process of data processing is put forward. In the data acquisition stage, the packet capture scheme based on PF_RING NAPI is adopted, and the corresponding improvement measures are made in combination with the zero-copy idea. In the stage of data parsing, the data parsing method based on DPI/DFI is adopted, and the preprocessing method based on cache hit is proposed, which greatly reduces the processing pressure of DPI. At the same time, the multi-core and multi-process architecture is used to redesign the data analysis module of the audit platform, which makes full use of the hardware resources and improves the overall performance of the audit platform. The performance of the schemes in the data acquisition stage and the data analysis stage are tested by the stage verification test, and the system running state under the multi-process architecture is shown. The experimental results show that the scheme has completed the audit task of real-time and stable service data processing under the high-speed mobile network environment, and has achieved the expected research goal. Can help operators to carry out mobile network data value conversion and mobile Internet security supervision and other follow-up work.
【學位授予單位】:北京交通大學
【學位級別】:碩士
【學位授予年份】:2017
【分類號】:TN929.5;TP393.01;TP274
【相似文獻】
相關期刊論文 前10條
1 楊正泉;;互聯(lián)網(wǎng)安全與管理[J];對外大傳播;2000年11期
2 ;全國人大常委會關于維護互聯(lián)網(wǎng)安全的決定[J];通信世界;2001年02期
3 志誠;全國人大法律委員會副主任委員張緒武指出:促進互聯(lián)網(wǎng)發(fā)展 保障互聯(lián)網(wǎng)安全[J];信息安全與通信保密;2001年02期
4 ;關于維護互聯(lián)網(wǎng)安全的決定[J];中國信息導報;2001年01期
5 ;全國人民代表大會常務委員會關于維護互聯(lián)網(wǎng)安全的決定[J];信息網(wǎng)絡安全;2001年02期
6 張春霞,姚智;略論互聯(lián)網(wǎng)安全問題[J];黑龍江水利科技;2003年02期
7 謝瑋;;互聯(lián)網(wǎng)安全問題分析和解決問題思路[J];現(xiàn)代電信科技;2006年05期
8 ;互聯(lián)網(wǎng)安全障礙在文化[J];每周電腦報;2006年31期
9 曾培炎;;讓互聯(lián)網(wǎng)技術和資源更好地造福社會、造福人民[J];中國信息界;2006年18期
10 楊洋;;互聯(lián)網(wǎng)安全問題的起因及復雜性分析[J];通信世界;2007年22期
相關會議論文 前10條
1 舒華英;;互聯(lián)網(wǎng)治理的分層模型及其生命周期[A];通信發(fā)展戰(zhàn)略與管理創(chuàng)新學術研討會論文集[C];2006年
2 劉為軍;侯宇宸;;中國移動互聯(lián)網(wǎng)安全監(jiān)管立法初探[A];第28次全國計算機安全學術交流會論文集[C];2013年
3 朱金義;劉寶莉;呂洪靜;程永全;;互聯(lián)網(wǎng)盜號案件頻發(fā)原因與對策[A];第十六次全國計算機安全學術交流會論文集[C];2001年
4 李冬;馬勇;張鑫;;基于微博產(chǎn)業(yè)下的互聯(lián)網(wǎng)安全問題初探[A];第26次全國計算機安全學術交流會論文集[C];2011年
5 張宏;;關于互聯(lián)網(wǎng)安全的幾點建議[A];中國航海學會通信導航專業(yè)委員會2003學術年會論文集[C];2003年
6 左鵬;;基于互聯(lián)網(wǎng)的基督教傳播:以大學生為對象[A];社會管理創(chuàng)新與青少年工作研究報告——第七屆中國青少年發(fā)展論壇暨中國青少年研究會優(yōu)秀論文集(2011)[C];2011年
7 王黎璐;王鴻宇;;移動互聯(lián)網(wǎng)安全分析[A];第28次全國計算機安全學術交流會論文集[C];2013年
8 焦瑞強;;互聯(lián)網(wǎng)安全事件頻發(fā) 管理手段亟待升級[A];政府管理創(chuàng)新理論與實踐研討會論文集[C];2011年
9 康治方;;互聯(lián)網(wǎng)和安全[A];第十二屆全國計算機安全技術交流會論文集[C];1997年
10 方漢奇;;法輪功與互聯(lián)網(wǎng)[A];中國傳播學:反思與前瞻——首屆中國傳播學論壇文集[C];2002年
相關重要報紙文章 前10條
1 閆強 舒華英;互聯(lián)網(wǎng)治理的分層模型及其生命周期[N];人民郵電;2005年
2 記者 楊揚;我市被列為政府部門互聯(lián)網(wǎng)安全接入國家試點城市[N];邯鄲日報;2010年
3 記者 韓婧;“360互聯(lián)網(wǎng)安全學院”啟動[N];北京人才市場報;2011年
4 萬佳;重建互聯(lián)網(wǎng)[N];光明日報;2013年
5 采訪 拉里·格林邁耶 (Larry Greenemeier) 翻譯 郭凱聲;互聯(lián)網(wǎng)走在崩潰邊緣[N];光明日報;2013年
6 沉風;移動互聯(lián)網(wǎng)有多不安全?[N];人民郵電;2013年
7 本報記者 李國敏;中國互聯(lián)網(wǎng)安全大會聚焦網(wǎng)絡新威脅[N];科技日報;2013年
8 徐晶卉;中國互聯(lián)網(wǎng)安全大會聚焦手機安全[N];中國貿(mào)易報;2013年
9 喬杉;移動互聯(lián)網(wǎng):無安全則無繁榮[N];工人日報;2014年
10 忻陽;優(yōu)質視頻傳輸成互聯(lián)網(wǎng)首要挑戰(zhàn)[N];人民郵電;2014年
相關博士學位論文 前10條
1 申琰;互聯(lián)網(wǎng)的國際博弈與合作研究[D];中共中央黨校;2009年
2 滕順祥;基于互聯(lián)網(wǎng)的行業(yè)綜合治理機制與策略研究[D];北京交通大學;2010年
3 李明選;互聯(lián)網(wǎng)金融產(chǎn)業(yè)及其對傳統(tǒng)金融沖擊影響的研究[D];上海社會科學院;2015年
4 李琦;互聯(lián)網(wǎng)金融領域信用與風險的理論與實證分析[D];重慶大學;2015年
5 郭珂瓊;互聯(lián)網(wǎng)新興權利保障研究[D];吉林大學;2016年
6 劉f[;中國互聯(lián)網(wǎng)金融的發(fā)展問題研究[D];吉林大學;2016年
7 曹海濤;從監(jiān)管到治理[D];武漢大學;2013年
8 李元元;網(wǎng)絡宗教安全問題研究[D];中央民族大學;2016年
9 柳強;互聯(lián)網(wǎng)治理信息的共享研究[D];北京郵電大學;2008年
10 申志偉;基于電信運營企業(yè)的互聯(lián)網(wǎng)治理研究[D];北京郵電大學;2012年
相關碩士學位論文 前10條
1 莫鋒;當代中國互聯(lián)網(wǎng)技術的倫理審視[D];廣西大學;2007年
2 姚源;我國互聯(lián)網(wǎng)治理研究[D];華中師范大學;2012年
3 李江;中國互聯(lián)網(wǎng)早期發(fā)展中互聯(lián)網(wǎng)創(chuàng)新能力的溯源與探究[D];浙江傳媒學院;2015年
4 王光輝;中國農(nóng)業(yè)銀行應對互聯(lián)網(wǎng)金融挑戰(zhàn)的策略研究[D];河北大學;2015年
5 曹瑞;互聯(lián)網(wǎng)金融風險管理與防范對策研究[D];內蒙古大學;2015年
6 余釗慧;三門峽市互聯(lián)網(wǎng)宣傳管理人才隊伍建設研究[D];中國地質大學(北京);2015年
7 李星霖;互聯(lián)網(wǎng)戰(zhàn)爭與中國應對[D];鄭州大學;2015年
8 李楊;美國互聯(lián)網(wǎng)制度霸權對中美關系的影響[D];鄭州大學;2015年
9 呂淼;互聯(lián)網(wǎng)時代我國意識形態(tài)安全問題研究[D];鄭州大學;2015年
10 周萍;互聯(lián)網(wǎng)異常流量檢測技術的研究[D];曲阜師范大學;2015年
,本文編號:1903288
本文鏈接:http://sikaile.net/kejilunwen/xinxigongchenglunwen/1903288.html