本文選題：聯(lián)機(jī)分析 + 數(shù)據(jù)審計(jì)　； 參考：《東南大學(xué)》2016年碩士論文

【摘要】：隨著云時(shí)代的到來,海量結(jié)構(gòu)化數(shù)據(jù)的審計(jì)正成為伴隨著電子商務(wù)、物聯(lián)網(wǎng)等新興互聯(lián)網(wǎng)領(lǐng)域而逐漸興起的熱點(diǎn)問題,歷史數(shù)據(jù)的審計(jì)的目的在于盡可能地通過日志文件等記錄數(shù)據(jù),實(shí)現(xiàn)對(duì)威脅或潛在威脅的發(fā)現(xiàn)和防范。其中的難點(diǎn)在于如何實(shí)現(xiàn)其匯總數(shù)據(jù)查詢的即席性、聯(lián)機(jī)性和交互性。在數(shù)據(jù)審計(jì)領(lǐng)域,對(duì)數(shù)據(jù)倉(cāng)庫(kù)的審計(jì)主要有兩種方法,即賬表還原法和基礎(chǔ)數(shù)據(jù)核查法,然而問題是,現(xiàn)階段,在數(shù)據(jù)量逐漸增大的壓力下,不管何種審計(jì)方法都無法在審計(jì)速度、審計(jì)數(shù)據(jù)存儲(chǔ)方面取得令人滿意的效果,審計(jì)任務(wù)完成不及時(shí)、審計(jì)數(shù)據(jù)無法妥善存儲(chǔ)都會(huì)給企業(yè)和政府帶來不可估量的損失。本文基于數(shù)據(jù)立方體格模型及分布式技術(shù),設(shè)計(jì)一套高效率的基于分布式和聯(lián)機(jī)分析技術(shù)的審計(jì)系統(tǒng),力求做到數(shù)據(jù)審計(jì)的快速高效。本文主要做了如下工作：(1)通過對(duì)各種分布式技術(shù)的優(yōu)劣進(jìn)行比較,選取出適合大數(shù)據(jù)審計(jì)的分布式框架,并將審計(jì)數(shù)據(jù)從傳統(tǒng)的數(shù)據(jù)庫(kù)或excel移植到類Hadoop MapReduce的通用并行框架Spark上。(2)在分布式平臺(tái)上對(duì)聚集數(shù)據(jù)進(jìn)行壓縮。首先對(duì)分布式存儲(chǔ)平臺(tái)的特點(diǎn)進(jìn)行分析,選用封閉立方體技術(shù)對(duì)聚集數(shù)據(jù)進(jìn)行壓縮,壓縮后的數(shù)據(jù)以封閉立方體的形式存儲(chǔ)在HDFS上,以供審計(jì)查詢。(3)得到壓縮的封閉立方體后,結(jié)合Spark編程模型RDD的特點(diǎn)在分布式系統(tǒng)上對(duì)其進(jìn)行查詢,查詢方式與已有的查詢方式不同,因?yàn)橐骖櫡植际较到y(tǒng)的特點(diǎn)和查詢效率,做到快速準(zhǔn)確。(4)整合前面的技術(shù),設(shè)計(jì)出合適的基于分布式系統(tǒng)的審計(jì)架構(gòu)。解決了如下兩個(gè)問題,1)海量數(shù)據(jù)的存儲(chǔ)和聚集數(shù)據(jù)的查詢。2)審計(jì)規(guī)則在大數(shù)據(jù)平臺(tái)的應(yīng)用。即結(jié)合封閉立方體技術(shù)、分布式技術(shù)、審計(jì)技術(shù),設(shè)計(jì)一套實(shí)用的大數(shù)據(jù)審計(jì)系統(tǒng),并以實(shí)驗(yàn)的方式對(duì)其功能進(jìn)行驗(yàn)證。
[Abstract]:With the arrival of the cloud era, the audit of massive structured data is becoming a hot issue gradually rising along with the electronic commerce, the Internet of things and other emerging Internet fields. The purpose of the audit of historical data is to realize the discovery and prevention of threats or potential threats by recording data such as log files as much as possible. The difficulty lies in how to realize the ad hoc, online and interactivity of its aggregate data query. In the field of data audit, there are mainly two methods for data warehouse audit, namely, the method of reducing the account sheet and the method of checking the basic data. However, the problem is, at the present stage, under the pressure of increasing data volume, No matter what audit method can not be used in audit speed, audit data storage can achieve satisfactory results, audit task is not completed in time, and audit data can not be stored properly will bring incalculable losses to enterprises and governments. Based on the data cube lattice model and distributed technology, this paper designs an efficient audit system based on distributed and on-line analysis technology, which aims to achieve fast and high efficiency of data audit. The main work of this paper is as follows: (1) by comparing the advantages and disadvantages of various distributed technologies, we select a distributed framework suitable for big data audit. And the audit data is transplanted from traditional database or excel to the general parallel framework of Hadoop MapReduce, named Spark. 2) the aggregate data is compressed on distributed platform. Firstly, the characteristics of distributed storage platform are analyzed, and the aggregate data is compressed by using closed cube technology. The compressed data is stored on HDFS in the form of closed cube, so that the compressed closed cube can be obtained by audit query. According to the characteristics of Spark programming model RDD, it is queried on the distributed system. The query way is different from the existing query way, because the characteristics and query efficiency of the distributed system should be taken into account, so that the former technology can be integrated quickly and accurately. An appropriate audit architecture based on distributed system is designed. The following two problems are solved: 1) the application of the audit rules to the big data platform for the storage of massive data and the query of aggregate data. Combining the closed cube technology, distributed technology and audit technology, a set of practical big data audit system is designed, and its function is verified by experiment.
【學(xué)位授予單位】：東南大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 周翔華;;使用Analysis Services對(duì)數(shù)據(jù)進(jìn)行聯(lián)機(jī)分析[J];軟件導(dǎo)刊;2009年11期

2 謝嘉孟,楊東輝;決策支持與聯(lián)機(jī)分析技術(shù)[J];廣東公安科技;2000年02期

3 陳旭輝;劉東坡;武玉杰;;中間存儲(chǔ)的聯(lián)機(jī)分析關(guān)聯(lián)規(guī)則挖掘方法[J];廈門理工學(xué)院學(xué)報(bào);2012年02期

4 李盛恩,陸世潮;聯(lián)機(jī)分析多維存儲(chǔ)結(jié)構(gòu)的研究[J];計(jì)算機(jī)應(yīng)用與軟件;2005年09期

5 吳奉亮,常心坦,李學(xué)文;安全管控?cái)?shù)據(jù)聯(lián)機(jī)分析模式研究[J];西安科技學(xué)院學(xué)報(bào);2002年04期

6 張楠,田盛豐,賀志;聯(lián)機(jī)分析關(guān)聯(lián)規(guī)則挖掘的研究[J];微機(jī)發(fā)展;2003年10期

7 林綺屏;圖書館聯(lián)機(jī)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];情報(bào)學(xué)報(bào);2002年05期

8 周國(guó)亮;王桂蘭;朱永利;;多核處理器上的并行聯(lián)機(jī)分析處理算法研究[J];計(jì)算機(jī)科學(xué)與探索;2013年02期

9 秦富童;劉冰峰;劉東玉;何榮茂;;基于數(shù)據(jù)倉(cāng)庫(kù)的通信干擾試驗(yàn)數(shù)據(jù)聯(lián)機(jī)分析研究[J];艦船電子工程;2012年03期

10 印國(guó)成;;聯(lián)機(jī)分析在公共財(cái)政管理中的應(yīng)用[J];福建電腦;2009年05期

相關(guān)博士學(xué)位論文 前1條

1 李文海;基于粗集的關(guān)系型聯(lián)機(jī)分析優(yōu)化技術(shù)研究[D];華中科技大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 楊勝松;基于多維聯(lián)機(jī)分析的分布式審計(jì)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];東南大學(xué);2016年

2 蘇立強(qiáng);空間聯(lián)機(jī)分析系統(tǒng)實(shí)現(xiàn)及其在工商管理中的應(yīng)用[D];大連理工大學(xué);2006年

3 尹淑彬;達(dá)夢(mèng)聯(lián)機(jī)分析系統(tǒng)查詢優(yōu)化的研究[D];華中科技大學(xué);2011年

4 嚴(yán)峰;銀行房貸信用評(píng)估的聯(lián)機(jī)分析與挖掘算法實(shí)現(xiàn)[D];大連理工大學(xué);2006年

5 毛超;多維態(tài)勢(shì)信息聯(lián)機(jī)分析的研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2011年

6 盛大栓;多維聯(lián)機(jī)分析Simplified Analysis系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];上海海事大學(xué);2006年

7 榮玨;基于.net架構(gòu)下的聯(lián)機(jī)分析系統(tǒng)[D];昆明理工大學(xué);2004年

8 唐萍;網(wǎng)格環(huán)境下空間聯(lián)機(jī)分析服務(wù)的設(shè)計(jì)與實(shí)現(xiàn)[D];福州大學(xué);2009年

9 劉煒;文件的聯(lián)機(jī)分析（OLAP）[D];南昌大學(xué);2010年

10 張小剛;面向社區(qū)服務(wù)的聯(lián)機(jī)分析系統(tǒng)研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2009年

，

本文編號(hào)：2046481