本文選題：關聯(lián)子空間 + 候選離群對象　； 參考：《太原科技大學》2016年碩士論文

【摘要】：離群挖掘是數(shù)據(jù)挖掘領域中的主要研究內容之一,并已廣泛地應用到金融分析、信用詐騙,垃圾郵件分析等領域。針對高維海量數(shù)據(jù)集,如何有效的降低維災,提高數(shù)據(jù)挖掘的精度和效率,是離群挖掘中主要解決的問題。本文從提高離群數(shù)據(jù)挖掘效果的角度,對兩階段離群檢測算法及其并行化進行了研究,其主要研究成果如下:(1)采用篩選候選離群對象刪減計算量的思想,給出了一種兩階段離群挖掘算法。第一階段,計算每個數(shù)據(jù)對象在每一維的密度比,所有維的密度比的乘積取對數(shù)平均作為密度系數(shù),并選取候選離群對象;第二階段,把候選離群對象的鄰居在每一個關聯(lián)子空間中的偏離程度之積作為偏差比,密度系數(shù)與偏差比的乘積作為離群系數(shù),并確定離群數(shù)據(jù)對象。由于僅計算候選離群對象的離群系數(shù),因此有效地提高挖掘效率;最后,采用UCI數(shù)據(jù)集,實驗驗證了該算法不僅保證挖掘結果精度,而且有效提高了挖掘效率。(2)采用Map Reduce編程模型,給出了基于子空間的兩階段離群數(shù)據(jù)并行挖掘算法。先將數(shù)據(jù)集的全部數(shù)據(jù)分配到每一個子節(jié)點上,在每一個節(jié)點上用一個map函數(shù)計算數(shù)據(jù)的密度系數(shù)。用Reduce函數(shù)將結果匯總到主節(jié)點得到候選離群數(shù)據(jù)集。為使每個節(jié)點負載均衡,對候選離群數(shù)據(jù)集中的對象重新編號,將計算任務均等的分配到每個子節(jié)點。計算候選離群數(shù)據(jù)集中每個對象的偏差比,用Reduce函數(shù)將結果匯總到主節(jié)點,計算候選離群對象的離群系數(shù)。最后排序,篩選出離群點。
[Abstract]:Outlier mining is one of the main research contents in the field of data mining, and has been widely used in financial analysis, credit fraud, spam analysis and other fields. For high-dimensional massive data sets, how to effectively reduce dimensionality disasters and improve the accuracy and efficiency of data mining is the main problem in outlier mining. In order to improve the effect of outlier data mining, the two-stage outlier detection algorithm and its parallelization are studied in this paper. A two-stage outlier mining algorithm is presented. In the first stage, the density ratio of each data object in each dimension is calculated, the product of the density ratio of all dimensions is taken as the logarithmic average as the density coefficient, and the candidate outliers are selected. The product of deviation degree of neighbor of candidate outlier in each associated subspace is regarded as deviation ratio, and the product of density coefficient and deviation ratio is taken as outlier coefficient, and the outlier data object is determined. Because the outlier coefficients of candidate outliers are only calculated, the mining efficiency is improved effectively. Finally, the UCI dataset is used to verify that the algorithm not only ensures the accuracy of mining results, but also improves the mining efficiency. Moreover, the efficiency of mining is improved effectively. (2) using Map Reduce programming model, a two-stage outlier parallel mining algorithm based on subspace is presented. First, all the data of the data set are assigned to each child node, and the density coefficient of the data is calculated by a map function on each node. Reduce function is used to summarize the results to the primary node to obtain candidate outlier data sets. In order to balance the load of each node, the objects in the candidate outlier dataset are renumbered and the computing tasks are assigned equally to each child node. The deviation ratio of each object in candidate outlier dataset is calculated, and the result is summarized to the primary node by Reduce function, and the outlier coefficient of candidate outlier is calculated. Finally, sorting out outliers.
【學位授予單位】：太原科技大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP311.13

【相似文獻】

相關期刊論文 前10條

1 魏藜,宮學慶,錢衛(wèi)寧,周傲英;高維空間中的離群點發(fā)現(xiàn)[J];軟件學報;2002年02期

2 薛安榮;姚林;鞠時光;陳偉鶴;馬漢達;;離群點挖掘方法綜述[J];計算機科學;2008年11期

3 李存華;;l_∞度量意義下的離群點檢測[J];淮海工學院學報(自然科學版);2008年02期

4 李昕;顏學峰;;融合離群點判別的穩(wěn)態(tài)檢測方法及其應用[J];華東理工大學學報(自然科學版);2009年01期

5 封海岳;薛安榮;;基于重疊模塊度的社區(qū)離群點檢測[J];計算機應用與軟件;2013年05期

6 王柏鈞,王力勤;《穩(wěn)健回歸與離群點檢測》介紹[J];成都氣象學院學報;1989年04期

7 黃添強;秦小麟;葉飛躍;;基于方形鄰域的離群點查找新方法[J];控制與決策;2006年05期

8 熊君麗;;高維空間下基于密度的離群點探測算法實現(xiàn)[J];現(xiàn)代電子技術;2006年15期

9 黃添強;秦小麟;王欽敏;;空間離群點的模型與跳躍取樣查找算法[J];中國圖象圖形學報;2006年09期

10 陳光平;葉東毅;;一種改進的離群點檢測方法[J];福州大學學報(自然科學版);2007年03期

相關會議論文 前9條

1 張鋒;常會友;;茫然第三方支持的隱私保持離群點探測協(xié)議[A];第二十四屆中國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2007年

2 連鳳娜;吳錦林;薛永生;;一種改進的基于距離的離群挖掘算法[A];第二十四屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2007年

3 梁雪琴;劉紅生;代秀梅;周亞芬;;聚類離群點挖掘技術在內部審計信息化中的應用——一個來自商業(yè)銀行信用卡審計的實例[A];全國內部審計理論研討優(yōu)秀論文集(2013)[C];2014年

4 于浩;王斌;肖剛;楊曉春;;基于距離的不確定離群點檢測[A];第26屆中國數(shù)據(jù)庫學術會議論文集（A輯）[C];2009年

5 許龍飛;熊君麗;段敏;;基于粗糙集的高維空間離群點發(fā)現(xiàn)算法研究[A];第二十屆全國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2003年

6 劉文遠;李振平;王寶文;裴繼輝;;一種多維數(shù)據(jù)的離群點檢測算法[A];2007年全國第十一屆企業(yè)信息化與工業(yè)工程學術會議論文集[C];2007年

7 魏藜;錢衛(wèi)寧;周傲英;;HOT:尋找高維空間中的離群點[A];第十八屆全國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2001年

8 周紅福;錢衛(wèi)寧;魏藜;周傲英;;EDOLOIS:高效準確的子空間局部離群點發(fā)現(xiàn)[A];第二十屆全國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2003年

9 魏藜;錢衛(wèi)寧;周傲英;;SLOT:基于估計的高效子空間局部離群點發(fā)現(xiàn)[A];第十九屆全國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2002年

相關博士學位論文 前10條

1 劉莘;基于時空分析的CCS泄漏預警關鍵技術研究[D];中國礦業(yè)大學;2016年

2 劉露;異質信息網絡中離群點檢測方法研究[D];吉林大學;2017年

3 楊鵬;離群檢測及其優(yōu)化算法研究[D];重慶大學;2010年

4 林海;離群檢測及離群釋義空間查找算法研究[D];重慶大學;2012年

5 薛安榮;空間離群點挖掘技術的研究[D];江蘇大學;2008年

6 楊茂林;離群檢測算法研究[D];華中科技大學;2012年

7 金義富;高維稀疏離群數(shù)據(jù)集延伸知識發(fā)現(xiàn)研究[D];重慶大學;2007年

8 雷大江;離群檢測與離群釋義算法研究[D];重慶大學;2012年

9 萬家強;基于連通性的離群檢測與聚類研究[D];重慶大學;2014年

10 唐向紅;數(shù)據(jù)流離群點檢測研究[D];華中科技大學;2010年

相關碩士學位論文 前10條

1 韓紅霞;基于距離離群點的分析與研究[D];江蘇大學;2007年

2 黃馨玉;基于鄰域重心變化的離群點檢測算法研究[D];遼寧大學;2015年

3 程百球;基于EP模式的離群點發(fā)現(xiàn)[D];安慶師范學院;2015年

4 歐陽根平;Hadoop云平臺下基于離群點挖掘的入侵檢測技術研究[D];電子科技大學;2015年

5 鄧璇;數(shù)據(jù)流挖掘關鍵技術研究與實現(xiàn)[D];電子科技大學;2015年

6 周瑩瑩;利用離群點檢測改進協(xié)同過濾推薦算法[D];南京郵電大學;2015年

7 陳娟;基于離群特征提取和能量計算的SVM股市預測研究[D];合肥工業(yè)大學;2014年

8 張友強;基于選擇性集成學習的離群點檢測研究[D];青島科技大學;2016年

9 王美晶;基于PSO算法的離群點檢測方法研究[D];福州大學;2013年

10 關皓文;基于離群點檢測方法的醫(yī)保異常發(fā)現(xiàn)[D];山東大學;2016年

，

本文編號：1784056