【摘要】：作為大數(shù)據(jù)的重要組成,產(chǎn)生于傳感器、移動電話設備、社交網(wǎng)絡等的不確定流數(shù)據(jù)因其具有流速可變、規(guī)模宏大、單遍掃描及不確定性等特點,傳統(tǒng)聚類算法不能滿足用戶高效實時的查詢要求.首先利用MBR(minimum bounding rectangle)描述不確定元組的分布特性,并提出一種基于期望距離的不確定數(shù)據(jù)流聚類算法,計算期望距離范圍的上下界剪枝距離較遠的簇以減少計算量;其次針對簇內(nèi)元組的分布特征提出了簇MBR的概念,提出一種基于空間位置關(guān)系的聚類算法,根據(jù)不確定元組MBR和簇MBR的空間位置關(guān)系排除距離不確定元組較遠的簇,從而提高聚類算法效率;最后在合成數(shù)據(jù)集和真實數(shù)據(jù)集進行實驗,結(jié)果驗證了所提出算法的有效性和高效性.
[Abstract]:As an important component of big data, uncertain flow data are generated from sensors, mobile phone devices, social networks, etc., because of its variable flow rate, large scale, single pass scan and uncertainty, etc. The traditional clustering algorithm can not meet the requirements of efficient real-time query. Firstly, (minimum bounding rectangle) is used to describe the distribution characteristics of uncertain tuples, and an uncertain data stream clustering algorithm based on expected distance is proposed to calculate the clusters with long pruning distance between the upper and lower bounds of the expected distance to reduce the computational complexity. Secondly, the concept of cluster MBR is proposed according to the distribution characteristics of tuples in clusters, and a clustering algorithm based on spatial location relationship is proposed. According to the spatial location relationship of uncertain tuple MBR and cluster MBR, the cluster far away from uncertain tuple is excluded. In order to improve the efficiency of the clustering algorithm, the experimental results on the synthetic data set and the real data set show that the proposed algorithm is effective and efficient.
【作者單位】： 東北大學計算機科學與工程學院;沈陽理工大學機械工程學院;
【基金】：國家自然科學基金資助項目(61173029;61332006;61672144)
【分類號】：TP311.13

【相似文獻】

相關(guān)期刊論文 前10條

1 崔斌;盧陽;;基于不確定數(shù)據(jù)的查詢處理綜述[J];計算機應用;2008年11期

2 周遜;李建中;石勝飛;;不確定數(shù)據(jù)上兩種查詢的分布式聚集算法[J];計算機研究與發(fā)展;2010年05期

3 徐雪松;;時間序列不確定數(shù)據(jù)流中異常數(shù)據(jù)檢測方法[J];電子設計工程;2011年19期

4 徐雪松;李玲娟;郭立瑋;;基于優(yōu)化策略的不確定數(shù)據(jù)流預測方法[J];計算機工程;2011年21期

5 徐雪松;沈紅紅;陶帆;胡曉璐;崔偉;;基于小波分析的不確定數(shù)據(jù)流異常數(shù)據(jù)檢測[J];軟件導刊;2011年11期

6 錢江波;王志杰;陳華輝;王海斌;;不確定數(shù)據(jù)流自適應并行連接算法及應用[J];電信科學;2012年02期

7 向劍平;喬少杰;胡劍;;基于不確定數(shù)據(jù)理論的道路相關(guān)度度量方法[J];計算機工程與設計;2012年06期

8 曹振麗;孫瑞志;李勐;;面向不確定數(shù)據(jù)的農(nóng)產(chǎn)品追溯方法[J];農(nóng)業(yè)機械學報;2013年07期

9 蔣濤;高云君;張彬;周傲英;樂光學;;不確定數(shù)據(jù)查詢處理[J];電子學報;2013年05期

10 王爽;楊廣明;朱志良;;基于不確定數(shù)據(jù)的頻繁項查詢算法[J];東北大學學報(自然科學版);2011年03期

相關(guān)會議論文 前7條

1 高聰;申德榮;于戈;聶鐵錚;寇月;;一種基于不確定數(shù)據(jù)的挖掘頻繁集方法[A];第二十五屆中國數(shù)據(jù)庫學術(shù)會議論文集（二）[C];2008年

2 周遜;李建中;石勝飛;;不確定數(shù)據(jù)上聚集查詢的分布式處理算法[A];第26屆中國數(shù)據(jù)庫學術(shù)會議論文集（A輯）[C];2009年

3 王曉偉;黃九鳴;賈焰;;分布式不確定數(shù)據(jù)上的概率Skyline計算[A];NDBC2010第27屆中國數(shù)據(jù)庫學術(shù)會議論文集A輯二[C];2010年

4 艾文凱;張剡;柏文陽;;基于用戶偏好的不確定數(shù)據(jù)閾值輪廓查詢算法[A];NDBC2010第27屆中國數(shù)據(jù)庫學術(shù)會議論文集(B輯)[C];2010年

5 陸葉;王麗珍;張曉峰;;從不確定數(shù)據(jù)集中挖掘頻繁Co-location模式[A];第26屆中國數(shù)據(jù)庫學術(shù)會議論文集（A輯）[C];2009年

6 孫永佼;王國仁;;P2P環(huán)境中不確定數(shù)據(jù)Top-k查詢處理算法[A];第26屆中國數(shù)據(jù)庫學術(shù)會議論文集（B輯）[C];2009年

7 張潮;李晨;王勇;張陽;;uPOSC4.5:一種針對不確定數(shù)據(jù)的PU學習決策樹算法[A];NDBC2010第27屆中國數(shù)據(jù)庫學術(shù)會議論文集(B輯)[C];2010年

相關(guān)博士學位論文 前9條

1 陳靜玉;面向不確定數(shù)據(jù)流的聚類和模式挖掘技術(shù)研究[D];西安電子科技大學;2014年

2 馬荔瑤;信任函數(shù)建模的認知不確定性數(shù)據(jù)分析與學習[D];中國科學技術(shù)大學;2016年

3 湯克明;不確定數(shù)據(jù)流中頻繁數(shù)據(jù)挖掘研究[D];南京航空航天大學;2012年

4 梁春泉;不確定數(shù)據(jù)流分類算法研究[D];西北農(nóng)林科技大學;2014年

5 高明;不確定數(shù)據(jù)的世系管理和相似性查詢[D];復旦大學;2011年

6 董俊;不確定數(shù)據(jù)中數(shù)據(jù)挖掘方法的研究[D];燕山大學;2012年

7 孫永佼;P2P環(huán)境下排序查詢處理和分類技術(shù)的研究[D];東北大學;2012年

8 王爽;不確定數(shù)據(jù)流頻繁模式挖掘算法研究[D];東北大學;2013年

9 王曉偉;基于概率數(shù)據(jù)庫的偏好查詢研究[D];國防科學技術(shù)大學;2011年

相關(guān)碩士學位論文 前10條

1 孫鳳姣;概率XML數(shù)據(jù)文檔的分發(fā)技術(shù)研究[D];大連海事大學;2015年

2 李雨明;不確定數(shù)據(jù)的挖掘算法研究[D];上海交通大學;2015年

3 曹慶傲;不確定性數(shù)據(jù)Top-k查詢算法與實現(xiàn)[D];貴州大學;2015年

4 武婷婷;基于MapReduce的不確定查詢處理技術(shù)的研究與實現(xiàn)[D];東北大學;2013年

5 李紅;不確定數(shù)據(jù)流查詢處理算法的研究[D];黑龍江大學;2015年

6 甘果;基于不確定數(shù)據(jù)的范圍查詢算法的研究與實現(xiàn)[D];東北大學;2014年

7 張昕;基于分布式極限學習機的不確定數(shù)據(jù)流分類技術(shù)的研究與實現(xiàn)[D];東北大學;2014年

8 劉斌;基于聚集約束條件的不確定數(shù)據(jù)清洗與Top-k查詢[D];國防科學技術(shù)大學;2013年

9 林佳麗;基于密度的不確定數(shù)據(jù)離群點檢測研究[D];重慶大學;2015年

10 郎泓鈺;面向不確定數(shù)據(jù)的最近鄰分類方法研究[D];遼寧師范大學;2015年

，

本文編號：2118693