【摘要】：作為大數(shù)據(jù)的重要組成,產(chǎn)生于傳感器、移動(dòng)電話設(shè)備、社交網(wǎng)絡(luò)等的不確定流數(shù)據(jù)因其具有流速可變、規(guī)模宏大、單遍掃描及不確定性等特點(diǎn),傳統(tǒng)聚類算法不能滿足用戶高效實(shí)時(shí)的查詢要求.首先利用MBR(minimum bounding rectangle)描述不確定元組的分布特性,并提出一種基于期望距離的不確定數(shù)據(jù)流聚類算法,計(jì)算期望距離范圍的上下界剪枝距離較遠(yuǎn)的簇以減少計(jì)算量;其次針對(duì)簇內(nèi)元組的分布特征提出了簇MBR的概念,提出一種基于空間位置關(guān)系的聚類算法,根據(jù)不確定元組MBR和簇MBR的空間位置關(guān)系排除距離不確定元組較遠(yuǎn)的簇,從而提高聚類算法效率;最后在合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),結(jié)果驗(yàn)證了所提出算法的有效性和高效性.
[Abstract]:As an important component of big data, uncertain flow data are generated from sensors, mobile phone devices, social networks, etc., because of its variable flow rate, large scale, single pass scan and uncertainty, etc. The traditional clustering algorithm can not meet the requirements of efficient real-time query. Firstly, (minimum bounding rectangle) is used to describe the distribution characteristics of uncertain tuples, and an uncertain data stream clustering algorithm based on expected distance is proposed to calculate the clusters with long pruning distance between the upper and lower bounds of the expected distance to reduce the computational complexity. Secondly, the concept of cluster MBR is proposed according to the distribution characteristics of tuples in clusters, and a clustering algorithm based on spatial location relationship is proposed. According to the spatial location relationship of uncertain tuple MBR and cluster MBR, the cluster far away from uncertain tuple is excluded. In order to improve the efficiency of the clustering algorithm, the experimental results on the synthetic data set and the real data set show that the proposed algorithm is effective and efficient.
【作者單位】： 東北大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院;沈陽理工大學(xué)機(jī)械工程學(xué)院;
【基金】：國(guó)家自然科學(xué)基金資助項(xiàng)目(61173029;61332006;61672144)
【分類號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 崔斌;盧陽;;基于不確定數(shù)據(jù)的查詢處理綜述[J];計(jì)算機(jī)應(yīng)用;2008年11期

2 周遜;李建中;石勝飛;;不確定數(shù)據(jù)上兩種查詢的分布式聚集算法[J];計(jì)算機(jī)研究與發(fā)展;2010年05期

3 徐雪松;;時(shí)間序列不確定數(shù)據(jù)流中異常數(shù)據(jù)檢測(cè)方法[J];電子設(shè)計(jì)工程;2011年19期

4 徐雪松;李玲娟;郭立瑋;;基于優(yōu)化策略的不確定數(shù)據(jù)流預(yù)測(cè)方法[J];計(jì)算機(jī)工程;2011年21期

5 徐雪松;沈紅紅;陶帆;胡曉璐;崔偉;;基于小波分析的不確定數(shù)據(jù)流異常數(shù)據(jù)檢測(cè)[J];軟件導(dǎo)刊;2011年11期

6 錢江波;王志杰;陳華輝;王海斌;;不確定數(shù)據(jù)流自適應(yīng)并行連接算法及應(yīng)用[J];電信科學(xué);2012年02期

7 向劍平;喬少杰;胡劍;;基于不確定數(shù)據(jù)理論的道路相關(guān)度度量方法[J];計(jì)算機(jī)工程與設(shè)計(jì);2012年06期

8 曹振麗;孫瑞志;李勐;;面向不確定數(shù)據(jù)的農(nóng)產(chǎn)品追溯方法[J];農(nóng)業(yè)機(jī)械學(xué)報(bào);2013年07期

9 蔣濤;高云君;張彬;周傲英;樂光學(xué);;不確定數(shù)據(jù)查詢處理[J];電子學(xué)報(bào);2013年05期

10 王爽;楊廣明;朱志良;;基于不確定數(shù)據(jù)的頻繁項(xiàng)查詢算法[J];東北大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年03期

相關(guān)會(huì)議論文 前7條

1 高聰;申德榮;于戈;聶鐵錚;寇月;;一種基于不確定數(shù)據(jù)的挖掘頻繁集方法[A];第二十五屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（二）[C];2008年

2 周遜;李建中;石勝飛;;不確定數(shù)據(jù)上聚集查詢的分布式處理算法[A];第26屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（A輯）[C];2009年

3 王曉偉;黃九鳴;賈焰;;分布式不確定數(shù)據(jù)上的概率Skyline計(jì)算[A];NDBC2010第27屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集A輯二[C];2010年

4 艾文凱;張剡;柏文陽;;基于用戶偏好的不確定數(shù)據(jù)閾值輪廓查詢算法[A];NDBC2010第27屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集(B輯)[C];2010年

5 陸葉;王麗珍;張曉峰;;從不確定數(shù)據(jù)集中挖掘頻繁Co-location模式[A];第26屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（A輯）[C];2009年

6 孫永佼;王國(guó)仁;;P2P環(huán)境中不確定數(shù)據(jù)Top-k查詢處理算法[A];第26屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（B輯）[C];2009年

7 張潮;李晨;王勇;張陽;;uPOSC4.5:一種針對(duì)不確定數(shù)據(jù)的PU學(xué)習(xí)決策樹算法[A];NDBC2010第27屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集(B輯)[C];2010年

相關(guān)博士學(xué)位論文 前9條

1 陳靜玉;面向不確定數(shù)據(jù)流的聚類和模式挖掘技術(shù)研究[D];西安電子科技大學(xué);2014年

2 馬荔瑤;信任函數(shù)建模的認(rèn)知不確定性數(shù)據(jù)分析與學(xué)習(xí)[D];中國(guó)科學(xué)技術(shù)大學(xué);2016年

3 湯克明;不確定數(shù)據(jù)流中頻繁數(shù)據(jù)挖掘研究[D];南京航空航天大學(xué);2012年

4 梁春泉;不確定數(shù)據(jù)流分類算法研究[D];西北農(nóng)林科技大學(xué);2014年

5 高明;不確定數(shù)據(jù)的世系管理和相似性查詢[D];復(fù)旦大學(xué);2011年

6 董俊;不確定數(shù)據(jù)中數(shù)據(jù)挖掘方法的研究[D];燕山大學(xué);2012年

7 孫永佼;P2P環(huán)境下排序查詢處理和分類技術(shù)的研究[D];東北大學(xué);2012年

8 王爽;不確定數(shù)據(jù)流頻繁模式挖掘算法研究[D];東北大學(xué);2013年

9 王曉偉;基于概率數(shù)據(jù)庫(kù)的偏好查詢研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 孫鳳姣;概率XML數(shù)據(jù)文檔的分發(fā)技術(shù)研究[D];大連海事大學(xué);2015年

2 李雨明;不確定數(shù)據(jù)的挖掘算法研究[D];上海交通大學(xué);2015年

3 曹慶傲;不確定性數(shù)據(jù)Top-k查詢算法與實(shí)現(xiàn)[D];貴州大學(xué);2015年

4 武婷婷;基于MapReduce的不確定查詢處理技術(shù)的研究與實(shí)現(xiàn)[D];東北大學(xué);2013年

5 李紅;不確定數(shù)據(jù)流查詢處理算法的研究[D];黑龍江大學(xué);2015年

6 甘果;基于不確定數(shù)據(jù)的范圍查詢算法的研究與實(shí)現(xiàn)[D];東北大學(xué);2014年

7 張昕;基于分布式極限學(xué)習(xí)機(jī)的不確定數(shù)據(jù)流分類技術(shù)的研究與實(shí)現(xiàn)[D];東北大學(xué);2014年

8 劉斌;基于聚集約束條件的不確定數(shù)據(jù)清洗與Top-k查詢[D];國(guó)防科學(xué)技術(shù)大學(xué);2013年

9 林佳麗;基于密度的不確定數(shù)據(jù)離群點(diǎn)檢測(cè)研究[D];重慶大學(xué);2015年

10 郎泓鈺;面向不確定數(shù)據(jù)的最近鄰分類方法研究[D];遼寧師范大學(xué);2015年

，

本文編號(hào)：2118693