【摘要】：在信息通信技術(shù)如此發(fā)達(dá)的今天,氣象監(jiān)控、網(wǎng)絡(luò)安全、電子商務(wù)等眾多應(yīng)用領(lǐng)域都產(chǎn)生了龐大的數(shù)據(jù)流,這些數(shù)據(jù)流中蘊(yùn)含著大量有價(jià)值的信息,而傳統(tǒng)的靜態(tài)數(shù)據(jù)挖掘技術(shù)已無(wú)法適應(yīng)高速、連續(xù)、無(wú)限、多變的數(shù)據(jù)流,研究適合、高效的數(shù)據(jù)流挖掘技術(shù)已成為數(shù)據(jù)挖掘領(lǐng)域的熱點(diǎn)。分類是數(shù)據(jù)挖掘的一個(gè)重要分支,與之對(duì)應(yīng)的數(shù)據(jù)流分類挖掘,更是亟待深入分析并具有現(xiàn)實(shí)意義的研究方向。數(shù)據(jù)流動(dòng)態(tài)多變的特性使得其中隱含的目標(biāo)或規(guī)律可能會(huì)隨著時(shí)間或環(huán)境的改變而變化,即發(fā)生概念漂移。另一方面,在無(wú)線傳感器網(wǎng)絡(luò)、信用卡欺詐檢測(cè)、網(wǎng)絡(luò)監(jiān)控等大量現(xiàn)實(shí)應(yīng)用數(shù)據(jù)流中的數(shù)據(jù)項(xiàng),由于設(shè)備精度、重復(fù)抽樣、數(shù)據(jù)過(guò)時(shí)、隱私等原因,通常具有不同程度的不確定性,并不是已知并精確的。本文主要針對(duì)數(shù)據(jù)流分類中的概念漂移和數(shù)據(jù)不確定性這兩個(gè)問(wèn)題展開(kāi)研究。針對(duì)數(shù)據(jù)流中概念會(huì)重復(fù)出現(xiàn)、歷史概念和當(dāng)前概念存在著一定的聯(lián)系以及概念間的相互轉(zhuǎn)換關(guān)系等特點(diǎn),提出了ECA-RC算法。該算法運(yùn)用集成分類的思想處理數(shù)據(jù)流中的概念漂移,但在學(xué)習(xí)過(guò)程中不會(huì)將暫時(shí)失效的概念及對(duì)應(yīng)基分類器刪除,而是把它們的基本信息存儲(chǔ)起來(lái),方便以后調(diào)用�？紤]到永久存儲(chǔ)全部歷史信息占用的內(nèi)存量較大,采用周期性刪除出現(xiàn)頻率較低的歷史分類信息。另外,可根據(jù)概念間的轉(zhuǎn)換關(guān)系預(yù)測(cè)即將到來(lái)的概念,在提高分類精度的同時(shí)又提高了時(shí)間效率。使用傳統(tǒng)數(shù)據(jù)流分類算法處理數(shù)據(jù)流中存在的不確定數(shù)據(jù)項(xiàng)時(shí),得到的結(jié)果往往不盡如人意。為有效利用數(shù)據(jù)流中的不確定信息,提出了一種針對(duì)不確定數(shù)據(jù)流的集成分類算法ECA-UCD,該算法將不確定數(shù)據(jù)用區(qū)間及其概率分布函數(shù)表示,仍用集成分類思想來(lái)解決分類問(wèn)題,在合理處理數(shù)據(jù)流中不確定性的同時(shí),還能有效解決數(shù)據(jù)流中隱含的概念漂移問(wèn)題。最后通過(guò)實(shí)驗(yàn)結(jié)果驗(yàn)證所提算法具有較好的魯棒性和較高的分類準(zhǔn)確率。
[Abstract]:With the development of information and communication technology, meteorological monitoring, network security, electronic commerce and many other application fields have produced huge data flow, which contains a lot of valuable information. However, the traditional static data mining technology can not adapt to the high-speed, continuous, infinite and changeable data flow. The research on the suitable and efficient data stream mining technology has become a hot spot in the field of data mining. Classification is an important branch of data mining, and the corresponding data stream classification mining is an urgent need for in-depth analysis and practical significance of the research direction. Because of the dynamic characteristics of data flow, the implicit object or law may change with the change of time or environment, that is, the concept drift occurs. On the other hand, in wireless sensor networks, credit card fraud detection, network monitoring, and other practical applications, data items in the data flow, due to equipment accuracy, repeated sampling, outdated data, privacy, and so on, Often with varying degrees of uncertainty, it is not known and accurate. This paper focuses on the conceptual drift and data uncertainty in data stream classification. In view of the reappearance of concepts in data flow, the relationship between historical concepts and current concepts, and the relationship between concepts, a ECA-RC algorithm is proposed. The algorithm uses the idea of integrated classification to deal with the concept drift in the data stream, but does not delete the temporarily invalid concept and the corresponding base classifier in the learning process, but stores their basic information for later call. In view of the large amount of memory consumed by the permanent storage of all historical information, the history classification information with low frequency of periodic deletion is adopted. In addition, the coming concepts can be predicted according to the transformation relationship between concepts, which not only improves the classification accuracy but also improves the time efficiency. When the traditional data stream classification algorithm is used to deal with the uncertain data items in the data flow, the results are often unsatisfactory. In order to effectively utilize the uncertain information in the data stream, an ensemble classification algorithm (ECA-UCD,) for uncertain data flow is proposed. The algorithm uses the interval and its probability distribution function to represent the uncertain data. The idea of integrated classification is still used to solve the classification problem, which can deal with the uncertainty in the data flow reasonably and effectively solve the problem of the concept drift in the data stream at the same time. Finally, the experimental results show that the proposed algorithm has better robustness and higher classification accuracy.
【學(xué)位授予單位】：天津工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 侯太平,顧大權(quán),王柏春,朱紅偉;遠(yuǎn)程天氣會(huì)商系統(tǒng)中的數(shù)據(jù)流處理[J];計(jì)算機(jī)工程;2003年03期

2 陳昕,宋瀚濤;基于數(shù)據(jù)流的近似查詢計(jì)算及其應(yīng)用研究[J];計(jì)算機(jī)應(yīng)用研究;2003年11期

3 陳昕,陳維興,蘇錦祥;基于數(shù)據(jù)流模式的聚集快速查詢計(jì)算研究[J];計(jì)算機(jī)集成制造系統(tǒng);2004年06期

4 張冬冬,李建中,王偉平,郭龍江;分布式復(fù)式數(shù)據(jù)流的處理[J];計(jì)算機(jī)研究與發(fā)展;2004年10期

5 王金棟;周良;張磊;丁秋林;;一類數(shù)據(jù)流連續(xù)查詢的降載策略研究[J];武漢大學(xué)學(xué)報(bào)(工學(xué)版);2005年06期

6 劉景春;;數(shù)據(jù)流分類關(guān)鍵技術(shù)研究[J];佳木斯大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年01期

7 李琳;孫士兵;;數(shù)據(jù)流聚類方法發(fā)展研究[J];長(zhǎng)沙民政職業(yè)技術(shù)學(xué)院學(xué)報(bào);2008年04期

8 陳軍;周明天;楊曉燕;;數(shù)據(jù)流系統(tǒng)降載研究綜述[J];計(jì)算機(jī)應(yīng)用研究;2008年10期

9 傅鸝;魯先志;蔡斌;;一種基于數(shù)據(jù)流驅(qū)動(dòng)的數(shù)據(jù)流連續(xù)查詢模型[J];重慶工學(xué)院學(xué)報(bào)(自然科學(xué)版);2008年10期

10 David P.Misunas ,張啟瑞;數(shù)據(jù)流處理機(jī)的性能分析[J];計(jì)算機(jī)工程與應(yīng)用;1980年12期

相關(guān)會(huì)議論文 前10條

1 張冬冬;李建中;王偉平;郭龍江;;分布式復(fù)式數(shù)據(jù)流的處理[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2004年

2 楚紅濤;寒楓;張燕;王婷;;基于數(shù)據(jù)流的挖掘研究[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展·2007——全國(guó)第18屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集[C];2007年

3 尹婷;李紅燕;;窗口模型下數(shù)據(jù)流查詢流水化執(zhí)行的研究[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

4 孟軍;張航黎;張建英;郭禾;;分布式數(shù)據(jù)流的漸增式聚集維護(hù)算法[A];2006年全國(guó)開(kāi)放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集（二）[C];2006年

5 韓近強(qiáng);楊冬青;唐世渭;;數(shù)據(jù)流處理中一種自適應(yīng)的直方圖維護(hù)算法[A];第二十屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2003年

6 蔡致遠(yuǎn);熊方;錢衛(wèi)寧;周傲英;;核合并分析及其在數(shù)據(jù)流密度估計(jì)上的應(yīng)用[A];第二十屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2003年

7 王亦兵;楊樹(shù)強(qiáng);王曉偉;;一個(gè)面向數(shù)據(jù)流的多維分析系統(tǒng)的研究與實(shí)現(xiàn)[A];全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集（第二十四卷）[C];2009年

8 于亞新;王國(guó)仁;陳燦;蘇林;朱歆華;趙相國(guó);;基于操作符優(yōu)先級(jí)的兩種分布式數(shù)據(jù)流負(fù)載分配算法研究[A];第二十四屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2007年

9 周銳;肖川;王國(guó)仁;韓東紅;霍歡;;數(shù)據(jù)流滑動(dòng)窗口連接上的卸載技術(shù)的研究[A];第二十三屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2006年

10 田李;王樂(lè);賈焰;鄒鵬;李愛(ài)平;;分布式數(shù)據(jù)流上低通信開(kāi)銷的連續(xù)極值查詢方法研究[A];第二十四屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2007年

相關(guān)博士學(xué)位論文 前10條

1 張麗;數(shù)據(jù)流上序敏感查詢處理關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2013年

2 王超;時(shí)間序列數(shù)據(jù)流復(fù)雜模式挖掘研究[D];合肥工業(yè)大學(xué);2015年

3 李颯;數(shù)據(jù)流軟聚類理論及其在瓦斯災(zāi)害預(yù)警中的應(yīng)用[D];遼寧工程技術(shù)大學(xué);2014年

4 陳華輝;基于遺忘特性的數(shù)據(jù)流概要結(jié)構(gòu)及其應(yīng)用研究[D];復(fù)旦大學(xué);2008年

5 孔英會(huì);數(shù)據(jù)流技術(shù)及其在電力信息處理中的應(yīng)用研究[D];華北電力大學(xué)（河北）;2009年

6 崇志宏;基于屏蔽/匯總技術(shù)的數(shù)據(jù)流處理算法[D];復(fù)旦大學(xué);2006年

7 姚遠(yuǎn);海量動(dòng)態(tài)數(shù)據(jù)流分類方法研究[D];大連理工大學(xué);2013年

8 曹振麗;面向養(yǎng)殖環(huán)境監(jiān)測(cè)的數(shù)據(jù)流處理方法研究[D];中國(guó)農(nóng)業(yè)大學(xué);2015年

9 朱輝生;基于情節(jié)規(guī)則匹配的數(shù)據(jù)流預(yù)測(cè)研究[D];復(fù)旦大學(xué);2011年

10 袁志堅(jiān);數(shù)據(jù)流突發(fā)檢測(cè)若干關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 王川;面向位置服務(wù)的物聯(lián)網(wǎng)數(shù)據(jù)質(zhì)量保證方法研究[D];南京理工大學(xué);2015年

2 祝然威;基于時(shí)間窗口的數(shù)據(jù)流頻繁項(xiàng)挖掘算法[D];復(fù)旦大學(xué);2014年

3 邱孝兵;基于GPU的數(shù)據(jù)流聚類及相關(guān)性分析[D];大連理工大學(xué);2015年

4 張野;數(shù)據(jù)流查詢語(yǔ)言中語(yǔ)法分析器的設(shè)計(jì)[D];電子科技大學(xué);2015年

5 閆新院;基于概要模型的數(shù)據(jù)流聚合技術(shù)研究[D];西安電子科技大學(xué);2014年

6 王濤;基于Ntrip協(xié)議的實(shí)時(shí)數(shù)據(jù)流軟件的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

7 陳彬;數(shù)據(jù)流實(shí)時(shí)存儲(chǔ)關(guān)鍵技術(shù)[D];浙江工業(yè)大學(xué);2015年

8 王高洋;基于網(wǎng)格和加速粒子群優(yōu)化的數(shù)據(jù)流聚類算法研究[D];哈爾濱師范大學(xué);2015年

9 錢海振;大數(shù)據(jù)流滯后相關(guān)性挖掘方法[D];遼寧師范大學(xué);2015年

10 劉祥佳;制造物聯(lián)海量數(shù)據(jù)流模式挖掘算法研究[D];廣東工業(yè)大學(xué);2016年

，

本文編號(hào)：2372904