本文關(guān)鍵詞：大數(shù)據(jù)分類挖掘算法及其概念漂移應(yīng)用研究

  更多相關(guān)文章： 大數(shù)據(jù) 數(shù)據(jù)挖掘 分類算法 概念漂移

【摘要】：隨著大數(shù)據(jù)應(yīng)用研究的不斷深入和分布式機器學(xué)習(xí)中流計算框架的涌現(xiàn),針對數(shù)據(jù)流中概念漂移問題的研究是面向大數(shù)據(jù)挖掘領(lǐng)域的研究熱點之一�，F(xiàn)有的針對概念漂移的研究成果主要還是依賴于數(shù)據(jù)結(jié)構(gòu)和算法優(yōu)化,通過計算資源有限的獨立計算機完成概念漂移的檢測。為此,提出一種面向大數(shù)據(jù)的基于Storm的抵抗概念漂移的分類挖掘算法S-CVFDT(Storm-concept very fast decision tree)及系統(tǒng)。該系統(tǒng)采用并行化窗口和S-CVFDT算法,利用并行化窗口機制檢測數(shù)據(jù)流中的突變型概念漂移,從而自適應(yīng)地改變并行窗口大小,并通過S-CVFDT算法不斷更新漸進性概念漂移時的模型。分析與實驗結(jié)果表明,該算法可以快速有效地檢測到突變型概念漂移,降低系統(tǒng)因為突變型概念漂移造成的資源浪費,且模型建立效率、分類精度得到提高。
【作者單位】： 南京信息職業(yè)技術(shù)學(xué)院計算機與軟件學(xué)院;南京郵電大學(xué)計算機學(xué)院;
【基金】：江蘇省自然科學(xué)基金青年基金No.BK20130876 南京信息職業(yè)技術(shù)學(xué)院科研基金No.YK20140402~~
【分類號】：TP311.13
【正文快照】： 1引言 隨著物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、云計算等技術(shù)不斷融入人們的生活,以及現(xiàn)有的計算能力、存儲空間、網(wǎng)絡(luò)帶寬的高速發(fā)展,人類積累的數(shù)據(jù)在互聯(lián)網(wǎng)、通信、金融、商業(yè)、醫(yī)療等諸多領(lǐng)域不斷地增長和累積[1]。互聯(lián)網(wǎng)搜索引擎支持的數(shù)十億次Web搜索每天處理數(shù)萬TB數(shù)據(jù)。全球主干通信

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 香麗蕓;淺談數(shù)據(jù)挖掘及其應(yīng)用[J];昌吉師專學(xué)報;2001年02期

2 鄭雪燕,張杰明,岳洋;數(shù)據(jù)挖掘語言[J];計算機時代;2001年11期

3 劉明晶;數(shù)據(jù)挖掘[J];華南金融電腦;2001年04期

4 張偉;劉勇國;彭軍;廖曉峰;吳中福;;數(shù)據(jù)挖掘發(fā)展研究[J];計算機科學(xué);2001年07期

5 鐘曉;馬少平;張鈸;俞瑞釗;;數(shù)據(jù)挖掘綜述[J];模式識別與人工智能;2001年01期

6 朱建平,張潤楚;數(shù)據(jù)挖掘的發(fā)展及其特點[J];統(tǒng)計與決策;2002年07期

7 傅嵐;在數(shù)據(jù)海洋中打撈信息數(shù)據(jù)挖掘[J];科技廣場;2002年11期

8 李峻;數(shù)據(jù)挖掘,企業(yè)洞察先機的“慧眼”[J];中國計算機用戶;2002年48期

9 羅可,蔡碧野,卜勝賢,謝中科;數(shù)據(jù)挖掘及其發(fā)展研究[J];計算機工程與應(yīng)用;2002年14期

10 ;2002數(shù)據(jù)挖掘研討班[J];計算機工程;2002年06期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 史東輝;蔡慶生;張春陽;;一種新的數(shù)據(jù)挖掘多策略方法研究[A];第十七屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2000年

2 張弦;;數(shù)據(jù)挖掘在農(nóng)業(yè)中的應(yīng)用[A];紀念中國農(nóng)業(yè)工程學(xué)會成立30周年暨中國農(nóng)業(yè)工程學(xué)會2009年學(xué)術(shù)年會（CSAE 2009）論文集[C];2009年

3 魏順平;;教育數(shù)據(jù)挖掘:現(xiàn)狀與趨勢[A];信息化、工業(yè)化融合與服務(wù)創(chuàng)新——第十三屆計算機模擬與信息技術(shù)學(xué)術(shù)會議論文集[C];2011年

4 關(guān)清平;沉培輝;;概率網(wǎng)絡(luò)在數(shù)據(jù)挖掘上的應(yīng)用[A];科技、工程與經(jīng)濟社會協(xié)調(diào)發(fā)展——中國科協(xié)第五屆青年學(xué)術(shù)年會論文集[C];2004年

5 丁瑾;;基于Web數(shù)據(jù)挖掘的綜述[A];山西省科學(xué)技術(shù)情報學(xué)會學(xué)術(shù)年會論文集[C];2004年

6 聶茹;田森平;;Web數(shù)據(jù)挖掘及其在電子商務(wù)中的應(yīng)用[A];中南六省（區(qū)）自動化學(xué)會第24屆學(xué)術(shù)年會會議論文集[C];2006年

7 李菊;王軍;;數(shù)據(jù)挖掘在客戶關(guān)系管理的應(yīng)用[A];計算機技術(shù)與應(yīng)用進展·2007——全國第18屆計算機技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會議論文集[C];2007年

8 肖陽;李啟賢;;數(shù)據(jù)挖掘在中國鋼鐵行業(yè)中的應(yīng)用[A];中國計量協(xié)會冶金分會2012年會暨能源計量與節(jié)能降耗經(jīng)驗交流會論文集[C];2012年

9 楊磊;王貴成;汪勇;張占勝;;SQL Server 2005在數(shù)據(jù)挖掘中的應(yīng)用[A];2009年中國智能自動化會議論文集（第二分冊）[C];2009年

10 謝中;邱玉輝;;面向商務(wù)網(wǎng)站有效性的數(shù)據(jù)挖掘方法[A];第十八屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2001年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 本報記者褚寧;數(shù)據(jù)挖掘如“挖金”[N];解放日報;2002年

2 周蓉蓉;數(shù)據(jù)挖掘需要點想像力[N];計算機世界;2004年

3 □中國電信股份有限公司北京研究院 張舒博 □北京郵電大學(xué)計算機科學(xué)與技術(shù)學(xué)院 牛琨;走出數(shù)據(jù)挖掘的誤區(qū)[N];人民郵電;2006年

4 《網(wǎng)絡(luò)世界》記者 王瑩;數(shù)據(jù)挖掘保險業(yè)的新藍海[N];網(wǎng)絡(luò)世界;2012年

5 劉俊麗;基于地理化的網(wǎng)絡(luò)數(shù)據(jù)挖掘與分析提升投資有效性[N];人民郵電;2014年

6 本報記者 連曉東;數(shù)據(jù)挖掘：金融信息化新熱點[N];中國電子報;2002年

7 本報記者 鳳小華 朱仁康;“數(shù)字挖掘軟件”引領(lǐng)中國信息化新浪潮[N];中國電子報;2003年

8 本報記者　史延廷;“成功企業(yè)數(shù)據(jù)挖掘暨數(shù)量化管理論壇”在京舉辦[N];中國旅游報;2002年

9 朱小寧;數(shù)據(jù)挖掘：信息化戰(zhàn)爭的基礎(chǔ)工程[N];解放軍報;2005年

10 本報記者 王小平;從“大集中”走向數(shù)據(jù)挖掘[N];金融時報;2002年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 于自強;海量流數(shù)據(jù)挖掘相關(guān)問題研究[D];山東大學(xué);2015年

2 張馨;全基因組SNP芯片應(yīng)用于CNV和L0H分析的軟件比對與數(shù)據(jù)挖掘[D];復(fù)旦大學(xué);2011年

3 彭計紅;基于數(shù)據(jù)挖掘的癡呆中醫(yī)證的研究[D];南京中醫(yī)藥大學(xué);2015年

4 李秋虹;基于MapReduce的大規(guī)模數(shù)據(jù)挖掘技術(shù)研究[D];復(fù)旦大學(xué);2013年

5 鄔文帥;基于多目標決策的數(shù)據(jù)挖掘方法評估與應(yīng)用[D];電子科技大學(xué);2015年

6 謝邦彥;整合數(shù)據(jù)挖掘與TRIZ理論的質(zhì)量管理方法研究[D];首都經(jīng)濟貿(mào)易大學(xué);2010年

7 何偉全;云南高校學(xué)生意外傷害因素關(guān)聯(lián)規(guī)則挖掘及風(fēng)險管控體系研究[D];昆明理工大學(xué);2015年

8 李榮;生物信息數(shù)據(jù)挖掘若干關(guān)鍵問題研究與應(yīng)用[D];復(fù)旦大學(xué);2004年

9 李玉華;面向服務(wù)的數(shù)據(jù)挖掘關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2006年

10 吳少智;時間序列數(shù)據(jù)挖掘在生物醫(yī)學(xué)中的應(yīng)用研究[D];電子科技大學(xué);2010年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 林仁紅;基于數(shù)據(jù)挖掘的機遇識別與評價研究[D];首都經(jīng)濟貿(mào)易大學(xué);2007年

2 張彥俊;游戲運營中的數(shù)據(jù)挖掘[D];復(fù)旦大學(xué);2011年

3 焦亞召;基于多核函數(shù)FCM算法在數(shù)據(jù)挖掘聚類中的應(yīng)用研究[D];昆明理工大學(xué);2015年

4 王杰鋒;物聯(lián)網(wǎng)能耗數(shù)據(jù)智能分析及其應(yīng)用平臺設(shè)計[D];江南大學(xué);2015年

5 劉學(xué)建;數(shù)據(jù)挖掘在電子商務(wù)推薦系統(tǒng)中的應(yīng)用研究[D];昆明理工大學(xué);2015年

6 戴陽陽;基于數(shù)據(jù)挖掘的金融時間序列預(yù)測研究與應(yīng)用[D];江南大學(xué);2015年

7 石思優(yōu);基于主題模型的醫(yī)療數(shù)據(jù)挖掘研究[D];廣東技術(shù)師范學(xué)院;2015年

8 陳丹;移動互聯(lián)網(wǎng)信令挖掘?qū)崿F(xiàn)智慧營銷的設(shè)計與實現(xiàn)應(yīng)用研究[D];華南理工大學(xué);2015年

9 陳思;基于數(shù)據(jù)挖掘的大學(xué)生客戶識別模型的研究[D];昆明理工大學(xué);2015年

10 位長帥;基于客戶數(shù)據(jù)挖掘的電信客戶關(guān)系管理研究[D];西南交通大學(xué);2015年

，

本文編號：1253541