隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展,大數(shù)據(jù)技術(shù)在各個(gè)領(lǐng)域的應(yīng)用越來(lái)越多,包括通訊數(shù)據(jù)的分析、生產(chǎn)類數(shù)據(jù)對(duì)產(chǎn)品開(kāi)發(fā)的幫助、電子商務(wù)和金融監(jiān)管領(lǐng)域等。與傳統(tǒng)數(shù)據(jù)挖掘相比,當(dāng)今的數(shù)據(jù)流挖掘具有海量性,無(wú)限性,動(dòng)態(tài)性等特點(diǎn)。這使得傳統(tǒng)的挖掘算法已經(jīng)無(wú)法完全適應(yīng)當(dāng)下的數(shù)據(jù)流挖掘應(yīng)用。在大數(shù)據(jù)技術(shù)發(fā)展和大量應(yīng)用的當(dāng)下,從數(shù)據(jù)流中挖掘信息已經(jīng)成為國(guó)內(nèi)外的研究重點(diǎn)。本文的研究?jī)?nèi)容是有關(guān)在征信系統(tǒng)中信用評(píng)估應(yīng)用出現(xiàn)概念漂移時(shí)的應(yīng)對(duì)策略研究,以及應(yīng)對(duì)策略對(duì)整個(gè)系統(tǒng)復(fù)雜度,及其造成影響的研究。具體內(nèi)容包含三個(gè)方面。首先,本文采用了改進(jìn)型的集成算法,以改進(jìn)算法提升模型對(duì)動(dòng)態(tài)數(shù)據(jù)流的適應(yīng)情況,減少概念漂移的不良影響。然后,使用滑動(dòng)窗口策略,基于數(shù)據(jù)概率分布特點(diǎn)劃分?jǐn)?shù)據(jù)段,在不同的維度抑制概念漂移的影響。最后,研究抑制概念漂移時(shí)防止系統(tǒng)出現(xiàn)過(guò)擬合問(wèn)題。具體研究工作如下:第一點(diǎn),本文使用混合類型的集成算法,結(jié)合決策樹(shù)和k近鄰算法,以非同質(zhì)集成的方法降低概念漂移的影響。第二點(diǎn),本文使用滑動(dòng)窗口技術(shù)將數(shù)據(jù)流劃分成大小相同的窗口單元進(jìn)行處理,提升滑動(dòng)窗口的準(zhǔn)確率,使得應(yīng)對(duì)概念漂移的效果更加有效穩(wěn)定。第三點(diǎn),在抑制概念漂移的應(yīng)用系統(tǒng)... 

【文章來(lái)源】：南京郵電大學(xué)江蘇省

【文章頁(yè)數(shù)】：57 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

數(shù)據(jù)流挖掘處理過(guò)程

圖 2.1 概念漂移的分類在發(fā)生概念漂移后直接比較兩個(gè)不同的概念是不可能的，因?yàn)檫@說(shuō)明已經(jīng)確定了不同的概念，并且對(duì)其定義過(guò)了，這是不現(xiàn)實(shí)的行為。這是因?yàn)樵诂F(xiàn)實(shí)的情況下，概念漂移發(fā)時(shí)間和類型甚至是否發(fā)生過(guò)，這都是不能夠確定的[21]。所以，一般會(huì)采取從側(cè)面出擊的來(lái)處理。比如，考慮可能引起的原因，由于環(huán)境或者時(shí)間造成了數(shù)據(jù)流中數(shù)據(jù)特征的分生變化。又或者是概念漂移發(fā)生后引起的后果，比如決策樹(shù)的分枝大量增加或是在有樣照的情況下發(fā)現(xiàn)分類的正確率大幅下滑。這些考慮因素包括分類的錯(cuò)誤率和準(zhǔn)確率，特關(guān)聯(lián)性，時(shí)間變化，概率的分布等。常見(jiàn)的，概念漂移的檢測(cè)被分為三類方法，一般包括示例選擇，示例加權(quán)和集成學(xué)習(xí)方在真正的應(yīng)用當(dāng)中，是不會(huì)特別的使用一種分類方式，而是根據(jù)具體的需要，采用混合式。比如，被廣泛使用的基于示例選擇和集成學(xué)習(xí)模型的混合方式就是常見(jiàn)的一類。傳法是用真實(shí)類標(biāo)簽檢測(cè)概念漂移的發(fā)生，對(duì)于持續(xù)不斷到來(lái)的高速數(shù)據(jù)流，這種方案難現(xiàn)。所以提出了基于少量類標(biāo)簽的概念漂移檢測(cè)方法[22]。 不被任何模型覆蓋的實(shí)例數(shù)要

概念漂移應(yīng)用的領(lǐng)域包括：web 數(shù)據(jù)，亞馬遜等購(gòu)物數(shù)據(jù)，銀行數(shù)據(jù)，天氣預(yù)報(bào)，集群計(jì)算機(jī)負(fù)載平衡處理，信用卡欺詐數(shù)據(jù)，日程提醒，電價(jià)預(yù)測(cè)，垃圾郵件過(guò)濾，電視節(jié)目收看數(shù)據(jù)集，視聽(tīng)說(shuō)話識(shí)別，可穿戴設(shè)備，傳感網(wǎng)數(shù)據(jù)，金融時(shí)間序列，航班延誤，電影標(biāo)注數(shù)據(jù)集等。2.2 集成算法技術(shù)數(shù)據(jù)流挖掘越來(lái)越受到學(xué)術(shù)界和工業(yè)界的重視，這是因?yàn)槠湓诠I(yè)，電信，服務(wù)，交通等行業(yè)的廣泛應(yīng)用，其中集成學(xué)習(xí)作為處理數(shù)據(jù)流的方法中應(yīng)用次數(shù)最多。集成學(xué)習(xí)最大的特點(diǎn)是可以集合多個(gè)學(xué)習(xí)算法，從而構(gòu)造出更好的算法，這對(duì)現(xiàn)在高速且無(wú)限的數(shù)據(jù)流學(xué)習(xí)工作是一個(gè)有建設(shè)性的模型。本章主要介紹了集成學(xué)習(xí)的基本原理，常見(jiàn)應(yīng)用，可能使用到的框架和模型[24]。

【參考文獻(xiàn)】：
期刊論文
[1]GARCH模型與EGARCH模型的深股波動(dòng)率特征分析比較[J]. 王婧伊,解怡萌,陳芳琪.  科技展望. 2015(31)
[2]基于生理振動(dòng)分析的手機(jī)用戶身份識(shí)別[J]. 劉升,蘭少峰.  計(jì)算機(jī)工程與設(shè)計(jì). 2015(06)
[3]小數(shù)據(jù)集條件下基于雙重約束的BN參數(shù)學(xué)習(xí)[J]. 郭志高,高曉光,邸若海.  自動(dòng)化學(xué)報(bào). 2014(07)
[4]一種基于標(biāo)簽相關(guān)性的多標(biāo)簽分類算法[J]. 王霄,周李威,陳耿,朱玉全.  計(jì)算機(jī)應(yīng)用研究. 2014(09)
[5]上市公司內(nèi)部控制信息披露研究——基于2012年滬市數(shù)據(jù)[J]. 陳留平,胡悅.  江蘇大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版). 2013(06)
[6]多標(biāo)簽數(shù)據(jù)挖掘技術(shù):研究綜述[J]. 李思男,李寧,李戰(zhàn)懷.  計(jì)算機(jī)科學(xué). 2013(04)
[7]巖爆等級(jí)預(yù)測(cè)的隨機(jī)森林模型及應(yīng)用(英文)[J]. 董隴軍,李夕兵,彭康.  Transactions of Nonferrous Metals Society of China. 2013(02)
[8]基于EGARCH模型的遠(yuǎn)期開(kāi)始期權(quán)定價(jià)[J]. 王獻(xiàn)東.  合肥工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版). 2012(08)
[9]基于少量類標(biāo)簽的概念漂移檢測(cè)算法[J]. 李南,郭躬德,陳黎飛.  計(jì)算機(jī)應(yīng)用. 2012(08)
[10]多分類器融合算法研究與應(yīng)用[J]. 張欣,梁宗保.  湘潭大學(xué)自然科學(xué)學(xué)報(bào). 2011(02)

博士論文
[1]在線新聞評(píng)論的情感分析研究[D]. 張瑩.南開(kāi)大學(xué) 2013
[2]組稀疏子空間的大間隔特征選擇[D]. 劉波.重慶大學(xué) 2013
[3]海量動(dòng)態(tài)數(shù)據(jù)流分類方法研究[D]. 姚遠(yuǎn).大連理工大學(xué) 2013
[4]數(shù)據(jù)流中概念漂移檢測(cè)與分類方法研究[D]. 李培培.合肥工業(yè)大學(xué) 2012

碩士論文
[1]杭州招商銀行信用卡客戶分類[D]. 余旋.重慶大學(xué) 2016
[2]一種基于矩陣分解的用戶行為數(shù)據(jù)多任務(wù)學(xué)習(xí)模型[D]. 馮麗麗.電子科技大學(xué) 2016
[3]數(shù)據(jù)挖掘技術(shù)在高校教師科研管理中的應(yīng)用研究[D]. 丁磊.大連海事大學(xué) 2016
[4]中文社區(qū)問(wèn)答系統(tǒng)中問(wèn)題檢索技術(shù)研究[D]. 李吉月.北京理工大學(xué) 2016
[5]基于數(shù)據(jù)挖掘的鐵路客運(yùn)客戶關(guān)系管理研究[D]. 任艷娟.蘭州交通大學(xué) 2014
[6]短信自動(dòng)分類技術(shù)研究與應(yīng)用[D]. 李繼剛.東華大學(xué) 2013
[7]基于可變滑動(dòng)窗口的數(shù)據(jù)流閉合頻繁模式挖掘研究[D]. 范玉玲.江蘇科技大學(xué) 2011



本文編號(hào)：2956208