本文關(guān)鍵詞：基于Hadoop架構(gòu)的數(shù)據(jù)驅(qū)動(dòng)的SVM并行增量學(xué)習(xí)算法，由筆耕文化傳播整理發(fā)布。

【摘要】：針對(duì)傳統(tǒng)支持向量機(jī)(SVM)算法難以處理大規(guī)模訓(xùn)練數(shù)據(jù)的困境,提出一種基于Hadoop的數(shù)據(jù)驅(qū)動(dòng)的并行增量Adaboost-SVM算法(PIASVM)。利用集成學(xué)習(xí)策略,局部分類器處理一個(gè)分區(qū)的數(shù)據(jù),融合其分類結(jié)果得到組合分類器;增量學(xué)習(xí)中用權(quán)值刻畫樣本的空間分布特性,對(duì)樣本進(jìn)行迭代加權(quán),利用遺忘因子實(shí)現(xiàn)新增樣本的選擇及歷史樣本的淘汰;采用基于HBase的控制器組件用以調(diào)度迭代過程,持久化中間結(jié)果并減小MapReduce原有框架迭代過程中的帶寬壓力。多組實(shí)驗(yàn)結(jié)果表明,所提算法具有優(yōu)良的加速比、擴(kuò)展率和數(shù)據(jù)伸縮度,在保證分類精度的基礎(chǔ)上提高了SVM算法對(duì)大規(guī)模數(shù)據(jù)的處理能力。
【作者單位】： 天津大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;天津市認(rèn)知計(jì)算與應(yīng)用重點(diǎn)實(shí)驗(yàn)室(天津大學(xué));
【關(guān)鍵詞】： Hadoop HBase 支持向量機(jī) 增量學(xué)習(xí) 集成學(xué)習(xí) 遺忘因子 控制器組件
【基金】：國(guó)家自然科學(xué)基金資助項(xiàng)目(61170177) 國(guó)家863計(jì)劃重點(diǎn)項(xiàng)目(2015AA020101) 國(guó)家973計(jì)劃項(xiàng)目(2013CB32930X)~~
【分類號(hào)】：TP181
【正文快照】： 0引言我們正處于大數(shù)據(jù)時(shí)代,數(shù)據(jù)的增長(zhǎng)速率已經(jīng)遠(yuǎn)遠(yuǎn)超出了單機(jī)計(jì)算能力的提升速率。如何提高分類算法處理海量數(shù)據(jù)的能力是一個(gè)亟待解決的問題。在分類算法領(lǐng)域,支持向量機(jī)(Support Vector Machine,SVM)算法以其較好的健壯性和穩(wěn)定性一直是主流的分類算法,SVM基于統(tǒng)計(jì)學(xué)習(xí)理

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 秦玉平;王秀坤;王春立;;實(shí)現(xiàn)兼類樣本類增量學(xué)習(xí)的一種算法[J];控制與決策;2009年01期

2 秦玉平;王秀坤;王春立;;實(shí)現(xiàn)兼類樣本增量學(xué)習(xí)的一種算法[J];計(jì)算機(jī)應(yīng)用與軟件;2009年08期

3 秦玉平;陳一荻;王春立;王秀坤;;一種新的類增量學(xué)習(xí)方法[J];計(jì)算機(jī)工程與應(yīng)用;2011年34期

4 時(shí)建中;程龍生;;基于增量學(xué)習(xí)系統(tǒng)的財(cái)務(wù)危機(jī)動(dòng)態(tài)預(yù)警[J];技術(shù)經(jīng)濟(jì);2012年05期

5 王洪波;趙光宙;齊冬蓮;盧達(dá);;一類支持向量機(jī)的快速增量學(xué)習(xí)方法[J];浙江大學(xué)學(xué)報(bào)(工學(xué)版);2012年07期

6 秦玉平;倫淑嫻;王秀坤;;一種新的兼類樣本類增量學(xué)習(xí)算法[J];計(jì)算機(jī)科學(xué);2012年09期

7 姜卯生,王浩,姚宏亮;樸素貝葉斯分類器增量學(xué)習(xí)序列算法研究[J];計(jì)算機(jī)工程與應(yīng)用;2004年14期

8 劉梅,權(quán)太范,姚天賓;基于增量學(xué)習(xí)神經(jīng)模糊網(wǎng)絡(luò)的機(jī)動(dòng)目標(biāo)跟蹤[J];電子學(xué)報(bào);2005年11期

9 李祥納;艾青;秦玉平;劉衛(wèi)江;;支持向量機(jī)增量學(xué)習(xí)算法綜述[J];渤海大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年02期

10 曹杰;劉志鏡;;基于支持向量機(jī)的增量學(xué)習(xí)算法[J];計(jì)算機(jī)應(yīng)用研究;2007年08期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前8條

1 秦亮;唐靜;史賢俊;肖支才;;一種改進(jìn)的支持向量機(jī)增量學(xué)習(xí)算法[A];2011年中國(guó)智能自動(dòng)化學(xué)術(shù)會(huì)議論文集（第一分冊(cè)）[C];2011年

2 羅長(zhǎng)升;段建國(guó);許洪波;郭莉;;基于拉推策略的文本分類增量學(xué)習(xí)研究[A];第三屆全國(guó)信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議論文集[C];2007年

3 張慶彬;吳惕華;劉波;;一種改進(jìn)的基于群體的增量學(xué)習(xí)算法[A];第二十六屆中國(guó)控制會(huì)議論文集[C];2007年

4 張健沛;李忠偉;楊靜;;一種基于多支持向量機(jī)的并行增量學(xué)習(xí)方法(英文)[A];第二十二屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2005年

5 王悅凱;吳曉峰;翁巨揚(yáng);;Where-What網(wǎng)絡(luò)增量學(xué)習(xí)特性探究[A];第一屆全國(guó)神經(jīng)動(dòng)力學(xué)學(xué)術(shù)會(huì)議程序手冊(cè) & 論文摘要集[C];2012年

6 趙瑩;萬福永;;支持向量機(jī)的增量學(xué)習(xí)算法及其在多類分類問題中的應(yīng)用[A];第25屆中國(guó)控制會(huì)議論文集（下冊(cè)）[C];2006年

7 劉欣;章勇;王娟;;增量學(xué)習(xí)的TFIDF_NB協(xié)同訓(xùn)練分類算法[A];中國(guó)電子學(xué)會(huì)第十六屆信息論學(xué)術(shù)年會(huì)論文集[C];2009年

8 宮義山;錢娜;;貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)在線學(xué)習(xí)算法及應(yīng)用[A];科學(xué)發(fā)展與社會(huì)責(zé)任（A卷）——第五屆沈陽(yáng)科學(xué)學(xué)術(shù)年會(huì)文集[C];2008年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前3條

1 李敬;增量學(xué)習(xí)及其在圖像識(shí)別中的應(yīng)用[D];上海交通大學(xué);2008年

2 段華;支持向量機(jī)的增量學(xué)習(xí)算法研究[D];上海交通大學(xué);2008年

3 趙強(qiáng)利;基于選擇性集成的在線機(jī)器學(xué)習(xí)關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2010年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 郝運(yùn)河;基于增量學(xué)習(xí)的復(fù)雜環(huán)境下道路識(shí)別算法研究[D];南京理工大學(xué);2015年

2 李丹;基于馬氏超橢球?qū)W習(xí)機(jī)的增量學(xué)習(xí)算法研究[D];渤海大學(xué);2015年

3 趙翠翠;基于RBF神經(jīng)網(wǎng)絡(luò)的集成增量學(xué)習(xí)方法研究[D];河北工業(yè)大學(xué);2015年

4 杜玲;覆蓋算法的增量學(xué)習(xí)研究[D];安徽大學(xué);2010年

5 張智敏;基于增量學(xué)習(xí)的分類算法研究[D];華南理工大學(xué);2010年

6 李杰;數(shù)據(jù)復(fù)雜度的增量學(xué)習(xí)方法研究[D];廣東工業(yè)大學(xué);2015年

7 王媛;支持向量機(jī)增量學(xué)習(xí)算法及其在入侵檢測(cè)中的應(yīng)用研究[D];吉林大學(xué);2008年

8 張燦淋;基于支持向量機(jī)的半監(jiān)督式增量學(xué)習(xí)研究[D];浙江工業(yè)大學(xué);2014年

9 吳慧;新的支持向量機(jī)增量學(xué)習(xí)算法[D];西安電子科技大學(xué);2009年

10 李昕;基于文本分類的增量學(xué)習(xí)算法研究[D];中國(guó)地質(zhì)大學(xué)（北京）;2013年

  本文關(guān)鍵詞：基于Hadoop架構(gòu)的數(shù)據(jù)驅(qū)動(dòng)的SVM并行增量學(xué)習(xí)算法，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：506122