本文關(guān)鍵詞：基于Hadoop架構(gòu)的數(shù)據(jù)驅(qū)動的SVM并行增量學(xué)習(xí)算法，由筆耕文化傳播整理發(fā)布。

【摘要】：針對傳統(tǒng)支持向量機(SVM)算法難以處理大規(guī)模訓(xùn)練數(shù)據(jù)的困境,提出一種基于Hadoop的數(shù)據(jù)驅(qū)動的并行增量Adaboost-SVM算法(PIASVM)。利用集成學(xué)習(xí)策略,局部分類器處理一個分區(qū)的數(shù)據(jù),融合其分類結(jié)果得到組合分類器;增量學(xué)習(xí)中用權(quán)值刻畫樣本的空間分布特性,對樣本進行迭代加權(quán),利用遺忘因子實現(xiàn)新增樣本的選擇及歷史樣本的淘汰;采用基于HBase的控制器組件用以調(diào)度迭代過程,持久化中間結(jié)果并減小MapReduce原有框架迭代過程中的帶寬壓力。多組實驗結(jié)果表明,所提算法具有優(yōu)良的加速比、擴展率和數(shù)據(jù)伸縮度,在保證分類精度的基礎(chǔ)上提高了SVM算法對大規(guī)模數(shù)據(jù)的處理能力。
【作者單位】： 天津大學(xué)計算機科學(xué)與技術(shù)學(xué)院;天津市認(rèn)知計算與應(yīng)用重點實驗室(天津大學(xué));
【關(guān)鍵詞】： Hadoop HBase 支持向量機 增量學(xué)習(xí) 集成學(xué)習(xí) 遺忘因子 控制器組件
【基金】：國家自然科學(xué)基金資助項目(61170177) 國家863計劃重點項目(2015AA020101) 國家973計劃項目(2013CB32930X)~~
【分類號】：TP181
【正文快照】： 0引言我們正處于大數(shù)據(jù)時代,數(shù)據(jù)的增長速率已經(jīng)遠遠超出了單機計算能力的提升速率。如何提高分類算法處理海量數(shù)據(jù)的能力是一個亟待解決的問題。在分類算法領(lǐng)域,支持向量機(Support Vector Machine,SVM)算法以其較好的健壯性和穩(wěn)定性一直是主流的分類算法,SVM基于統(tǒng)計學(xué)習(xí)理

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 秦玉平;王秀坤;王春立;;實現(xiàn)兼類樣本類增量學(xué)習(xí)的一種算法[J];控制與決策;2009年01期

2 秦玉平;王秀坤;王春立;;實現(xiàn)兼類樣本增量學(xué)習(xí)的一種算法[J];計算機應(yīng)用與軟件;2009年08期

3 秦玉平;陳一荻;王春立;王秀坤;;一種新的類增量學(xué)習(xí)方法[J];計算機工程與應(yīng)用;2011年34期

4 時建中;程龍生;;基于增量學(xué)習(xí)系統(tǒng)的財務(wù)危機動態(tài)預(yù)警[J];技術(shù)經(jīng)濟;2012年05期

5 王洪波;趙光宙;齊冬蓮;盧達;;一類支持向量機的快速增量學(xué)習(xí)方法[J];浙江大學(xué)學(xué)報(工學(xué)版);2012年07期

6 秦玉平;倫淑嫻;王秀坤;;一種新的兼類樣本類增量學(xué)習(xí)算法[J];計算機科學(xué);2012年09期

7 姜卯生,王浩,姚宏亮;樸素貝葉斯分類器增量學(xué)習(xí)序列算法研究[J];計算機工程與應(yīng)用;2004年14期

8 劉梅,權(quán)太范,姚天賓;基于增量學(xué)習(xí)神經(jīng)模糊網(wǎng)絡(luò)的機動目標(biāo)跟蹤[J];電子學(xué)報;2005年11期

9 李祥納;艾青;秦玉平;劉衛(wèi)江;;支持向量機增量學(xué)習(xí)算法綜述[J];渤海大學(xué)學(xué)報(自然科學(xué)版);2007年02期

10 曹杰;劉志鏡;;基于支持向量機的增量學(xué)習(xí)算法[J];計算機應(yīng)用研究;2007年08期

中國重要會議論文全文數(shù)據(jù)庫 前8條

1 秦亮;唐靜;史賢俊;肖支才;;一種改進的支持向量機增量學(xué)習(xí)算法[A];2011年中國智能自動化學(xué)術(shù)會議論文集（第一分冊）[C];2011年

2 羅長升;段建國;許洪波;郭莉;;基于拉推策略的文本分類增量學(xué)習(xí)研究[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2007年

3 張慶彬;吳惕華;劉波;;一種改進的基于群體的增量學(xué)習(xí)算法[A];第二十六屆中國控制會議論文集[C];2007年

4 張健沛;李忠偉;楊靜;;一種基于多支持向量機的并行增量學(xué)習(xí)方法(英文)[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2005年

5 王悅凱;吳曉峰;翁巨揚;;Where-What網(wǎng)絡(luò)增量學(xué)習(xí)特性探究[A];第一屆全國神經(jīng)動力學(xué)學(xué)術(shù)會議程序手冊 & 論文摘要集[C];2012年

6 趙瑩;萬福永;;支持向量機的增量學(xué)習(xí)算法及其在多類分類問題中的應(yīng)用[A];第25屆中國控制會議論文集（下冊）[C];2006年

7 劉欣;章勇;王娟;;增量學(xué)習(xí)的TFIDF_NB協(xié)同訓(xùn)練分類算法[A];中國電子學(xué)會第十六屆信息論學(xué)術(shù)年會論文集[C];2009年

8 宮義山;錢娜;;貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)在線學(xué)習(xí)算法及應(yīng)用[A];科學(xué)發(fā)展與社會責(zé)任（A卷）——第五屆沈陽科學(xué)學(xué)術(shù)年會文集[C];2008年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 李敬;增量學(xué)習(xí)及其在圖像識別中的應(yīng)用[D];上海交通大學(xué);2008年

2 段華;支持向量機的增量學(xué)習(xí)算法研究[D];上海交通大學(xué);2008年

3 趙強利;基于選擇性集成的在線機器學(xué)習(xí)關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2010年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 郝運河;基于增量學(xué)習(xí)的復(fù)雜環(huán)境下道路識別算法研究[D];南京理工大學(xué);2015年

2 李丹;基于馬氏超橢球?qū)W習(xí)機的增量學(xué)習(xí)算法研究[D];渤海大學(xué);2015年

3 趙翠翠;基于RBF神經(jīng)網(wǎng)絡(luò)的集成增量學(xué)習(xí)方法研究[D];河北工業(yè)大學(xué);2015年

4 杜玲;覆蓋算法的增量學(xué)習(xí)研究[D];安徽大學(xué);2010年

5 張智敏;基于增量學(xué)習(xí)的分類算法研究[D];華南理工大學(xué);2010年

6 李杰;數(shù)據(jù)復(fù)雜度的增量學(xué)習(xí)方法研究[D];廣東工業(yè)大學(xué);2015年

7 王媛;支持向量機增量學(xué)習(xí)算法及其在入侵檢測中的應(yīng)用研究[D];吉林大學(xué);2008年

8 張燦淋;基于支持向量機的半監(jiān)督式增量學(xué)習(xí)研究[D];浙江工業(yè)大學(xué);2014年

9 吳慧;新的支持向量機增量學(xué)習(xí)算法[D];西安電子科技大學(xué);2009年

10 李昕;基于文本分類的增量學(xué)習(xí)算法研究[D];中國地質(zhì)大學(xué)（北京）;2013年

  本文關(guān)鍵詞：基于Hadoop架構(gòu)的數(shù)據(jù)驅(qū)動的SVM并行增量學(xué)習(xí)算法，由筆耕文化傳播整理發(fā)布。

，

本文編號：506122