最小二乘支持向量機(jī)和極限學(xué)習(xí)機(jī)是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘等領(lǐng)域取得廣泛關(guān)注和應(yīng)用的兩種算法。伴隨信息化技術(shù)的不斷發(fā)展與進(jìn)步,流數(shù)據(jù)處理問題越來越多。在線學(xué)習(xí)是處理流數(shù)據(jù)挖掘問題的主流方法,基于在線學(xué)習(xí)的基本框架開發(fā)設(shè)計(jì)各類經(jīng)典批處理算法模型的在線版本是處理大數(shù)據(jù)背景下各類學(xué)習(xí)任務(wù)的有效途徑。目前的最小二乘支持向量機(jī)在線學(xué)習(xí)算法只能實(shí)現(xiàn)樣本點(diǎn)的逐點(diǎn)更新,限制了其應(yīng)用場景。為了提升最小二乘支持向量機(jī)在線學(xué)習(xí)算法的普適性,我們將原模型拓展為基于樣本塊的更新方式,提出了增量式最小二乘支持向量在線學(xué)習(xí)算法。該算法采用高斯塊消元法,實(shí)現(xiàn)對(duì)支持向量集合和最小二乘支持向量機(jī)學(xué)習(xí)模型的動(dòng)態(tài)更新,從而實(shí)現(xiàn)了實(shí)際應(yīng)用問題中數(shù)據(jù)樣本以數(shù)據(jù)塊形式進(jìn)行更新的問題;針對(duì)實(shí)際問題中存在類不平衡和概念漂移同時(shí)發(fā)生的情況,基于在線極限學(xué)習(xí)機(jī)算法模型和加權(quán)極限學(xué)習(xí)機(jī)算法模型,我們提出了預(yù)界在線加權(quán)極限學(xué)習(xí)機(jī)算法。通過最大值判定準(zhǔn)則將預(yù)界策略引入算法,可有效防止重要樣本信息的溢出,利用矩陣校正技術(shù)和Sherman-Morrison-Woodbury公式可實(shí)現(xiàn)模型的高效更新。多組數(shù)據(jù)集上的分類實(shí)驗(yàn),數(shù)值驗(yàn)證了我們所提出算法的有效性和... 

【文章來源】：中國石油大學(xué)(華東)山東省 211工程院校 教育部直屬院校

【文章頁數(shù)】：59 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

極限學(xué)習(xí)機(jī)原理示意圖

中國石油大學(xué)(華東)碩士學(xué)位論文13[01011100+0(0,1)11(0,1)(1,1)+1][].（2-23）因此鞍點(diǎn)矩陣的逆可以根據(jù)1和矩陣得到，如公式（2-24）：1=[],（2-24）其中=1+11,=1,=(1)1。因此，乘子向量和偏項(xiàng)可相應(yīng)推斷如下式：[]=1[0]=[][0].（2-25）LS-SVMs增量式樣本塊更新算法的原理示意圖如圖2-1所示。圖2-1增量式樣本塊LS-SVMs算法示意圖Fig.2-1TheschematicdiagramoftheIOLS-SVMsmodel算法示意圖可以幫助我們可以更加了解基于樣本塊更新的增量式LS-SVMs在線學(xué)習(xí)算法的原理與含義。2.4數(shù)值實(shí)驗(yàn)本部分所有的數(shù)值實(shí)驗(yàn)都在MATLABR2015a環(huán)境中進(jìn)行，運(yùn)行電腦為Window7系統(tǒng)下3.2GHzInterlCorei5處理器和8GB的RAM。2.4.1雙螺旋分類實(shí)驗(yàn)

第二章基于塊更新的增量式最小二乘支持向量機(jī)在線學(xué)習(xí)算法14本文中的第一個(gè)實(shí)驗(yàn)程序，主要介紹了增量式樣本塊LS-SVMs的算法原理。我們分別使用圓形、雪花形、菱形點(diǎn)代表所有樣本點(diǎn)、當(dāng)前訓(xùn)練點(diǎn)和當(dāng)前支持向量。在此實(shí)驗(yàn)中，樣本點(diǎn)選定的是[-0.7,0.7]之間的數(shù)列。首先有10個(gè)樣本點(diǎn)被選定為初始的支持向量，分別包括5個(gè)正類樣本點(diǎn)和5個(gè)負(fù)類樣本點(diǎn)，數(shù)據(jù)在實(shí)驗(yàn)過程中會(huì)兩個(gè)接兩個(gè)的形式到達(dá)。圖2-2雙螺旋分類實(shí)驗(yàn)結(jié)果Fig.2-2Theresultdiagramabouttwo-spiralclassificationproblem實(shí)驗(yàn)過程與結(jié)果見圖2-2。從圖2-2的圖（1）中我們可以得出，模型根據(jù)當(dāng)前的支持向量可以準(zhǔn)確的分類當(dāng)前樣本點(diǎn)。接下來會(huì)有新的樣本點(diǎn)加入，但是根據(jù)當(dāng)前的支持向量不足以將現(xiàn)在所有的樣本點(diǎn)正確分類，因此我們采用增量式樣本塊LS-SVMs算法對(duì)模型進(jìn)行更新。新的樣本塊到來后，從其中分類出預(yù)測錯(cuò)誤的點(diǎn)，接著預(yù)測錯(cuò)誤的點(diǎn)會(huì)被添加到支持向量集中，并且對(duì)當(dāng)前模型進(jìn)行更新。如圖2-2的圖（2）所示，兩類中誤分的點(diǎn)被加入到支持向量集合中，并且模型也進(jìn)行了相應(yīng)的更改。如圖2-2的圖（3）中所示，一共有4個(gè)誤分的點(diǎn)，支持向量集合和模型更新了2次。每當(dāng)有錯(cuò)誤的點(diǎn)出現(xiàn)，算法可以逐步發(fā)現(xiàn)有用的樣本點(diǎn)，增量式樣本塊LS-SVMs算法就會(huì)更新支持向量集合和決策方程。最終結(jié)果如圖2-2的圖（4）所示，當(dāng)最后4個(gè)誤分的點(diǎn)加入到支持向量集合后，算法一共迭代更新了5次，每一次迭代都通過調(diào)整分類器而挖掘有用的信息。由最終實(shí)驗(yàn)結(jié)果中可知，算法最終可以將所有的樣本點(diǎn)進(jìn)行正確的分類。2.4.2基準(zhǔn)數(shù)據(jù)集分類實(shí)驗(yàn)這里的基準(zhǔn)數(shù)據(jù)集的數(shù)據(jù)指的是來自UCI數(shù)據(jù)集[75]和LIBSVM[76]網(wǎng)站的數(shù)據(jù)�；�


本文編號(hào)：3408575