本文選題：分類 + 間隔理論��； 參考：《吉林大學(xué)》2016年碩士論文

【摘要】：分類是機(jī)器學(xué)習(xí)的一個(gè)核心問題,屬于監(jiān)督學(xué)習(xí)范疇,即通過已知類別的樣本數(shù)據(jù)進(jìn)行訓(xùn)練,得到一個(gè)分類模型對未知數(shù)據(jù)的類別進(jìn)行預(yù)測。在分類問題中,訓(xùn)練得到的分類模型一般是一個(gè)分類決策函數(shù),輸入待預(yù)測數(shù)據(jù)的各特征值,輸出對其預(yù)測的分類結(jié)果。換言之,對分類模型的訓(xùn)練過程即是對分類決策函數(shù)的求解過程。間隔理論是許多目前流行的分類算法(如SVM、Adaboost等)求解分類決策函數(shù)的理論依據(jù),通過使訓(xùn)練數(shù)據(jù)中距離分類超平面最近的點(diǎn)間隔最大化得到分類決策函數(shù),稱為最大間隔模型,相應(yīng)的分類算法稱為大間隔分類器,SVM和Adaboost都是基于最大間隔模型的分類學(xué)習(xí)算法。近年來一些研究表明,優(yōu)化平均間隔和間隔方差比最大間隔模型有著更好的泛化性能。有學(xué)者已經(jīng)證明優(yōu)化間隔分布模型(LDM)得到比最大間隔模型更小的泛化誤差上界。目前訓(xùn)練優(yōu)化間隔分布模型的算法有雙坐標(biāo)下降法和平均隨機(jī)梯度下降法,其中后者為針對線性大規(guī)模問題的優(yōu)化版本。在本文實(shí)驗(yàn)研究中發(fā)現(xiàn),雙坐標(biāo)下降法的時(shí)間復(fù)雜度達(dá)到O(m3),不能適用于數(shù)據(jù)規(guī)模較大的問題;平均隨機(jī)梯度下降法雖然可以處理線性大規(guī)模問題,但不適用于非線性模型。Nystr?m矩陣低秩近似是一種基于取樣的大型矩陣近似技術(shù)。本文對雙坐標(biāo)下降法中的核矩陣使用Nystr?m近似矩陣代替,提升了其對較大規(guī)模非線性核LDM的適應(yīng)性。在本文的實(shí)驗(yàn)中,改進(jìn)后的Nystr?m-CD在處理較大規(guī)模數(shù)據(jù)時(shí)相比原算法在準(zhǔn)確度上會(huì)有2%~3%的小幅降低;但訓(xùn)練效率有大幅提升,提升幅度在7.8~16.5倍,并能在較短時(shí)間內(nèi)處理一些原算法無法在24小時(shí)訓(xùn)練出結(jié)果的數(shù)據(jù)。目前對LDM的研究主要針對二類分類問題,因?yàn)槎囝悊栴}可以通過簡單的轉(zhuǎn)化變?yōu)槎鄠�(gè)二類問題來訓(xùn)練。針對復(fù)雜分類問題的多實(shí)例多標(biāo)簽(MIML,Multi-Instance Multi-Label)分類框架將訓(xùn)練數(shù)據(jù)實(shí)例看做復(fù)雜對象,將可能包含多個(gè)類別標(biāo)簽的分類結(jié)果處理成一個(gè)標(biāo)簽集合,建立從實(shí)例集合到標(biāo)簽集合的映射模型。本文受啟發(fā)于MIML框架中多標(biāo)簽分類的思想,對多類LDM問題采用多標(biāo)簽分類進(jìn)行建模,設(shè)計(jì)出多類版的LDM模型,并將雙坐標(biāo)下降法與Nystr?m矩陣低秩近似考慮進(jìn)來,給出ML-LDM與ML-LDMNystr?m的CD算法。基于多標(biāo)簽分類模型的多類LDM方便問題建模與后期擴(kuò)展,并且在分類效果上也較簡單轉(zhuǎn)化有所提升。實(shí)驗(yàn)表明,在多數(shù)情況下ML-LDM都能達(dá)到最好的分類準(zhǔn)確率、召回率和F1值;在數(shù)據(jù)規(guī)模較大時(shí),ML-LDMNystr?m也能表現(xiàn)出同樣優(yōu)秀的效果。
[Abstract]:The classification is a core problem of machine learning , which belongs to supervised learning category . It is a kind of classification decision function which is based on the maximum interval model . In this paper , we find that the optimal interval distribution model is better generalization performance than the maximum interval model .
【學(xué)位授予單位】：吉林大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP181

【相似文獻(xiàn)】

相關(guān)期刊論文 前1條

1 顧亦然;李金發(fā);謝鴻飛;;陣發(fā)特性影響因素的研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2010年09期

相關(guān)重要報(bào)紙文章 前1條

1 本報(bào)實(shí)習(xí)生 馬燕 本報(bào)記者 吳紅梅;突破“圍城”醞釀騰飛新版圖[N];新華日報(bào);2001年

相關(guān)碩士學(xué)位論文 前2條

1 史正謙;基于間隔分布優(yōu)化的大間隔分類器改進(jìn)方法研究[D];吉林大學(xué);2016年

2 孫芳芳;移動(dòng)互聯(lián)網(wǎng)主要數(shù)據(jù)業(yè)務(wù)的分布規(guī)律研究[D];北京郵電大學(xué);2015年

，

本文編號：2065215