發(fā)布時(shí)間：2018-01-27 02:20

  本文關(guān)鍵詞： 脊回歸 流形正則化 最優(yōu)間隔分布 間隔方差 全局結(jié)構(gòu)　出處：《計(jì)算機(jī)研究與發(fā)展》2017年08期 　論文類(lèi)型：期刊論文

【摘要】：脊回歸(ridge regression,RR)是經(jīng)典的機(jī)器學(xué)習(xí)算法之一,廣泛應(yīng)用于人臉識(shí)別、基因工程等諸多領(lǐng)域.其具有優(yōu)化目標(biāo)凸、存在閉合解、可解釋性強(qiáng)以及易于核化等優(yōu)點(diǎn),但是脊回歸的優(yōu)化目標(biāo)并沒(méi)有考慮樣本之間的結(jié)構(gòu)關(guān)系.監(jiān)督流形正則化學(xué)習(xí)是最具代表性的、最成功的脊回歸正則化方法之一,其通過(guò)最小化每類(lèi)類(lèi)內(nèi)方差來(lái)考慮樣本之間的類(lèi)內(nèi)結(jié)構(gòu)關(guān)系,可是單純地只考慮類(lèi)內(nèi)結(jié)構(gòu)仍然不夠全面.以一種全新的視角重新審視最近提出的"最優(yōu)間隔分布學(xué)習(xí)"原理,發(fā)現(xiàn)了最優(yōu)間隔分布的目標(biāo)可以同時(shí)優(yōu)化類(lèi)內(nèi)間隔方差和類(lèi)間間隔方差,從而同時(shí)優(yōu)化了局部的類(lèi)內(nèi)結(jié)構(gòu)和全局的類(lèi)間結(jié)構(gòu).基于此提出了一種充分考慮數(shù)據(jù)結(jié)構(gòu)化特征的脊回歸算法——最優(yōu)間隔分布脊回歸(optimal margin distributionmachine ridge regression,ODMRR)算法,該算法具有RR以及MRRR(manifold regularization ridge regression)的各種優(yōu)勢(shì).最后通過(guò)實(shí)驗(yàn)驗(yàn)證了該方法具有優(yōu)越的性能.
[Abstract]:Ridge regression (RRR) is one of the classical machine learning algorithms, which is widely used in face recognition, genetic engineering and many other fields. There are some advantages such as closed solution, strong interpretability and easy to nucleate, but the optimization target of ridge regression does not take into account the structural relationship between samples. The supervised manifold regularization learning is the most representative. One of the most successful methods of ridge regression regularization is to minimize the intra-class variance of each class to consider the intra-class structural relationships between samples. However, it is still not comprehensive to consider only the intra-class structure. The recently proposed principle of "optimal interval distribution learning" is re-examined from a new perspective. It is found that the objective of optimal interval distribution can optimize both intra-class and inter-class interval variances. Therefore, the local intra-class structure and the global inter-class structure are optimized at the same time. Based on this, a ridge regression algorithm with optimal interval distribution is proposed, which takes full account of the structured features of the data. Optimal margin distributionmachine ridge regression. ODMRR algorithm. The algorithm has RR and MRRR(manifold regularization ridge regression. Finally, the advantages of this method are verified by experiments.
【作者單位】： 計(jì)算機(jī)軟件新技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室(南京大學(xué));軟件新技術(shù)與產(chǎn)業(yè)化協(xié)同創(chuàng)新中心;
【基金】：國(guó)家自然科學(xué)基金項(xiàng)目(61673201)~~
【分類(lèi)號(hào)】：TP181
【正文快照】： (1)此類(lèi)方法以往被稱(chēng)為“大間隔分布學(xué)習(xí)”方法[17-18],但由于“間隔分布”本身并沒(méi)有“大小”之別,因此“最優(yōu)間隔分布”這個(gè)稱(chēng)謂比“最大間隔分布”更合適[16].脊回歸(ridge regression,RR)[1]的優(yōu)化目標(biāo)致力于最小化模型輸出以及樣本標(biāo)記之間的二次誤差,在人臉識(shí)別[2]、基

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 羅四維;趙連偉;;基于譜圖理論的流形學(xué)習(xí)算法[J];計(jì)算機(jī)研究與發(fā)展;2006年07期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳加略;姜遠(yuǎn);;最優(yōu)間隔分布脊回歸[J];計(jì)算機(jī)研究與發(fā)展;2017年08期

2 劉毛溪;萬(wàn)鳴華;孫成立;王巧麗;;無(wú)監(jiān)督的稀疏差分嵌入特征提取方法[J];小型微型計(jì)算機(jī)系統(tǒng);2017年05期

3 劉毛溪;萬(wàn)鳴華;孫成立;王巧麗;;基于最大邊界準(zhǔn)則的稀疏局部嵌入特征提取方法[J];計(jì)算機(jī)應(yīng)用研究;2017年05期

4 尹宏偉;李凡長(zhǎng);;譜機(jī)器學(xué)習(xí)研究綜述[J];計(jì)算機(jī)科學(xué)與探索;2015年12期

5 王洪波;羅賀;王曉佳;;基于流形學(xué)習(xí)的彩色遙感圖像分維數(shù)估算[J];中國(guó)圖象圖形學(xué)報(bào);2015年08期

6 劉坤;李飚;曾祥鑫;;基于流形學(xué)習(xí)和支持向量機(jī)的太赫茲譜分類(lèi)[J];計(jì)算機(jī)工程與應(yīng)用;2015年24期

7 籍永建;王紅軍;;基于流形學(xué)習(xí)的轉(zhuǎn)子系統(tǒng)運(yùn)行狀態(tài)識(shí)別理論研究[J];組合機(jī)床與自動(dòng)化加工技術(shù);2015年04期

8 仝一君;王力;;基于NPE算法的語(yǔ)音特征提取應(yīng)用研究[J];通信技術(shù);2014年11期

9 劉穎;魏麗娜;王殿偉;李大湘;;基于流形學(xué)習(xí)的車(chē)牌圖像超分辨率算法[J];西安郵電大學(xué)學(xué)報(bào);2014年06期

10 王洪波;榮巖;羅賀;王曉佳;;基于流形學(xué)習(xí)的DNA序列數(shù)據(jù)挖掘方法研究[J];合肥工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年08期

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 楊劍,李伏欣,王玨;一種改進(jìn)的局部切空間排列算法[J];軟件學(xué)報(bào);2005年09期

2 張振躍,查宏遠(yuǎn);線(xiàn)性低秩逼近與非線(xiàn)性降維[J];中國(guó)科學(xué)(A輯:數(shù)學(xué));2005年03期

3 張軍平,王玨;主曲線(xiàn)研究綜述[J];計(jì)算機(jī)學(xué)報(bào);2003年02期

【相似文獻(xiàn)】

相關(guān)期刊論文 前1條

1 顧亦然;李金發(fā);謝鴻飛;;陣發(fā)特性影響因素的研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2010年09期

相關(guān)重要報(bào)紙文章 前1條

1 本報(bào)實(shí)習(xí)生 馬燕 本報(bào)記者 吳紅梅;突破“圍城”醞釀騰飛新版圖[N];新華日?qǐng)?bào);2001年

相關(guān)碩士學(xué)位論文 前3條

1 史正謙;基于間隔分布優(yōu)化的大間隔分類(lèi)器改進(jìn)方法研究[D];吉林大學(xué);2016年

2 陳加略;基于間隔分布的脊回歸和主動(dòng)學(xué)習(xí)[D];南京大學(xué);2016年

3 孫芳芳;移動(dòng)互聯(lián)網(wǎng)主要數(shù)據(jù)業(yè)務(wù)的分布規(guī)律研究[D];北京郵電大學(xué);2015年

，

本文編號(hào)：1467287