發(fā)布時間：2017-05-18 07:01

  本文關(guān)鍵詞：基于低秩矩陣估計的機(jī)器學(xué)習(xí)算法分析，由筆耕文化傳播整理發(fā)布。

【摘要】：在例如推薦系統(tǒng),圖像／視頻分析等許多機(jī)器學(xué)習(xí)問題中,數(shù)據(jù)往往是以矩陣的形式進(jìn)行表達(dá)。在這些問題中,矩陣的低秩性質(zhì)在學(xué)習(xí)原始數(shù)據(jù)隱藏結(jié)構(gòu)的過程中有著非常重要的作用。因此,近來針對低秩矩陣算法成為機(jī)器學(xué)習(xí)和相關(guān)領(lǐng)域的一個研究熱點。低秩近似算法大致上可以被分為兩類：(1)恢復(fù)數(shù)據(jù)(很可能是不完整的)中的低秩結(jié)構(gòu)；(2)利用低秩信息提升其他機(jī)器學(xué)習(xí)模型的學(xué)習(xí)效果。雖然在這兩類算法中目前已經(jīng)有很多相關(guān)工作,但是不管從準(zhǔn)確性還是效率來看,已有的算法都并不能達(dá)到讓人滿意的效果。在本論文中,我們從算法理論分析到具體的應(yīng)用對低秩近似算法進(jìn)行了一個系統(tǒng)的研究,研究內(nèi)容包括矩陣補(bǔ)全問題,主動學(xué)習(xí)和基于低秩矩陣正則化的大規(guī)模圖像分類問題。總的來說,本文的創(chuàng)新點如下：1.為了加速針對大規(guī)模矩陣補(bǔ)全問題的奇異值截斷式算法(Singular Value Thresholding, SVT),在本論文中我們提出了一種奇異值截斷式加速算法(Accelerated Singular Value Thresholding, ASVT)將傳統(tǒng)的SVT算法的收斂速度從O(1/N)提升至O(1/N2),其中N是優(yōu)化過程中的迭代次數(shù)。具體而言,通過理論分析我們證明了原始優(yōu)化問題的最優(yōu)解可以通過其對偶問題的最優(yōu)解直接得到。我們在人工數(shù)據(jù)集,真實距離矩陣數(shù)據(jù)集和電影推薦數(shù)據(jù)集上進(jìn)行一系列的驗證,實驗結(jié)果證明了我們所提出算法的效率和有效性。2.為了更好地解決基于截斷式核范數(shù)的矩陣補(bǔ)全問題,本論文首先對原始截斷式核范數(shù)優(yōu)化問題進(jìn)行重構(gòu)。原始優(yōu)化問題中的多個限制條件會減緩基于乘子的交替方向理論(Alternating Direction Method of Multipliers, ADMM)的收斂速度,并會對解的準(zhǔn)確性造成一定的影響。隨后,我們對重構(gòu)后的問題提出了一個帶自適應(yīng)懲罰項的ADMM算法(Alternating Direction Method of Multipliers with Adaptive Penalty, ADMMAP)。在每一次迭代中,我們根據(jù)一個迭代機(jī)制調(diào)整目標(biāo)函數(shù)中的懲罰項大小,從而加速算法收斂速度。我們在人工數(shù)據(jù)集和真實數(shù)據(jù)集的實驗分析證明了,同已有的矩陣補(bǔ)全算法相比,我們提出的算法具有更好的效果。3.為了更好地在數(shù)據(jù)集中選擇最具代表性的樣本(我們稱之為錨點),本論文提出在錨點的選擇過程中充分考慮數(shù)據(jù)的局部信息,并設(shè)計了一種基于近鄰重建的主動學(xué)習(xí)方法(Active Learning via Neighborhood Reconstruction, ALNR)。傳統(tǒng)基于重建的主動學(xué)習(xí)理論利用所有的錨點對目標(biāo)數(shù)據(jù)進(jìn)行重建。然而,離目標(biāo)數(shù)據(jù)越近的錨點對數(shù)據(jù)重建的作用越大,而離目標(biāo)數(shù)據(jù)較遠(yuǎn)的點對數(shù)據(jù)重建的作用較小甚至有負(fù)面的作用。因此,在我們提出的ALNR算法中,我們僅僅只使用目標(biāo)數(shù)據(jù)的近鄰錨點對目標(biāo)數(shù)據(jù)進(jìn)行重建。為更好地求解最終的優(yōu)化問題,我們提出了一種高效的兩步迭代機(jī)制。我們在人工和真實數(shù)據(jù)集上的實驗效果證明了我們算法比已有的主動學(xué)習(xí)算法更加準(zhǔn)確高效。4.為了更好地在圖像分類問題中利用矩陣的低秩信息,本論文考慮當(dāng)分類器系數(shù)空間存在低維結(jié)構(gòu)時的圖像分類問題。當(dāng)前已有的算法往往利用矩陣的核范數(shù)來刻畫分類器系數(shù)矩陣的低秩結(jié)構(gòu)。然而,考慮核范數(shù)并不能對矩陣秩算子進(jìn)行很好地近似,我們提出了一種基于截斷式核范數(shù)的大規(guī)模圖像分類算法。為了求解最終非凸非光滑的優(yōu)化問題,我們設(shè)計了一個高效的算法將原始問題首先分解為多個非光滑凸子問題,并進(jìn)行迭代優(yōu)化求解。在每一次迭代中,我們將每一個子問題轉(zhuǎn)化為一個無線維空間下的l1范數(shù)正則化問題,并使用一種簡單高效的加速坐標(biāo)梯度下降算法進(jìn)行求解。我們在若干大規(guī)模數(shù)據(jù)圖像數(shù)據(jù)集上進(jìn)行了測試,實驗結(jié)果顯示同已有的大規(guī)模圖像分類算法相比,我們提出的算法有效地提升了大規(guī)模圖像分類系統(tǒng)的準(zhǔn)確性。
【關(guān)鍵詞】：低秩結(jié)構(gòu) 矩陣補(bǔ)全 核范數(shù) 截斷式核范數(shù) 加速
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2015
【分類號】：TP181
【目錄】：

• 摘要5-7
• Abstract7-16
• 1 緒論16-28
• 1.1 研究背景和意義16-20
• 1.1.1 理論研究價值17-18
• 1.1.2 應(yīng)用價值18-20
• 1.2 相關(guān)研究現(xiàn)狀20-25
• 1.2.1 基本數(shù)學(xué)工具的定義20-21
• 1.2.2 基于矩陣分解的缺失信息恢復(fù)算法21-22
• 1.2.3 基于最小化矩陣秩問題的矩陣補(bǔ)全算法22-24
• 1.2.4 基于核范數(shù)的矩陣補(bǔ)全算法24-25
• 1.3 本文的研究內(nèi)容和主要貢獻(xiàn)25-27
• 1.4 論文的組織結(jié)構(gòu)27-28
• 2 針對矩陣補(bǔ)全的奇異值截斷加速算法28-44
• 2.1 研究動機(jī)28-29
• 2.2 研究的相關(guān)工作及背景知識29-30
• 2.2.1 數(shù)學(xué)工具29-30
• 2.2.2 基于奇異值截斷的矩陣補(bǔ)全算法30
• 2.3 目標(biāo)函數(shù)30-33
• 2.4 優(yōu)化理論33-37
• 2.5 實驗37-43
• 2.5.1 人造數(shù)據(jù)上的實驗結(jié)果37-39
• 2.5.2 距離矩陣數(shù)據(jù)集上的實驗結(jié)果39-41
• 2.5.3 MovieLens數(shù)據(jù)集上的實驗結(jié)果41-43
• 2.6 實驗結(jié)論43-44
• 3 基于截斷式核范數(shù)的快速準(zhǔn)確矩陣補(bǔ)全理論44-68
• 3.1 研究動機(jī)44-46
• 3.2 研究背景46-50
• 3.2.1 截斷式核范數(shù)正則項46-47
• 3.2.2 基于ADMM的截斷式核范數(shù)優(yōu)化算法47-49
• 3.2.3 基于APGL的截斷式核范數(shù)優(yōu)化算法49-50
• 3.3 目標(biāo)函數(shù)50-52
• 3.4 優(yōu)化理論52-56
• 3.4.1 自適應(yīng)地調(diào)整懲罰項系數(shù)54-56
• 3.5 實驗56-66
• 3.5.1 人造數(shù)據(jù)集上的實驗結(jié)果57-58
• 3.5.2 真實圖像上的實驗結(jié)果58-62
• 3.5.3 收斂性分析62-66
• 3.6 結(jié)論66-68
• 4 基于局部重建的主動學(xué)習(xí)方法68-84
• 4.1 研究動機(jī)68-69
• 4.2 研究背景69-72
• 4.3 目標(biāo)函數(shù)72-73
• 4.4 優(yōu)化理論73-78
• 4.4.1 基于塊的坐標(biāo)下降理論的優(yōu)化機(jī)制73-74
• 4.4.2 懲罰項中的幾何描述74-76
• 4.4.3 利用鄰近梯度理論求解優(yōu)化問題(4.11)76-78
• 4.5 實驗結(jié)果78-81
• 4.5.1 人造數(shù)據(jù)集上的實驗結(jié)果78-80
• 4.5.2 人臉數(shù)據(jù)集上的實驗結(jié)果80
• 4.5.3 參數(shù)敏感性分析80-81
• 4.6 結(jié)論81-84
• 5 基于截斷式核范數(shù)正則化的大規(guī)模圖像分類方法84-98
• 5.1 研究動機(jī)84-86
• 5.2 研究背景86-88
• 5.3 目標(biāo)函數(shù)88-89
• 5.4 優(yōu)化算法89-92
• 5.5 實驗92-97
• 5.5.1 數(shù)據(jù)預(yù)處理93
• 5.5.2 對比算法93-95
• 5.5.3 實驗結(jié)果比較95-96
• 5.5.4 參數(shù)敏感性分析96-97
• 5.6 結(jié)論97-98
• 6 總結(jié)與展望98-102
• 6.1 本文工作總結(jié)98-99
• 6.2 工作展望99-102
• 致謝102-104
• 參考文獻(xiàn)104-114
• 攻讀博士學(xué)位期間主要的研究成果114-115

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 朱峗,吳煒;圖像分類中變形決策樹的應(yīng)用[J];計算機(jī)工程與應(yīng)用;2004年21期

2 陳戲墨,徐紅兵,李志銘,謝鉉洋,李曦,李揚彬;數(shù)據(jù)挖掘在醫(yī)學(xué)圖像分類中的應(yīng)用[J];現(xiàn)代計算機(jī)(專業(yè)版);2005年01期

3 冀翠萍;孟祥增;;基于內(nèi)容的圖像分類體系[J];電腦知識與技術(shù)(學(xué)術(shù)交流);2007年07期

4 楊杰;陳曉云;;圖像分類方法比較研究[J];微計算機(jī)應(yīng)用;2007年06期

5 楊文潮;姜志堅;;圖像分類技術(shù)研究[J];福建電腦;2008年08期

6 葛寒娟;邱桃榮;王劍;盧強(qiáng);李北;劉韜;聶斌;;一種基于相容信息粒原理的圖像分類方法[J];廣西師范大學(xué)學(xué)報(自然科學(xué)版);2008年03期

7 王軍;王員云;;粒計算及其在圖像分類中的應(yīng)用研究[J];計算機(jī)工程與科學(xué);2009年03期

8 吳軍;王士同;;基于正負(fù)模糊規(guī)則的相結(jié)合的圖像分類[J];計算機(jī)應(yīng)用;2011年01期

9 吳軍;王士同;趙鑫;;正負(fù)模糊規(guī)則系統(tǒng)、極限學(xué)習(xí)機(jī)與圖像分類[J];中國圖象圖形學(xué)報;2011年08期

10 郝永寬;王威;聶維同;王德強(qiáng);;圖像分類與聚類分析[J];數(shù)字技術(shù)與應(yīng)用;2011年12期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 鄭海紅;曾平;;一種基于圖像分類的逆半調(diào)算法[A];’2004計算機(jī)應(yīng)用技術(shù)交流會議論文集[C];2004年

2 文振q;歐陽杰;朱為總;;基于語義特征與支持向量機(jī)的圖像分類[A];中國電子學(xué)會第十六屆信息論學(xué)術(shù)年會論文集[C];2009年

3 王海峰;管亮;;基于顏色特征的圖像分類技術(shù)在油品分析中的應(yīng)用[A];中國儀器儀表學(xué)會第六屆青年學(xué)術(shù)會議論文集[C];2004年

4 陳思坤;吳洪;;基于圖分塊并利用空間金字塔的醫(yī)學(xué)圖像分類[A];第六屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2010)、第19屆全國多媒體學(xué)術(shù)會議（NCMT2010）、第6屆全國人機(jī)交互學(xué)術(shù)會議（CHCI2010）、第5屆全國普適計算學(xué)術(shù)會議（PCC2010）論文集[C];2010年

5 張淑雅;趙曉宇;趙一鳴;李均利;;基于SVM的圖像分類[A];第十三屆全國圖象圖形學(xué)學(xué)術(shù)會議論文集[C];2006年

6 李博;韓萍;;基于壓縮感知和SVM的極化SAR圖像分類[A];第二十七屆中國（天津）2013IT、網(wǎng)絡(luò)、信息技術(shù)、電子、儀器儀表創(chuàng)新學(xué)術(shù)會議論文集[C];2013年

7 朱松豪;胡娟娟;孫偉;;基于非歐空間高階統(tǒng)計的圖像分類方法[A];第25屆中國控制與決策會議論文集[C];2013年

8 潘海為;李建中;張煒;;基于像素聚類的腦部醫(yī)學(xué)圖像分類[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2003年

9 吳霜;張一飛;修非;王大玲;鮑玉斌;于戈;;基于興趣點特征提取的醫(yī)學(xué)圖像分類[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2007年

10 武進(jìn);尹愷;王長明;張家才;;SVDM在蔬菜病害圖像分類中的應(yīng)用[A];圖像圖形技術(shù)與應(yīng)用進(jìn)展——第三屆圖像圖形技術(shù)與應(yīng)用學(xué)術(shù)會議論文集[C];2008年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 胡堯;基于低秩矩陣估計的機(jī)器學(xué)習(xí)算法分析[D];浙江大學(xué);2015年

2 趙鑫;圖像分類中的判別性增強(qiáng)研究[D];中國科學(xué)技術(shù)大學(xué);2013年

3 楊冰;基于藝術(shù)風(fēng)格的繪畫圖像分類研究[D];浙江大學(xué);2013年

4 丁建睿;基于多示例學(xué)習(xí)的淺表器官超聲圖像分類方法研究[D];哈爾濱工業(yè)大學(xué);2012年

5 賈世杰;基于內(nèi)容的商品圖像分類方法研究[D];大連理工大學(xué);2013年

6 李曉旭;基于概率主題模型的圖像分類和標(biāo)注的研究[D];北京郵電大學(xué);2012年

7 王海江;極化SAR圖像分類方法研究[D];電子科技大學(xué);2008年

8 韓東峰;圖像分類識別中特征及模型的若干問題研究[D];吉林大學(xué);2008年

9 白有茂;基于張量流形學(xué)習(xí)的圖像分類技術(shù)研究[D];中國礦業(yè)大學(xué)（北京）;2013年

10 龍顯忠;矩陣分解方法在圖像分類中的應(yīng)用研究[D];上海交通大學(xué);2014年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 李函怡;融合主動學(xué)習(xí)的半監(jiān)督技術(shù)在圖像分類中的應(yīng)用研究[D];西南大學(xué);2015年

2 王亞鳳;基于多特征的主動學(xué)習(xí)方法在圖像分類中的應(yīng)用研究[D];河北工程大學(xué);2015年

3 陳榮安;基于改進(jìn)的Bag-of-Features模型的圖像分類研究[D];蘭州大學(xué);2015年

4 鐘畏丹;基于HSV和紋理特征的圖像分類[D];華中師范大學(xué);2015年

5 焦陽;基于主動學(xué)習(xí)的多標(biāo)簽圖像分類方法研究[D];蘇州大學(xué);2015年

6 王騰川;基于主動學(xué)習(xí)的SAR圖像分類方法研究[D];上海交通大學(xué);2015年

7 NGUYEN QUANG KHANH;基于極化SAR目標(biāo)信息提取與SVM分類[D];哈爾濱工業(yè)大學(xué);2015年

8 王朔琛;基于半監(jiān)督支持向量機(jī)的圖像分類方法研究[D];陜西師范大學(xué);2015年

9 田云;基于二次分割的多特征圖像分類方法研究[D];山西大學(xué);2011年

10 席曉聰;圖像分類方法研究[D];山東大學(xué);2013年

  本文關(guān)鍵詞：基于低秩矩陣估計的機(jī)器學(xué)習(xí)算法分析，由筆耕文化傳播整理發(fā)布。

，

本文編號：375345