本文關(guān)鍵詞：高維數(shù)據(jù)內(nèi)在結(jié)構(gòu)保持的非負(fù)矩陣分解方法

  更多相關(guān)文章： 非負(fù)矩陣分解 核密度估計(jì) K-L散度 內(nèi)在結(jié)構(gòu)保持 梯度下降

【摘要】：非負(fù)矩陣分解理論(Nonnegtive Matrix Factorization,NMF)是當(dāng)今學(xué)術(shù)研究的熱點(diǎn)問(wèn)題。與其他矩陣分解方法不同,NMF從“個(gè)體構(gòu)成總體,局部構(gòu)成整體”的角度出發(fā),將一個(gè)非負(fù)數(shù)據(jù)矩陣分解為兩個(gè)非負(fù)矩陣(一為基矩陣、一為系數(shù)矩陣)相乘。這種概念正與人類(lèi)認(rèn)知事物的原理相吻合。由于非負(fù)矩陣分解方法分解非負(fù)矩陣后得到的基矩陣和系數(shù)矩陣都是非負(fù)的,所以分解的結(jié)果具有很強(qiáng)的可解釋性,這一點(diǎn)與傳統(tǒng)的矩陣分解(比如奇異值分解Single Value Decomposition,SVD)不同,傳統(tǒng)的矩陣分解會(huì)出現(xiàn)負(fù)數(shù)的情況,以至于缺乏相應(yīng)的物理解釋。這種可解釋性使得非負(fù)矩陣分解方法在圖像處理,數(shù)據(jù)挖掘,環(huán)境監(jiān)測(cè),化學(xué)計(jì)量學(xué),多媒體分析等領(lǐng)域都得到了廣泛的應(yīng)用。從降維的角度講,分解后的基向量就是低維空間中新的基,原始數(shù)據(jù)可以表示為這組基的一個(gè)線性組合,因此可以通過(guò)選取適當(dāng)參數(shù),我們能得到原始高維數(shù)據(jù)的一個(gè)低維描述,達(dá)到數(shù)據(jù)維數(shù)約簡(jiǎn)的目的。本文深入地研究了非負(fù)矩陣分解方法,在此基礎(chǔ)上,提出了一種高維數(shù)據(jù)內(nèi)在結(jié)構(gòu)保持的非負(fù)矩陣分解模型以及快速梯度下降求解算法。本文在標(biāo)準(zhǔn)非負(fù)矩陣分解算法的目標(biāo)函數(shù)上添加一個(gè)正則項(xiàng),使得新的非負(fù)矩陣分解算法具有高維內(nèi)在結(jié)構(gòu)在低維空間中得到保持的能力。這個(gè)正則項(xiàng)中使用核函數(shù)密度估計(jì)的方法來(lái)描述原始數(shù)據(jù)和分解后低維描述中的密度分布。本文分別利用高斯和柯西核密度估計(jì)來(lái)估計(jì)原始數(shù)據(jù)和低維表示的數(shù)據(jù)分布,然后利用K-L(Kullback Leibler divergence)散度作為衡量?jī)蓚�(gè)密度分布的相似性。為了使分解后低維描述和原始數(shù)據(jù)在結(jié)構(gòu)上(在這里就是密度分布)盡可能地保持一致,正則項(xiàng)的模型就是最小化兩個(gè)密度分布的K-L散度。然后通過(guò)比較人臉圖像聚類(lèi)實(shí)驗(yàn)結(jié)果驗(yàn)證了算法具有在低維空間中保持高維數(shù)據(jù)內(nèi)在結(jié)構(gòu)的性質(zhì)。本文提出了一種新的基于梯度下降的快速收斂算法。傳統(tǒng)的梯度下降方法步長(zhǎng)是固定的,如果步長(zhǎng)設(shè)置的太小,那么就會(huì)增加迭代的時(shí)間,導(dǎo)致求解的過(guò)程時(shí)間增長(zhǎng),如果步長(zhǎng)設(shè)置的太大,那么容易錯(cuò)過(guò)最優(yōu)解,對(duì)算法達(dá)不到收斂。本文提出的算法在每次迭代之前都要計(jì)算本次迭代的最優(yōu)步長(zhǎng)。目標(biāo)函數(shù)每次迭代都按照最優(yōu)步長(zhǎng)來(lái)下降。本文通過(guò)相關(guān)實(shí)驗(yàn),驗(yàn)證了本文提出的梯度下降方法具有收斂性,收斂速度快等特點(diǎn)。
【關(guān)鍵詞】：非負(fù)矩陣分解 核密度估計(jì) K-L散度 內(nèi)在結(jié)構(gòu)保持 梯度下降
【學(xué)位授予單位】：重慶大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：TP391.41;O151.21
【目錄】：

• 中文摘要3-4
• 英文摘要4-7
• 1 緒論7-18
• 1.1 選題背景及研究意義7-9
• 1.2 研究現(xiàn)狀及難點(diǎn)問(wèn)題9-16
• 1.2.1 國(guó)內(nèi)外研究現(xiàn)狀9-15
• 1.2.2 研究的難點(diǎn)問(wèn)題15-16
• 1.3 本文的主要工作及內(nèi)容安排16-18
• 1.3.1 本文主要工作16
• 1.3.2 本文結(jié)構(gòu)安排16-18
• 2 非負(fù)矩陣分解基本理論18-33
• 2.1 非負(fù)矩陣分解理論18-25
• 2.1.1 問(wèn)題闡述18
• 2.1.2 目標(biāo)函數(shù)18-19
• 2.1.3 迭代規(guī)則19-21
• 2.1.4 NMF解的性質(zhì)21-25
• 2.2 非負(fù)矩陣分解的原理25-28
• 2.3 非負(fù)矩陣分解的應(yīng)用28-31
• 2.3.1 非負(fù)矩陣分解算法在數(shù)據(jù)壓縮中的應(yīng)用28-29
• 2.3.2 非負(fù)矩陣分解算法在聚類(lèi)中的應(yīng)用29-30
• 2.3.3 非負(fù)矩陣分解算法在分類(lèi)中的應(yīng)用30-31
• 2.3.4 非負(fù)矩陣分解算法在具體領(lǐng)域中的應(yīng)用31
• 2.4 本章小結(jié)31-33
• 3 高維數(shù)據(jù)內(nèi)在結(jié)構(gòu)保持的非負(fù)矩陣分解方法33-43
• 3.1 引言33
• 3.2 高維數(shù)據(jù)內(nèi)在結(jié)構(gòu)保持的非負(fù)矩陣分解的模型33-34
• 3.2.1 基于核密度估計(jì)的正則項(xiàng)33-34
• 3.2.2 高維數(shù)據(jù)內(nèi)在結(jié)構(gòu)保持的非負(fù)矩陣分解模型34
• 3.3 一種快速的梯度下降法34-37
• 3.3.1 梯度下降方法35
• 3.3.2 一種快速的梯度下降法35-37
• 3.4 求解高維數(shù)據(jù)內(nèi)在結(jié)構(gòu)保持的非負(fù)矩陣分解問(wèn)題37-42
• 3.4.1 求基矩陣W的迭代更新公式37-39
• 3.4.2 系數(shù)矩陣H的迭代更新方法39-42
• 3.5 算法過(guò)程42
• 3.6 本章小結(jié)42-43
• 4 試驗(yàn)與結(jié)果分析43-54
• 4.1 引言43
• 4.2 試驗(yàn)數(shù)據(jù)集43-44
• 4.3 實(shí)驗(yàn)與結(jié)果44-53
• 4.3.1 高維數(shù)據(jù)內(nèi)在結(jié)構(gòu)保持的非負(fù)矩陣分解算法的收斂性44-46
• 4.3.2 基向量分析46-47
• 4.3.3 原始圖像的重構(gòu)47-48
• 4.3.4 高維數(shù)據(jù)內(nèi)在結(jié)構(gòu)保持的非負(fù)矩陣分解算法的聚類(lèi)性能48-51
• 4.3.5 新的快速梯度下降方法實(shí)驗(yàn)51-52
• 4.3.6 新的梯度下降法與乘性迭代方法聚類(lèi)性能實(shí)驗(yàn)52-53
• 4.4 本章小結(jié)53-54
• 5 總結(jié)與展望54-56
• 5.1 本文工作總結(jié)54-55
• 5.2 未來(lái)工作展望55-56
• 致謝56-57
• 參考文獻(xiàn)57-61
• 附錄61

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 宋金歌;楊景;陳平;佘玉梅;;一種非負(fù)矩陣分解的快速稀疏算法[J];云南民族大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年04期

2 尹星云;;非負(fù)矩陣分解的基本原理和研究現(xiàn)狀分析[J];科技資訊;2011年35期

3 程明松;劉勺連;;一種實(shí)用快速非負(fù)矩陣分解算法[J];大連理工大學(xué)學(xué)報(bào);2013年01期

4 唐曉芬;陳莉;;最大相關(guān)熵非負(fù)矩陣分解在基因表達(dá)數(shù)據(jù)聚類(lèi)中的應(yīng)用[J];計(jì)算機(jī)與應(yīng)用化學(xué);2013年11期

5 曾文梅;;基于半監(jiān)督非負(fù)矩陣分解的人流量分析[J];哈爾濱師范大學(xué)自然科學(xué)學(xué)報(bào);2011年02期

6 孟佳音;劉丁酉;;基于分布估計(jì)算法的非負(fù)矩陣分解[J];湖北民族學(xué)院學(xué)報(bào)(自然科學(xué)版);2012年03期

7 王雪明;王套;;非負(fù)矩陣分解的相關(guān)討論[J];湖南農(nóng)機(jī);2013年09期

8 曹勝玉;劉來(lái)福;;非負(fù)矩陣分解及其在基因表達(dá)數(shù)據(jù)分析中的應(yīng)用[J];北京師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年01期

9 李巧;孔薇;;改進(jìn)的非負(fù)矩陣分解在基因表達(dá)數(shù)據(jù)中的應(yīng)用[J];信息技術(shù);2010年12期

10 陳清華;陳六君;郭金忠;;二進(jìn)制約束下的NMF方法及其應(yīng)用[J];北京師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年01期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 孫江明;李通化;;非平滑三維非負(fù)矩陣分解[A];第九屆全國(guó)計(jì)算（機(jī)）化學(xué)學(xué)術(shù)會(huì)議論文摘要集[C];2007年

2 蔣永鍇;葉東毅;;基于稀疏非負(fù)矩陣分解的自動(dòng)多文摘方法[A];中國(guó)計(jì)算機(jī)語(yǔ)言學(xué)研究前沿進(jìn)展（2007-2009）[C];2009年

3 馬帥;吳飛;楊易;邵健;;基于稀疏非負(fù)矩陣分解的圖像檢索[A];第七屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2011)論文集【oral】[C];2011年

4 徐利民;龔珊;余再軍;;奇異值分解與非負(fù)矩陣分解色在數(shù)據(jù)降維方面的特性分析[A];2010年通信理論與信號(hào)處理學(xué)術(shù)年會(huì)論文集[C];2010年

5 蔡蕾;朱永生;;基于稀疏性非負(fù)矩陣分解和支持向量機(jī)的軸心軌跡圖識(shí)別[A];2008年全國(guó)振動(dòng)工程及應(yīng)用學(xué)術(shù)會(huì)議暨第十一屆全國(guó)設(shè)備故障診斷學(xué)術(shù)會(huì)議論文集[C];2008年

6 蔣霈霖;;KL散度下的非負(fù)矩陣分解[A];中國(guó)自動(dòng)化學(xué)會(huì)中南六省（區(qū)）2010年第28屆年會(huì)·論文集[C];2010年

7 楊寶;朱啟兵;黃敏;;基于非負(fù)矩陣分解一稀疏表示分類(lèi)的玻璃缺陷圖像識(shí)別[A];第24屆中國(guó)控制與決策會(huì)議論文集[C];2012年

8 錢(qián)樂(lè)樂(lè);高雋;徐小紅;;非負(fù)性約束的圖像稀疏編碼[A];第七屆全國(guó)信息獲取與處理學(xué)術(shù)會(huì)議論文集[C];2009年

9 朱昊;黃源水;付夢(mèng)印;;基于NMF的道路識(shí)別算法在野外環(huán)境感知中的應(yīng)用[A];第九屆全國(guó)光電技術(shù)學(xué)術(shù)交流會(huì)論文集（下冊(cè)）[C];2010年

10 鄭能恒;蔡毅;李霞;Tan Lee;;基于非負(fù)矩陣分解和向量相似測(cè)度的語(yǔ)音與音樂(lè)分離算法[A];第十一屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議論文集（一）[C];2011年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 楊士準(zhǔn);基于樣本和特征的遷移學(xué)習(xí)方法及應(yīng)用[D];國(guó)防科學(xué)技術(shù)大學(xué);2013年

2 葉軍;基于正則化方法的非負(fù)矩陣分解算法及其應(yīng)用研究[D];南京理工大學(xué);2014年

3 陸玉武;圖像分類(lèi)中流形回歸與非負(fù)矩陣分解研究[D];哈爾濱工業(yè)大學(xué);2015年

4 張恩德;在線社會(huì)網(wǎng)絡(luò)分析與挖掘若干關(guān)鍵問(wèn)題研究[D];東北大學(xué);2014年

5 胡俐蕊;非負(fù)矩陣分解方法及其在選票圖像識(shí)別中的應(yīng)用[D];安徽大學(xué);2013年

6 殷海青;圖像分析中的非負(fù)矩陣分解理論及其最優(yōu)化和正則化方法研究[D];西安電子科技大學(xué);2011年

7 楊洪禮;非負(fù)矩陣與張量分解及其應(yīng)用[D];山東科技大學(xué);2011年

8 史加榮;多尺度張量逼近及應(yīng)用[D];西安電子科技大學(xué);2012年

9 方蔚濤;人臉識(shí)別特征抽取算法的研究[D];重慶大學(xué);2012年

10 劉昱昊;基于非負(fù)矩陣分解算法的人臉識(shí)別技術(shù)的研究[D];吉林大學(xué);2014年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 謝昊;非負(fù)矩陣分解初始化及其應(yīng)用[D];暨南大學(xué);2015年

2 王一;凸與半非負(fù)矩陣分解的近點(diǎn)梯度方法研究[D];東北師范大學(xué);2015年

3 項(xiàng)磊;基于乳腺癌計(jì)算機(jī)輔助診斷的病理圖像分析[D];南京信息工程大學(xué);2015年

4 王丹;基于非負(fù)矩陣分解的腦電信號(hào)特征提取算法研究[D];燕山大學(xué);2015年

5 馬春霞;非負(fù)矩陣分解及在基因表達(dá)數(shù)據(jù)分析中的應(yīng)用研究[D];曲阜師范大學(xué);2015年

6 崔艷榮;基于非負(fù)矩陣分解的高光譜遙感數(shù)據(jù)融合方法分析及應(yīng)用[D];電子科技大學(xué);2014年

7 賴(lài)淑珍;非負(fù)矩陣分解若干算法研究與應(yīng)用[D];電子科技大學(xué);2014年

8 趙龍;基于多流形正則化非負(fù)矩陣分解的多視圖聚類(lèi)[D];大連理工大學(xué);2015年

9 黃震;基于多視角非負(fù)矩陣分解的同名區(qū)分算法研究[D];大連理工大學(xué);2015年

10 邵強(qiáng);改進(jìn)的非負(fù)矩陣分解算法及其在人臉識(shí)別中的應(yīng)用[D];河北工業(yè)大學(xué);2015年

，

本文編號(hào)：761303