推廣動(dòng)量加速非負(fù)隱特征分析模型的收斂性能研究
發(fā)布時(shí)間：2021-03-29 23:13
大數(shù)據(jù)時(shí)代,許多工業(yè)應(yīng)用需要經(jīng)常處理大量實(shí)體及其對(duì)應(yīng)的高維關(guān)系,其中涉及的實(shí)體數(shù)量呈爆炸式增長(zhǎng),由于它們之間的關(guān)系不能完全被觀察到,在實(shí)際中人們常采用高維稀疏矩陣來(lái)描述這種關(guān)系。雖然高維稀疏矩陣極度稀疏,但是它們包含了大量非常有價(jià)值的知識(shí),為了從中提取出這些有價(jià)值的知識(shí),研究者們提出了快速非負(fù)隱特征分析模型�？焖俜秦�(fù)隱特征分析模型在非負(fù)乘法更新算法的基礎(chǔ)上兼容了推廣動(dòng)量方法,較非負(fù)隱特征分析模型,它能更快地從高維稀疏矩陣中抽取隱特征,具有較好的收斂效果。但是,推廣動(dòng)量方法加速非負(fù)隱特征分析模型的收斂性能的機(jī)制尚未明確。因此,本文旨在揭示推廣動(dòng)量方法如何加速非負(fù)隱特征分析模型的收斂性能。主要工作和創(chuàng)新點(diǎn)如下:（1）類比快速隱特征分析模型的單元素隱特征依賴非負(fù)乘法更新兼容動(dòng)量算法和牛頓方程,證明了其動(dòng)量項(xiàng)等效于牛頓方程中的質(zhì)量項(xiàng)。對(duì)牛頓方程粒子化,然后對(duì)比分析有質(zhì)量粒子和無(wú)質(zhì)量粒子的兩種情況,類比分析無(wú)質(zhì)量粒子的牛頓方程與采用梯度下降方法的附加梯度下降算法,進(jìn)一步推導(dǎo)出了學(xué)習(xí)率ηu,k與摩擦系數(shù)m和質(zhì)量m的關(guān)系。（2）根據(jù)李雅普諾夫函數(shù)的定義,明確了通過(guò)能量守恒定律建...
【文章來(lái)源】：西華師范大學(xué)四川省
【文章頁(yè)數(shù)】：65 頁(yè)
【學(xué)位級(jí)別】：碩士
【部分圖文】：
HiDS矩陣示意圖
推廣動(dòng)量加速非負(fù)隱特征分析模型概述8由此，我們得到其LFA模型的原理如下圖2.2所示：圖2-2隱特征分析模型原理示意圖Fig.2-2Schematicdiagramoflatentfactormodelanalysismodel在定義2.2中，f代表HiDS矩陣映射在隱特征空間的維度，X和Y分別表示基于HiDS矩陣的已知數(shù)據(jù)集Λ構(gòu)建的反映了用戶集（U）和項(xiàng)目集（I）的LF矩陣。為了獲得LF矩陣X和Y，基于HiDS矩陣中的已知數(shù)據(jù)集Λ構(gòu)建了目標(biāo)函數(shù)來(lái)衡量原始數(shù)據(jù)Z和由兩個(gè)LF矩陣X、Y低秩近似得到的之間的差值。在抽取HiDS矩陣的LFs時(shí)，常采用歐氏距離[35][36][37]作為判斷真實(shí)值與預(yù)測(cè)值之間誤差的度量方法，由此得到LFA模型的目標(biāo)函數(shù)如下：,2,,,,11argmin,,2..,,{1,2,...,}uifuiukikXYzkXYzxystuUiIkf(2-1)其中，zu,i表示HiDS矩陣Z中第u行第i列的值，例如在推薦系統(tǒng)中，用戶u對(duì)項(xiàng)目i的評(píng)分值z(mì)u,i。xu,k和yi,k分別表示兩個(gè)實(shí)體集U和I對(duì)應(yīng)的LF矩陣X和Y的隱特征值，其中k{1-f}。根據(jù)定義2.2可知：,,,1fuiukikkzxyt”(2-2)其中，u,i為原始數(shù)據(jù)中真實(shí)值z(mì)u,i對(duì)應(yīng)的預(yù)測(cè)值，表示由相應(yīng)的兩個(gè)隱特征矩陣X和Y中的第u行和第i行相乘得到的預(yù)測(cè)值。因?yàn)楣I(yè)數(shù)據(jù)集稀的疏度不同，直接最小化目標(biāo)函數(shù)式（2-1）常常會(huì)遇見過(guò)擬合現(xiàn)象，為防止模型過(guò)擬合，常采用Tikhonov正則化方法[38][39][40]約束目標(biāo)函數(shù)。結(jié)合式（2-1）和式（2-2）與Tikhonov正則化方法，得到目標(biāo)函數(shù)：,,222,,,.,.22,222,,,,111argmin,21,2..,,{1,2,...,}uiuiuiuiXuYiXYzffuiuiXukYikzkkXYzzXYzzxystuUiIkf(2-3)
推廣動(dòng)量加速非負(fù)隱特征分析模型概述13圖2-3梯度下降算法算法的原理示意圖Fig.2-3Schematicdiagramoftheadditivegradientdescentalgorithm隨著AGD算法的盛行，許多學(xué)者針對(duì)AGD算法作出了優(yōu)化[46][47][48]。經(jīng)典動(dòng)量方法至1962年提出以來(lái)，成為了AGD算法的一種重要的擴(kuò)展算法�！皠�(dòng)量”的概念起源于物理學(xué)[50][51]，是一個(gè)與物理概念中質(zhì)量和速度相關(guān)的物理量，通常指在運(yùn)動(dòng)時(shí)物體的作用效果。在經(jīng)典動(dòng)量方法中可以將“動(dòng)量”理解為“慣性”，由于慣性的存在，當(dāng)人們跑起來(lái)時(shí)會(huì)比剛開始加速起跑時(shí)更為輕松，同樣地，當(dāng)人們跑過(guò)頭了，想調(diào)頭往回跑時(shí)，慣性會(huì)阻礙你，減小你回跑速度。所以，加入經(jīng)典動(dòng)量方法的AGD算法，當(dāng)它們方向相同時(shí)，動(dòng)量會(huì)加速梯度的下降速度，相反則減速。動(dòng)量減少了AGD算法收斂過(guò)程的震蕩，提高了其收斂速度和精度。如經(jīng)典動(dòng)量梯度下降算法的原理示意圖（圖2-4）所示，同樣假設(shè)一個(gè)場(chǎng)景以便于解釋經(jīng)典動(dòng)量梯度下降算法算法：AGD算法是一個(gè)人走下山，他沿著最陡的方向下山，雖然他的步調(diào)很慢，但是很穩(wěn)定；而動(dòng)量是一個(gè)沉重的球從同一座山滾下來(lái)，增加的慣性既起到了平滑的作用，又起到了加速器的作用，抑制了振蕩，使他穿過(guò)狹窄的山谷、山區(qū)的隆起部分和局部極小值。圖2-4經(jīng)典動(dòng)量方法的原理示意圖Fig.2-4Schematicdiagramoftheclassicalmomentummethod因此引入經(jīng)典動(dòng)量方法的后，AGD算法的更新規(guī)則如下：01110,,.ttttttvvvv(2-11)
【參考文獻(xiàn)】：
期刊論文
[1]基于自適應(yīng)動(dòng)量因子的BP神經(jīng)網(wǎng)絡(luò)優(yōu)化方法研究[J]. 王錦,趙德群,鄧錢華,宋瑞祥. 現(xiàn)代信息科技. 2019(07)
[2]Sigma-Pi-Sigma神經(jīng)網(wǎng)絡(luò)的帶動(dòng)量項(xiàng)梯度算法的收斂性[J]. 張迅. 溫州大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(02)
[3]集值隱函數(shù)的似-Lipschitz性和相依導(dǎo)數(shù)[J]. 王麗娜,方志苗,李明華. 華東師范大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(01)
[4]基于自適應(yīng)動(dòng)量因子的區(qū)間神經(jīng)網(wǎng)絡(luò)建模方法[J]. 陳實(shí),易軍,李倩,黃迪,李太福. 四川大學(xué)學(xué)報(bào)(自然科學(xué)版). 2017(05)
[5]淺議:動(dòng)量守恒定律的應(yīng)用[J]. 范圣泰. 中學(xué)生數(shù)理化(學(xué)習(xí)研究). 2016(07)
[6]基于改進(jìn)LSH的協(xié)同過(guò)濾推薦算法[J]. 李紅梅,郝文寧,陳剛. 計(jì)算機(jī)科學(xué). 2015(10)
[7]基于差異合并的分布式隨機(jī)梯度下降算法[J]. 陳振宏,蘭艷艷,郭嘉豐,程學(xué)旗. 計(jì)算機(jī)學(xué)報(bào). 2015(10)
[8]Liapunov第二方法的應(yīng)用[J]. 臧子龍. 甘肅高師學(xué)報(bào). 2014(02)
[9]動(dòng)量守恒定律與能量守恒定律的適用范圍研究[J]. 韓曉霞. 濟(jì)南職業(yè)學(xué)院學(xué)報(bào). 2013(04)
[10]P與NP問(wèn)題研究[J]. 杜立智,符海東,張鴻,黃遠(yuǎn)林. 計(jì)算機(jī)技術(shù)與發(fā)展. 2013(01)
博士論文
[1]面向大規(guī)模數(shù)據(jù)分析與分類的正則化回歸算法[D]. 徐曉琳.安徽大學(xué) 2017
碩士論文
[1]多機(jī)器人并聯(lián)繩牽引系統(tǒng)動(dòng)力學(xué)建模及分析[D]. 李巍.蘭州交通大學(xué) 2016
[2]基于商品關(guān)系改進(jìn)的協(xié)同過(guò)濾推薦算法[D]. 孫竹.燕山大學(xué) 2016
[3]基于稀疏子空間的高維數(shù)據(jù)聚類關(guān)鍵技術(shù)研究與應(yīng)用[D]. 黃青君.電子科技大學(xué) 2016
[4]基于矩陣分解的推薦系統(tǒng)算法研究[D]. 王鵬.北京交通大學(xué) 2015
[5]牛頓方程周期解的研究[D]. 杜然.揚(yáng)州大學(xué) 2013
本文編號(hào)：3108372
【文章來(lái)源】：西華師范大學(xué)四川省
【文章頁(yè)數(shù)】：65 頁(yè)
【學(xué)位級(jí)別】：碩士
【部分圖文】：
HiDS矩陣示意圖
推廣動(dòng)量加速非負(fù)隱特征分析模型概述8由此，我們得到其LFA模型的原理如下圖2.2所示：圖2-2隱特征分析模型原理示意圖Fig.2-2Schematicdiagramoflatentfactormodelanalysismodel在定義2.2中，f代表HiDS矩陣映射在隱特征空間的維度，X和Y分別表示基于HiDS矩陣的已知數(shù)據(jù)集Λ構(gòu)建的反映了用戶集（U）和項(xiàng)目集（I）的LF矩陣。為了獲得LF矩陣X和Y，基于HiDS矩陣中的已知數(shù)據(jù)集Λ構(gòu)建了目標(biāo)函數(shù)來(lái)衡量原始數(shù)據(jù)Z和由兩個(gè)LF矩陣X、Y低秩近似得到的之間的差值。在抽取HiDS矩陣的LFs時(shí)，常采用歐氏距離[35][36][37]作為判斷真實(shí)值與預(yù)測(cè)值之間誤差的度量方法，由此得到LFA模型的目標(biāo)函數(shù)如下：,2,,,,11argmin,,2..,,{1,2,...,}uifuiukikXYzkXYzxystuUiIkf(2-1)其中，zu,i表示HiDS矩陣Z中第u行第i列的值，例如在推薦系統(tǒng)中，用戶u對(duì)項(xiàng)目i的評(píng)分值z(mì)u,i。xu,k和yi,k分別表示兩個(gè)實(shí)體集U和I對(duì)應(yīng)的LF矩陣X和Y的隱特征值，其中k{1-f}。根據(jù)定義2.2可知：,,,1fuiukikkzxyt”(2-2)其中，u,i為原始數(shù)據(jù)中真實(shí)值z(mì)u,i對(duì)應(yīng)的預(yù)測(cè)值，表示由相應(yīng)的兩個(gè)隱特征矩陣X和Y中的第u行和第i行相乘得到的預(yù)測(cè)值。因?yàn)楣I(yè)數(shù)據(jù)集稀的疏度不同，直接最小化目標(biāo)函數(shù)式（2-1）常常會(huì)遇見過(guò)擬合現(xiàn)象，為防止模型過(guò)擬合，常采用Tikhonov正則化方法[38][39][40]約束目標(biāo)函數(shù)。結(jié)合式（2-1）和式（2-2）與Tikhonov正則化方法，得到目標(biāo)函數(shù)：,,222,,,.,.22,222,,,,111argmin,21,2..,,{1,2,...,}uiuiuiuiXuYiXYzffuiuiXukYikzkkXYzzXYzzxystuUiIkf(2-3)
推廣動(dòng)量加速非負(fù)隱特征分析模型概述13圖2-3梯度下降算法算法的原理示意圖Fig.2-3Schematicdiagramoftheadditivegradientdescentalgorithm隨著AGD算法的盛行，許多學(xué)者針對(duì)AGD算法作出了優(yōu)化[46][47][48]。經(jīng)典動(dòng)量方法至1962年提出以來(lái)，成為了AGD算法的一種重要的擴(kuò)展算法�！皠�(dòng)量”的概念起源于物理學(xué)[50][51]，是一個(gè)與物理概念中質(zhì)量和速度相關(guān)的物理量，通常指在運(yùn)動(dòng)時(shí)物體的作用效果。在經(jīng)典動(dòng)量方法中可以將“動(dòng)量”理解為“慣性”，由于慣性的存在，當(dāng)人們跑起來(lái)時(shí)會(huì)比剛開始加速起跑時(shí)更為輕松，同樣地，當(dāng)人們跑過(guò)頭了，想調(diào)頭往回跑時(shí)，慣性會(huì)阻礙你，減小你回跑速度。所以，加入經(jīng)典動(dòng)量方法的AGD算法，當(dāng)它們方向相同時(shí)，動(dòng)量會(huì)加速梯度的下降速度，相反則減速。動(dòng)量減少了AGD算法收斂過(guò)程的震蕩，提高了其收斂速度和精度。如經(jīng)典動(dòng)量梯度下降算法的原理示意圖（圖2-4）所示，同樣假設(shè)一個(gè)場(chǎng)景以便于解釋經(jīng)典動(dòng)量梯度下降算法算法：AGD算法是一個(gè)人走下山，他沿著最陡的方向下山，雖然他的步調(diào)很慢，但是很穩(wěn)定；而動(dòng)量是一個(gè)沉重的球從同一座山滾下來(lái)，增加的慣性既起到了平滑的作用，又起到了加速器的作用，抑制了振蕩，使他穿過(guò)狹窄的山谷、山區(qū)的隆起部分和局部極小值。圖2-4經(jīng)典動(dòng)量方法的原理示意圖Fig.2-4Schematicdiagramoftheclassicalmomentummethod因此引入經(jīng)典動(dòng)量方法的后，AGD算法的更新規(guī)則如下：01110,,.ttttttvvvv(2-11)
【參考文獻(xiàn)】：
期刊論文
[1]基于自適應(yīng)動(dòng)量因子的BP神經(jīng)網(wǎng)絡(luò)優(yōu)化方法研究[J]. 王錦,趙德群,鄧錢華,宋瑞祥. 現(xiàn)代信息科技. 2019(07)
[2]Sigma-Pi-Sigma神經(jīng)網(wǎng)絡(luò)的帶動(dòng)量項(xiàng)梯度算法的收斂性[J]. 張迅. 溫州大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(02)
[3]集值隱函數(shù)的似-Lipschitz性和相依導(dǎo)數(shù)[J]. 王麗娜,方志苗,李明華. 華東師范大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(01)
[4]基于自適應(yīng)動(dòng)量因子的區(qū)間神經(jīng)網(wǎng)絡(luò)建模方法[J]. 陳實(shí),易軍,李倩,黃迪,李太福. 四川大學(xué)學(xué)報(bào)(自然科學(xué)版). 2017(05)
[5]淺議:動(dòng)量守恒定律的應(yīng)用[J]. 范圣泰. 中學(xué)生數(shù)理化(學(xué)習(xí)研究). 2016(07)
[6]基于改進(jìn)LSH的協(xié)同過(guò)濾推薦算法[J]. 李紅梅,郝文寧,陳剛. 計(jì)算機(jī)科學(xué). 2015(10)
[7]基于差異合并的分布式隨機(jī)梯度下降算法[J]. 陳振宏,蘭艷艷,郭嘉豐,程學(xué)旗. 計(jì)算機(jī)學(xué)報(bào). 2015(10)
[8]Liapunov第二方法的應(yīng)用[J]. 臧子龍. 甘肅高師學(xué)報(bào). 2014(02)
[9]動(dòng)量守恒定律與能量守恒定律的適用范圍研究[J]. 韓曉霞. 濟(jì)南職業(yè)學(xué)院學(xué)報(bào). 2013(04)
[10]P與NP問(wèn)題研究[J]. 杜立智,符海東,張鴻,黃遠(yuǎn)林. 計(jì)算機(jī)技術(shù)與發(fā)展. 2013(01)
博士論文
[1]面向大規(guī)模數(shù)據(jù)分析與分類的正則化回歸算法[D]. 徐曉琳.安徽大學(xué) 2017
碩士論文
[1]多機(jī)器人并聯(lián)繩牽引系統(tǒng)動(dòng)力學(xué)建模及分析[D]. 李巍.蘭州交通大學(xué) 2016
[2]基于商品關(guān)系改進(jìn)的協(xié)同過(guò)濾推薦算法[D]. 孫竹.燕山大學(xué) 2016
[3]基于稀疏子空間的高維數(shù)據(jù)聚類關(guān)鍵技術(shù)研究與應(yīng)用[D]. 黃青君.電子科技大學(xué) 2016
[4]基于矩陣分解的推薦系統(tǒng)算法研究[D]. 王鵬.北京交通大學(xué) 2015
[5]牛頓方程周期解的研究[D]. 杜然.揚(yáng)州大學(xué) 2013
本文編號(hào)：3108372
本文鏈接：http://sikaile.net/kejilunwen/shengwushengchang/3108372.html
最近更新
教材專著
