發(fā)布時間：2021-03-29 23:13

　　大數據時代,許多工業(yè)應用需要經常處理大量實體及其對應的高維關系,其中涉及的實體數量呈爆炸式增長,由于它們之間的關系不能完全被觀察到,在實際中人們常采用高維稀疏矩陣來描述這種關系。雖然高維稀疏矩陣極度稀疏,但是它們包含了大量非常有價值的知識,為了從中提取出這些有價值的知識,研究者們提出了快速非負隱特征分析模型�？焖俜秦撾[特征分析模型在非負乘法更新算法的基礎上兼容了推廣動量方法,較非負隱特征分析模型,它能更快地從高維稀疏矩陣中抽取隱特征,具有較好的收斂效果。但是,推廣動量方法加速非負隱特征分析模型的收斂性能的機制尚未明確。因此,本文旨在揭示推廣動量方法如何加速非負隱特征分析模型的收斂性能。主要工作和創(chuàng)新點如下:（1）類比快速隱特征分析模型的單元素隱特征依賴非負乘法更新兼容動量算法和牛頓方程,證明了其動量項等效于牛頓方程中的質量項。對牛頓方程粒子化,然后對比分析有質量粒子和無質量粒子的兩種情況,類比分析無質量粒子的牛頓方程與采用梯度下降方法的附加梯度下降算法,進一步推導出了學習率η_u,k與摩擦系數m和質量m的關系。（2）根據李雅普諾夫函數的定義,明確了通過能量守恒定律建... 

【文章來源】：西華師范大學四川省

【文章頁數】：65 頁

【學位級別】：碩士

【部分圖文】：

HiDS矩陣示意圖

推廣動量加速非負隱特征分析模型概述8由此，我們得到其LFA模型的原理如下圖2.2所示：圖2-2隱特征分析模型原理示意圖Fig.2-2Schematicdiagramoflatentfactormodelanalysismodel在定義2.2中，f代表HiDS矩陣映射在隱特征空間的維度，X和Y分別表示基于HiDS矩陣的已知數據集Λ構建的反映了用戶集（U）和項目集（I）的LF矩陣。為了獲得LF矩陣X和Y，基于HiDS矩陣中的已知數據集Λ構建了目標函數來衡量原始數據Z和由兩個LF矩陣X、Y低秩近似得到的之間的差值。在抽取HiDS矩陣的LFs時，常采用歐氏距離[35][36][37]作為判斷真實值與預測值之間誤差的度量方法，由此得到LFA模型的目標函數如下：,2,,,,11argmin,,2..,,{1,2,...,}uifuiukikXYzkXYzxystuUiIkf(2-1)其中，zu,i表示HiDS矩陣Z中第u行第i列的值，例如在推薦系統(tǒng)中，用戶u對項目i的評分值zu,i。xu,k和yi,k分別表示兩個實體集U和I對應的LF矩陣X和Y的隱特征值，其中k{1-f}。根據定義2.2可知：,,,1fuiukikkzxyt”(2-2)其中，u,i為原始數據中真實值zu,i對應的預測值，表示由相應的兩個隱特征矩陣X和Y中的第u行和第i行相乘得到的預測值。因為工業(yè)數據集稀的疏度不同，直接最小化目標函數式（2-1）常常會遇見過擬合現象，為防止模型過擬合，常采用Tikhonov正則化方法[38][39][40]約束目標函數。結合式（2-1）和式（2-2）與Tikhonov正則化方法，得到目標函數：,,222,,,.,.22,222,,,,111argmin,21,2..,,{1,2,...,}uiuiuiuiXuYiXYzffuiuiXukYikzkkXYzzXYzzxystuUiIkf(2-3)

推廣動量加速非負隱特征分析模型概述13圖2-3梯度下降算法算法的原理示意圖Fig.2-3Schematicdiagramoftheadditivegradientdescentalgorithm隨著AGD算法的盛行，許多學者針對AGD算法作出了優(yōu)化[46][47][48]。經典動量方法至1962年提出以來，成為了AGD算法的一種重要的擴展算法�！皠恿俊钡母拍钇鹪从谖锢韺W[50][51]，是一個與物理概念中質量和速度相關的物理量，通常指在運動時物體的作用效果。在經典動量方法中可以將“動量”理解為“慣性”，由于慣性的存在，當人們跑起來時會比剛開始加速起跑時更為輕松，同樣地，當人們跑過頭了，想調頭往回跑時，慣性會阻礙你，減小你回跑速度。所以，加入經典動量方法的AGD算法，當它們方向相同時，動量會加速梯度的下降速度，相反則減速。動量減少了AGD算法收斂過程的震蕩，提高了其收斂速度和精度。如經典動量梯度下降算法的原理示意圖（圖2-4）所示，同樣假設一個場景以便于解釋經典動量梯度下降算法算法：AGD算法是一個人走下山，他沿著最陡的方向下山，雖然他的步調很慢，但是很穩(wěn)定；而動量是一個沉重的球從同一座山滾下來，增加的慣性既起到了平滑的作用，又起到了加速器的作用，抑制了振蕩，使他穿過狹窄的山谷、山區(qū)的隆起部分和局部極小值。圖2-4經典動量方法的原理示意圖Fig.2-4Schematicdiagramoftheclassicalmomentummethod因此引入經典動量方法的后，AGD算法的更新規(guī)則如下：01110,,.ttttttvvvv(2-11)

【參考文獻】：
期刊論文
[1]基于自適應動量因子的BP神經網絡優(yōu)化方法研究[J]. 王錦,趙德群,鄧錢華,宋瑞祥.  現代信息科技. 2019(07)
[2]Sigma-Pi-Sigma神經網絡的帶動量項梯度算法的收斂性[J]. 張迅.  溫州大學學報(自然科學版). 2018(02)
[3]集值隱函數的似-Lipschitz性和相依導數[J]. 王麗娜,方志苗,李明華.  華東師范大學學報(自然科學版). 2018(01)
[4]基于自適應動量因子的區(qū)間神經網絡建模方法[J]. 陳實,易軍,李倩,黃迪,李太福.  四川大學學報(自然科學版). 2017(05)
[5]淺議:動量守恒定律的應用[J]. 范圣泰.  中學生數理化(學習研究). 2016(07)
[6]基于改進LSH的協同過濾推薦算法[J]. 李紅梅,郝文寧,陳剛.  計算機科學. 2015(10)
[7]基于差異合并的分布式隨機梯度下降算法[J]. 陳振宏,蘭艷艷,郭嘉豐,程學旗.  計算機學報. 2015(10)
[8]Liapunov第二方法的應用[J]. 臧子龍.  甘肅高師學報. 2014(02)
[9]動量守恒定律與能量守恒定律的適用范圍研究[J]. 韓曉霞.  濟南職業(yè)學院學報. 2013(04)
[10]P與NP問題研究[J]. 杜立智,符海東,張鴻,黃遠林.  計算機技術與發(fā)展. 2013(01)

博士論文
[1]面向大規(guī)模數據分析與分類的正則化回歸算法[D]. 徐曉琳.安徽大學 2017

碩士論文
[1]多機器人并聯繩牽引系統(tǒng)動力學建模及分析[D]. 李巍.蘭州交通大學 2016
[2]基于商品關系改進的協同過濾推薦算法[D]. 孫竹.燕山大學 2016
[3]基于稀疏子空間的高維數據聚類關鍵技術研究與應用[D]. 黃青君.電子科技大學 2016
[4]基于矩陣分解的推薦系統(tǒng)算法研究[D]. 王鵬.北京交通大學 2015
[5]牛頓方程周期解的研究[D]. 杜然.揚州大學 2013



本文編號：3108372