機器學習作為人工智能領域內(nèi)的一個重要方向已經(jīng)在今天發(fā)揮出了越來越重要的作用,隨著機器學習相關算法解決了越來越多的問題的同時,人們也面臨著一些新的因為數(shù)據(jù)量大、模型大、計算量大從而單機無法解決的問題。正是由于這些問題在單臺機器上的不可行,人們自然而然的就想到使用多臺高性能計算機去加速模型的訓練。然而,在大多數(shù)的情況下并不是直接使用多臺機器去訓練就可以直接得到相應的提升的。從機器學習理論的角度來講,大多數(shù)的算法可以形式化為求一個由損失函數(shù)和正則化項所組成的目標函數(shù)的條件最值的問題。而求解這一問題最常用的方式就是用優(yōu)化函數(shù)求解。對于一階函數(shù)而言,最常用的優(yōu)化算法就是隨機梯度下降算法。所以我們認為,首先在隨機梯度下降算法上研究算法的并行化問題可以有較為顯著的收益。主成份分析（PCA）算法和奇異值分解（SVD）廣泛應用于機器學習的各個領域之中。在實際應用中,在整個問題中求解一個PCA子問題所占用的時間開銷往往是巨大的。我們基于方差遞減的隨機梯度下降的方法提出了一種快速分布式主成份分析算法。使用隨機采樣更新目標,并采用延遲同步作為我們的同步機制。近年來,由于深度神經(jīng)網(wǎng)絡在不同方面的出色表現(xiàn),深度神... 

【文章來源】：國防科技大學湖南省 211工程院校 985工程院校

【文章頁數(shù)】：62 頁

【學位級別】：碩士

【部分圖文】：

塊同步并行機制

圖1.2全異步并行機制（3）如圖1.3所示，延遲同步機制（Stale Synchronous Parallism, SSP）可以SP和TAP中的一種折中，具有更好的魯棒性。SSP機制相比BSP機制減時間，相比TAP機制提高了收斂性。這一觀點已經(jīng)被很多新近的工作所5, 30]。

圖1.2全異步并行機制（3）如圖1.3所示，延遲同步機制（Stale Synchronous Parallism, SSP）可以SP和TAP中的一種折中，具有更好的魯棒性。SSP機制相比BSP機制減時間，相比TAP機制提高了收斂性。這一觀點已經(jīng)被很多新近的工作所5, 30]。

【參考文獻】：
期刊論文
[1]基于GraphX的分布式冪迭代聚類[J]. 趙軍,徐曉燕.  計算機應用. 2016(10)



本文編號：3568862