在機器學習領域,支持向量機(Support Vector Machine,SVM)是一個經(jīng)典并且強大的學習算法。它在解決小樣本、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢,并能夠推廣應用到函數(shù)擬合等其他機器學習問題中。經(jīng)典的SVM學習算法是從原始問題出發(fā),運用拉格朗日乘數(shù)法將原始問題轉(zhuǎn)化為對偶問題后進行求解。另一種訓練SVM分類器的思路是直接從其原始問題入手,然后使用隨機梯度下降算法來得到SVM的最優(yōu)解。隨機梯度下降算法是一個被廣泛應用的優(yōu)化算法,學術界針對隨機梯度下降算法進行了許多改進。隨機梯度下降算法的每次迭代過程只需處理一個隨機的訓練樣例,它對線性SVM分類問題可快速得到最優(yōu)解。本文首先將六種常用的隨機梯度下降的改進方法與線性SVM結合,來探究這六種改進是否會對線性SVM目標函數(shù)的優(yōu)化產(chǎn)生正面影響。除線性SVM外,對非線性SVM分類問題,通過引入核函數(shù)則可得到非線性SVM問題的最優(yōu)解。因為隨機梯度下降算法的運行時間與其迭代次數(shù)呈線性相關關系,而與訓練集的大小無關,所以它非常善于處理大數(shù)據(jù)集。但是,當數(shù)據(jù)集大到無法加載入內(nèi)存時,隨機梯度下降算法同樣會失效。對于數(shù)據(jù)集無法加載入內(nèi)存的... 

【文章來源】：河北大學河北省

【文章頁數(shù)】：41 頁

【學位級別】：碩士

【部分圖文】：

不含動量項

含動量項

ttt W 111WW ttt 出：1WT ]是在動量方法的基礎上進行的改進。根據(jù)動量方法，動量項，而計算 1 t 可以預估計出下一個參數(shù)應該出現(xiàn)的位置。在這個過程中是盲目的，而 NAG 算法希望這個球能意識到自沖上斜坡時，能夠自動減速。法的參數(shù)更新步驟如下： ttttJ 1 1方法一樣，通常將超參數(shù)γ(<1)設置為 0.9。

【參考文獻】：
碩士論文
[1]基于Hadoop平臺的數(shù)據(jù)挖掘分類算法分析與研究[D]. 李正杰.南京郵電大學 2016
[2]Hadoop平臺下的分布式SVM算法及其應用研究[D]. 熊定鴻.西南交通大學 2016
[3]基于Hadoop的分布式支持向量機的研究與應用[D]. 龐進.華北電力大學(北京) 2016
[4]基于Hadoop的并行優(yōu)化方法及其在人臉識別中應用研究[D]. 張臻.電子科技大學 2015



本文編號：2908301