發(fā)布時間：2021-07-09 05:55

　　最優(yōu)化是運籌學(xué)的一個重要分支,在經(jīng)濟(jì)、金融、工程、管理、軍事與國防等諸多領(lǐng)域有廣泛應(yīng)用.特別地,它是機器學(xué)習(xí)與人工智能的關(guān)鍵技術(shù).隨著大數(shù)據(jù)時代的來臨,數(shù)據(jù)規(guī)模越來越大,數(shù)據(jù)維數(shù)越來越高,現(xiàn)有最優(yōu)化算法面臨運算速度慢、計算量大的挑戰(zhàn).如何設(shè)計出快速有效的算法,是當(dāng)今國際國內(nèi)的一個熱點研究課題.本文圍繞機器學(xué)習(xí)中的一類隨機優(yōu)化算法進(jìn)行研究,提出了一種新式快速算法.本文首先介紹了研究背景及意義,并對前人所提出的針對大規(guī)模優(yōu)化問題的兩類算法作出概述,然后在比較和總結(jié)前人研究的基礎(chǔ)上,提出了基于GS準(zhǔn)則的小批量塊坐標(biāo)下降法.該算法具有如下特點:（1）給出了塊坐標(biāo)情形下的GS準(zhǔn)則,通過該準(zhǔn)則選取特定坐標(biāo)塊,使得算法在每一迭代步有最優(yōu)的目標(biāo)函數(shù)下降量;（2）結(jié)合隨機梯度下降法的思想,通過隨機選擇部分樣本計算局部梯度作為對全局梯度的近似,以達(dá)到減少計算量的效果,并且通過引入方差縮減技術(shù),使得由隨機選擇樣本所帶來的方差漸近收斂至零;（3）在每輪迭代步選取梯度中單個坐標(biāo)塊來更新參數(shù),從而進(jìn)一步減少計算量.本文基于4個真實數(shù)據(jù)集展開數(shù)值實驗,從時間、計算量和稀疏度等方面比較不同算法效果,數(shù)值結(jié)果表明本文提... 

【文章來源】：北京交通大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：46 頁

【學(xué)位級別】：碩士

【部分圖文】：

計算機視覺技術(shù)使計算機自動識別圖片中的物體Figure1.1:Computervisionenablescomputerstoa

第１章緒論??１．?１背景介紹??最優(yōu)化是運籌學(xué)的一個重要分支，在科學(xué)、社會、經(jīng)濟(jì)發(fā)展中起著很重要的??作用，在金融、國防、能源、醫(yī)學(xué)、化工藥學(xué)、通信及手工農(nóng)業(yè)等領(lǐng)域有著大量??的應(yīng)用，具有深遠(yuǎn)的實際價值．在我們的實際生活中，很多問題都可以歸屬到最??優(yōu)化這一方面．特別地，它是機器學(xué)習(xí)與人工智能的關(guān)鍵技術(shù)．隨著人工智能浪??潮的來臨，ＡＩ深入到社會各個領(lǐng)域，大幅提升社會工作效率．機器學(xué)習(xí)是人工智??能的核心，而機器學(xué)習(xí)問題最終需要以最優(yōu)化方法求解一類優(yōu)化模型．隨著大數(shù)??據(jù)時代的來臨，數(shù)據(jù)規(guī)模龐大，數(shù)據(jù)維數(shù)極高，現(xiàn)有的最優(yōu)化算法面臨計算速度??緩慢、計算量較大的挑戰(zhàn)．如何設(shè)計出快速求解相關(guān)優(yōu)化模型的最優(yōu)化算法，是??當(dāng)今國際國內(nèi)的一個熱點研宄領(lǐng)域．只有最優(yōu)化算法算得快，機器學(xué)習(xí)才能在可??接受時間范圍內(nèi)給出滿意的結(jié)果．??人工智能在現(xiàn)實中應(yīng)用廣泛，以下是ＡＩ技術(shù)在實際生活中的應(yīng)用：??

以上ＡＩ技術(shù)的背后，是各式各樣的機器學(xué)習(xí)算法．而大部分機器學(xué)習(xí)算法??的核心在于最優(yōu)化算法，它直接關(guān)系到ＡＩ算法是否能夠滿足人們對時間和效率??的要求．隨著大數(shù)據(jù)時代的來臨，數(shù)據(jù)量越來越龐大，數(shù)據(jù)的維度也越來越高，使??得傳統(tǒng)的優(yōu)化算法在求解相應(yīng)優(yōu)化問題時用時過長，甚至因受制于硬件因素（如??內(nèi)存不足）而根本無法求解．一個好的最優(yōu)化算法可以直接給社會帶來效益，因??此其具有重要以及深遠(yuǎn)的意義．為了解決大規(guī)模數(shù)據(jù)及高維數(shù)據(jù)帶來的計算和??存儲方面的困難，隨機梯度下降類算法和坐標(biāo)下降類算法受到了越來越大的關(guān)??注．??隨機梯度下降類算法（Ｓｔｏｃｈａｓｔｉｃ?Ｇｒａｄｉｅｎｔ?Ｄｅｓｃｅｎｔ）［ｌ，?３，?４，?１１，?１４，?１５，?２０，?２１，２３］??的思想主要為在每次迭代過程中隨機選擇一部分樣本來計算梯度，作為對全局??梯度的一個近似，并用其更新參數(shù)，從而達(dá)到減小計算量的效果．針對樣本維度??過大的問題，前人對于坐標(biāo)下降類算法（Ｃｏｏｒｄｉｎａｔｅ?Ｄｅｃｓｅｎｔ）［５，?７，?１９，?３０，?３１，３４，?３５，??２??


本文編號：3273170