數(shù)據(jù)分類作為數(shù)據(jù)挖掘中一個(gè)重要的分支,如今已經(jīng)成為大數(shù)據(jù)時(shí)代的研究熱點(diǎn)。邏輯回歸是一種重要的機(jī)器學(xué)習(xí)分類算法,憑借其模型簡(jiǎn)單、訓(xùn)練高效、對(duì)線性數(shù)據(jù)擬合程度高等優(yōu)點(diǎn),在互聯(lián)網(wǎng)、醫(yī)療、金融等領(lǐng)域有著廣泛的應(yīng)用。求解邏輯回歸算法中的損失函數(shù)通常使用梯度下降這種迭代算法。在不同的梯度下降法中,小批量梯度下降法因其出色的性能被更加廣泛地應(yīng)用。傳統(tǒng)的小批量梯度下降法中采用固態(tài)學(xué)習(xí)率,其缺點(diǎn)是在算法訓(xùn)練過(guò)程中,始終不變的學(xué)習(xí)率可能會(huì)導(dǎo)致算法的損失函數(shù)無(wú)法收斂到最優(yōu)值,使得算法的訓(xùn)練效率和分類精度都會(huì)受到影響,在如今樣本數(shù)據(jù)規(guī)模越來(lái)越大的情況下,無(wú)法滿足需求,因此本文一個(gè)研究方向是對(duì)算法進(jìn)行改進(jìn)。另一方面規(guī)模越大的數(shù)據(jù)集對(duì)邏輯回歸算法的訓(xùn)練速度有著越高的要求。隨著GPU硬件技術(shù)的發(fā)展,越來(lái)越多的研究集中在GPU通用計(jì)算領(lǐng)域上。這為邏輯回歸算法運(yùn)算加速提供了方向。Tensor Flow作為時(shí)下十分流行的機(jī)器學(xué)習(xí)框架,十分支持對(duì)GPU的調(diào)用,這也為實(shí)現(xiàn)邏輯回歸算法在GPU上的加速提供了合適的平臺(tái)。論文針對(duì)以上兩個(gè)問(wèn)題,主要完成如下兩方面工作:（1）針對(duì)小批量梯度下降法中采用固態(tài)學(xué)習(xí)率方法進(jìn)行改進(jìn),提出了一... 

【文章來(lái)源】：吉林大學(xué)吉林省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：65 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

線性回歸擬合效果圖

圖 2.3 sigmoid 函數(shù)看出，當(dāng)自變量 趨近于正無(wú)窮時(shí)，因變量 趨量 趨近于 0。它可以將任意實(shí)數(shù)映射到（0， ，這可以看作是一條分界線，以 0.5 為分界閾 時(shí)， 被分為另一個(gè)類別。這也是 Sig0.5-6 -4 -2 0 2 4 61

圖 2.5 TensorFlow 計(jì)算示意圖Graphics processing unit）簡(jiǎn)稱 GPU。GPU 最早被隨著機(jī)器學(xué)習(xí)的發(fā)展與興起，GPU 強(qiáng)大的運(yùn)算能力 CPU，GPU 有著強(qiáng)大的并行計(jì)算能力。如圖 2.6 所是算術(shù)邏輯單元，Cache 是 CPU 內(nèi)部緩存，DRAM 的對(duì)比，可以發(fā)現(xiàn) GPU 將更多的晶體管用作執(zhí)行單用來(lái)作為控制單元和緩存單元。這也是 GPU 的運(yùn)

【參考文獻(xiàn)】：
期刊論文
[1]深度神經(jīng)網(wǎng)絡(luò)并行化研究綜述[J]. 朱虎明,李佩,焦李成,楊淑媛,侯彪.  計(jì)算機(jī)學(xué)報(bào). 2018(08)
[2]隨機(jī)森林理論淺析[J]. 董師師,黃哲學(xué).  集成技術(shù). 2013(01)
[3]隨機(jī)森林方法研究綜述[J]. 方匡南,吳見(jiàn)彬,朱建平,謝邦昌.  統(tǒng)計(jì)與信息論壇. 2011(03)
[4]決策樹(shù)算法及其核心技術(shù)[J]. 楊學(xué)兵,張俊.  計(jì)算機(jī)技術(shù)與發(fā)展. 2007(01)

碩士論文
[1]GPU存儲(chǔ)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 肖靈芝.西安郵電大學(xué) 2013



本文編號(hào)：3074188