邏輯回歸是重要的機(jī)器學(xué)習(xí)分類方法之一,由于其模型簡(jiǎn)單、訓(xùn)練速度快而在互聯(lián)網(wǎng)、金融、醫(yī)療等領(lǐng)域有著廣泛的應(yīng)用。在邏輯回歸的訓(xùn)練過(guò)程中最主要的步驟就是使用迭代法對(duì)參數(shù)進(jìn)行更新,隨著實(shí)際應(yīng)用中數(shù)據(jù)規(guī)模的逐漸增大,對(duì)邏輯回歸的訓(xùn)練精度和速度有著越來(lái)越高的要求。近年來(lái)GPU硬件的不斷發(fā)展,使得基于GPU的通用計(jì)算逐漸成為研究熱點(diǎn),這為邏輯回歸的加速訓(xùn)練提供了有力支持。本文基于梯度下降法實(shí)現(xiàn)了邏輯回歸及正則化邏輯回歸,針對(duì)梯度下降中遇到的問(wèn)題對(duì)算法進(jìn)行了改進(jìn),并結(jié)合GPU的硬件特性,實(shí)現(xiàn)了基于GPU的并行化邏輯回歸系統(tǒng)。論文主要完成的工作如下:針對(duì)最速梯度下降法和隨機(jī)梯度下降法在訓(xùn)練過(guò)程中普遍存在的后期收斂慢的問(wèn)題,本文提出了一種基于目標(biāo)函數(shù)收斂速率的動(dòng)態(tài)步長(zhǎng)方法。該方法首先計(jì)算兩次訓(xùn)練過(guò)程中目標(biāo)函數(shù)的收斂速率,然后按照給定的更新頻率和強(qiáng)度對(duì)訓(xùn)練中使用的步長(zhǎng)進(jìn)行更新,取得了后期收斂加速的效果,從而可以節(jié)省訓(xùn)練時(shí)間。針對(duì)1L正則化邏輯回歸中使用的普通符號(hào)函數(shù)并不能真正引導(dǎo)出稀疏性的問(wèn)題,本文提出了一種改進(jìn)型的符號(hào)函數(shù)對(duì)訓(xùn)練中使用的下降方向進(jìn)行改進(jìn)。由于1L正則化項(xiàng)不能求導(dǎo),因此在基于梯度的方法中通常... 

【文章頁(yè)數(shù)】：70 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景和意義
    1.2 國(guó)內(nèi)外相關(guān)研究和綜述
        1.2.1 邏輯回歸算法的研究現(xiàn)狀
        1.2.2 基于GPU的并行計(jì)算研究現(xiàn)狀
    1.3 問(wèn)題的總結(jié)與分析
    1.4 本文主要工作
    1.5 本文組織結(jié)構(gòu)
第2章 邏輯回歸算法及GPU相關(guān)技術(shù)
    2.1 引言
    2.2 邏輯回歸模型及目標(biāo)函數(shù)的推導(dǎo)
        2.2.1 廣義線性模型與邏輯回歸
        2.2.2 邏輯回歸預(yù)測(cè)函數(shù)的使用
        2.2.3 邏輯回歸目標(biāo)函數(shù)的推導(dǎo)
    2.3 GPU與CUDA編程相關(guān)技術(shù)
        2.3.1 GPU硬件結(jié)構(gòu)
        2.3.2 CUDA編程相關(guān)技術(shù)
    2.4 本章小結(jié)
第3章 基于梯度下降的邏輯回歸算法研究
    3.1 引言
    3.2 邏輯回歸算法的迭代優(yōu)化
        3.2.1 無(wú)約束非線性問(wèn)題的迭代優(yōu)化
        3.2.2 不同迭代法的對(duì)比
        3.2.3 邏輯回歸梯度下降算法推導(dǎo)
    3.3 動(dòng)態(tài)步長(zhǎng)的梯度下降邏輯回歸算法
        3.3.1 算法的原理與流程
        3.3.2 算法的復(fù)雜度分析
    3.4 實(shí)驗(yàn)數(shù)據(jù)的預(yù)處理
    3.5 實(shí)驗(yàn)結(jié)果與分析
        3.5.1 實(shí)驗(yàn)過(guò)程
        3.5.2 實(shí)驗(yàn)結(jié)果與分析
    3.6 本章小結(jié)
第4章 基于正則化的邏輯回歸算法研究
    4.1 引言
    4.2 范數(shù)與正則化簡(jiǎn)介
    4.3 正則化邏輯回歸算法推導(dǎo)
    4.4 正則化邏輯回歸算法的改進(jìn)
    4.5 實(shí)驗(yàn)結(jié)果與分析
        4.5.1 實(shí)驗(yàn)過(guò)程
        4.5.2 實(shí)驗(yàn)結(jié)果與分析
    4.6 本章小結(jié)
第5章 基于GPU的并行邏輯回歸算法研究
    5.1 引言
    5.2 并行邏輯回歸算法的推導(dǎo)
    5.3 核函數(shù)的設(shè)計(jì)
        5.3.1 Block與Thread數(shù)目的計(jì)算
        5.3.2 線程的組織結(jié)構(gòu)
    5.4 CUSPARSE的使用
        5.4.1 數(shù)據(jù)格式的轉(zhuǎn)換
        5.4.2 CUSPARSE函數(shù)的調(diào)用
    5.5 實(shí)驗(yàn)結(jié)果與分析
        5.5.1 實(shí)驗(yàn)過(guò)程
        5.5.2 實(shí)驗(yàn)結(jié)果與分析
    5.6 本章小結(jié)
結(jié)論
參考文獻(xiàn)
致謝



本文編號(hào)：3708585