發(fā)布時間：2021-10-20 07:23

　　當前,深度學習技術已經(jīng)深入到工業(yè)、服務、醫(yī)療、軍事等各個領域。人工智能算法在某些領域已經(jīng)能夠比人類工作的更加出色。因此深度學習技術越來越成為學術界和產(chǎn)業(yè)界的研究熱點。而優(yōu)化現(xiàn)有的深度學習算法,充分發(fā)揮當前硬件的全部性能是算法能否穩(wěn)定成熟應用于實際生活的關鍵。因此,本文對卷積神經(jīng)網(wǎng)中的存儲和計算加速優(yōu)化展開研究,從多個角度分析了卷積神經(jīng)網(wǎng)的網(wǎng)絡和計算特性,并針對幾種具有代表性的卷積神經(jīng)網(wǎng)的存儲和計算加速問題展開分析、求解和驗證。本文的創(chuàng)新點主要包括:·研究分析了基于分塊矩陣分解的卷積神經(jīng)網(wǎng)GPU顯存優(yōu)化方法（第二章）我們提出了三種分塊的GPU顯存優(yōu)化算法,即分塊LU分解算法,分塊Cholesky分解算法和分塊異構CPU-GPU算法。我們的工作獲得了以下幾個方面結果:首先,這三種算法首先解決了傳統(tǒng)的卷積極限學習機ELM-LRF因為受GPU設備上的全局內存大小限制,無法解決大規(guī)模的Moore-Penrose矩陣求逆問題（MPMI）這一挑戰(zhàn)。其次,根據(jù)在ELM-LRF模型中矩陣特征（當H’H矩陣為正定時）加速MPMI而提出了一種有效的分塊Cholesky分解算法。實驗結果表明分塊Cholesk... 

【文章來源】：國防科技大學湖南省 211工程院校 985工程院校

【文章頁數(shù)】：118 頁

【學位級別】：博士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景及意義
        1.1.1 卷積神經(jīng)網(wǎng)絡
        1.1.2 研究依據(jù)
        1.1.3 課題來源
    1.2 研究現(xiàn)狀
        1.2.1 卷積神經(jīng)網(wǎng)中GPU顯存優(yōu)化研究現(xiàn)狀
        1.2.2 卷積神經(jīng)網(wǎng)中GPU計算加速優(yōu)化研究現(xiàn)狀
    1.3 研究內容和創(chuàng)新點
        1.3.1 基于分塊矩陣分解的卷積神經(jīng)網(wǎng)GPU顯存優(yōu)化方法
        1.3.2 大規(guī)模卷積神經(jīng)網(wǎng)虛擬混合存儲算法
        1.3.3 基于圖像合并的高速卷積神經(jīng)網(wǎng)GPU加速算法
        1.3.4 用于快速人臉檢測的全GPU實現(xiàn)的批量多任務級聯(lián)卷積網(wǎng)絡
    1.4 研究經(jīng)歷
    1.5 論文組織
第二章 基于分塊矩陣分解的卷積神經(jīng)網(wǎng)GPU顯存優(yōu)化方法
    2.1 問題提出
    2.2 極限學習機基礎理論
        2.2.1 極限學習機
        2.2.2 基于局部感受野的卷積極限學習機
    2.3 大規(guī)模ELM方案
        2.3.1 分塊LU分解MPMI算法
        2.3.2 分塊Cholesky分解算法
        2.3.3 異構分塊CPU-GPU加速算法
    2.4 實驗和結果
        2.4.1 數(shù)據(jù)集和實驗環(huán)境
        2.4.2 分類準確度
        2.4.3 不同的分塊加速GPU算法的性能
    2.5 本章小結
第三章 大規(guī)模卷積神經(jīng)網(wǎng)虛擬混合存儲算法
    3.1 問題提出
    3.2 卷積神經(jīng)網(wǎng)內存管理相關工作
        3.2.1 移動設備上出現(xiàn)的新機遇
        3.2.2 CNN設計中目前最先進的內存管理策略
    3.3 混合顯存控制方法
        3.3.1 mmCNN設計
        3.3.2 mmCNN算法
        3.3.3 mmCNN的實現(xiàn)
    3.4 實驗和結果
        3.4.1 數(shù)據(jù)集和實驗環(huán)境
        3.4.2 GPU內存使用分析
        3.4.3 mmCNN策略結果
        3.4.4 mmCNN的性能
    3.5 本章小結
第四章 基于圖像合并的高速卷積神經(jīng)網(wǎng)GPU加速算法
    4.1 問題提出
    4.2 卷積加速相關工作
        4.2.1 轉換矩陣乘算法
        4.2.2 轉換FFT算法
    4.3 基于圖像合并的GPU高速輕耗顯存算法
        4.3.1 系統(tǒng)設計
        4.3.2 高速圖像組合算法
        4.3.3 輕耗顯存算法
    4.4 實驗和結果
        4.4.1 數(shù)據(jù)集和實驗環(huán)境
        4.4.2 滑動窗口采樣算法的性能評估
        4.4.3 高速圖像組合算法實驗結果
        4.4.4 輕耗顯存算法的性能評估
        4.4.5 參數(shù)選擇算法
        4.4.6 整體優(yōu)化的實驗結果
    4.5 本章小結
第五章 用于快速人臉檢測的全GPU實現(xiàn)批量多任務級聯(lián)卷積網(wǎng)絡
    5.1 問題提出
    5.2 快速人臉檢測相關工作
        5.2.1 人臉檢測中的CNN網(wǎng)絡
        5.2.2 傳統(tǒng)MTCNN算法
    5.3 基于全GPU實現(xiàn)的批量多任務級聯(lián)卷積網(wǎng)絡
        5.3.1 GB-CNN的多尺度并行化
        5.3.2 基于全GPU的實現(xiàn)
    5.4 實驗和結果
        5.4.1 數(shù)據(jù)集和實驗環(huán)境
        5.4.2 多尺度并行化的有效性
        5.4.3 全GPU實現(xiàn)的有效性
        5.4.4 超參數(shù)的影響
    5.5 本章小結
第六章 總結與展望
    6.1 研究工作總結
    6.2 課題研究展望
致謝
參考文獻
作者在學期間取得的學術成果



本文編號：3446493