近年來,深度學(xué)習(xí)已經(jīng)在多個領(lǐng)域取得了巨大的成功。深度神經(jīng)網(wǎng)絡(luò)向著更深更廣的方向發(fā)展,訓(xùn)練和部署深度神經(jīng)網(wǎng)絡(luò)模型都將面對巨大的內(nèi)存壓力。加速設(shè)備有限的內(nèi)存空間已經(jīng)成為限制神經(jīng)網(wǎng)絡(luò)模型快速發(fā)展的重要因素,如何在深度學(xué)習(xí)中實(shí)現(xiàn)高效的內(nèi)存管理成為深度學(xué)習(xí)發(fā)展的關(guān)鍵問題。為此,介紹了深度神經(jīng)網(wǎng)絡(luò)的基本特征;分析了深度學(xué)習(xí)訓(xùn)練過程中的內(nèi)存瓶頸;對一些代表性的研究工作進(jìn)行了分類闡述,并對其優(yōu)缺點(diǎn)進(jìn)行了分析;對深度學(xué)習(xí)中內(nèi)存管理技術(shù)的未來發(fā)展趨勢進(jìn)行了探索。

【文章頁數(shù)】：13 頁

【文章目錄】：
1 引言
2 背景介紹
    2.1 DNN的結(jié)構(gòu)及訓(xùn)練過程
    2.2 深度學(xué)習(xí)中的內(nèi)存管理問題
3 深度學(xué)習(xí)中內(nèi)存管理的關(guān)鍵技術(shù)
    3.1 內(nèi)存交換
    3.2 重計(jì)算
    3.3 內(nèi)存共享
    3.4 壓縮
4 結(jié)束語



本文編號：3814228