隨著信息技術(shù)的不斷發(fā)展,計算機需要處理的數(shù)據(jù)量和任務(wù)量日益增多,為了提高計算機程序的運行速度,越來越多的公司、科研機構(gòu)開始通過結(jié)合中央處理器（CPU）和圖形處理器（GPU）的技術(shù)設(shè)計高性能的并行應(yīng)用程序。近年來,GPU已經(jīng)廣泛部署在數(shù)據(jù)中心、高性能計算中心等大型計算集群中,許多智能手機、自動駕駛汽車、智能攝像頭等嵌入式設(shè)備也集成了GPU。NVIDIA、AMD等GPU廠商提供了CUDA、OpenCL等GPU編程平臺和語言,讓用戶能夠更加方便地編寫GPU并行程序。但由于GPU與CPU的體系結(jié)構(gòu)存在較大差異,編寫高性能的GPU程序往往需要一定的經(jīng)驗和優(yōu)化技巧,這使得普通用戶編寫的程序往往還有較大的優(yōu)化空間。為了充分利用深度學(xué)習(xí)、數(shù)據(jù)挖掘等場景中常見的數(shù)據(jù)稀疏性,本文對面向稀疏數(shù)據(jù)的GPU程序優(yōu)化技術(shù)進行了深入的研究。本文首先提出了一種面向稀疏數(shù)據(jù)的GPU程序優(yōu)化思路,主要包含立即數(shù)替換和稀疏常量優(yōu)化兩種策略,通過對基于源代碼、目標(biāo)代碼進行程序優(yōu)化的過程進行分析,闡述了基于目標(biāo)代碼的程序優(yōu)化方法的優(yōu)勢。為了在目標(biāo)代碼層次進行稀疏數(shù)據(jù)的替換,設(shè)計了一種基于模板的立即數(shù)替換方法,通過在源代碼中設(shè)置... 

【文章來源】：吉林大學(xué)吉林省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：81 頁

【學(xué)位級別】：碩士

【部分圖文】：

LeNet-5參數(shù)稀疏程度變化趨勢

由于參數(shù)是浮點型變量，本實驗假定參數(shù)小于 0.00001 時將其看作 0 元素來處理，圖4.3 對這種近似策略的影響進行了評估，（a）中對比了近似策略和原始訓(xùn)練過程的 Loss 值變化趨勢，（b）中對比了近似策略和原始訓(xùn)練過程的預(yù)測結(jié)果準(zhǔn)確率


本文編號：3028419