卷積神經(jīng)網(wǎng)絡(luò)CNN目前作為神經(jīng)網(wǎng)絡(luò)的一個(gè)重要分支,相比于其他神經(jīng)網(wǎng)絡(luò)方法更適合應(yīng)用于圖像特征的學(xué)習(xí)和表達(dá)。隨著CNN的不斷發(fā)展,CNN將面臨更多的挑戰(zhàn)。CNN參數(shù)規(guī)模變得越來越大,這使得CNN對計(jì)算的需求量變得非常大。因此,目前產(chǎn)生了許多種方式對CNN的規(guī)模進(jìn)行壓縮。然而壓縮后的CNN模型往往產(chǎn)生了許多稀疏的數(shù)據(jù)結(jié)構(gòu),這種稀疏結(jié)構(gòu)會影響CNN在GPU上的性能。為了解決該問題,采用直接稀疏卷積算法,來加速GPU處理稀疏數(shù)據(jù)。根據(jù)其算法特點(diǎn)將卷積運(yùn)算轉(zhuǎn)換為稀疏向量與稠密向量內(nèi)積運(yùn)算,并將其在GPU平臺上實(shí)現(xiàn)。本文的優(yōu)化方案充分利用數(shù)據(jù)稀疏性和網(wǎng)絡(luò)結(jié)構(gòu)來分配線程進(jìn)行任務(wù)調(diào)度,利用數(shù)據(jù)局部性來管理內(nèi)存替換,使得在稀疏卷積神經(jīng)網(wǎng)絡(luò)SCNN中的GPU仍能夠高效地處理卷積層運(yùn)算。相比cuBLAS的實(shí)現(xiàn),在AlexNet、GoogleNet、ResNet上的性能提升分別達(dá)到1.07×～1.23×、1.17×～3.51×、1.32×～5.00×的加速比。相比cuSPARSE的實(shí)現(xiàn),在AlexNet、GoogleNet、ResNet上的性能提升分別達(dá)到1.31×～1.42×、1.09×～2.00×、1.0...

【文章頁數(shù)】：9 頁

【部分圖文】：

圖１降維展開方式實(shí)現(xiàn)卷積運(yùn)算Ｆｉｇｕｒｅ１Ｌｏｗｅｒｉｎｇｍｅｔｈｏｄｐｅｒｆｏｒｍｓｃｏｎｖｏｌｕｔｉｏｎｏｐｅｒａｔｉｏｎ

Ｆｉｇｕｒｅ１Ｌｏｗｅｒｉｎｇｍｅｔｈｏｄｐｅｒｆｏｒｍｓｃｏｎｖｏｌｕｔｉｏｎｏｐｅｒａｔｉｏｎ圖１降維展開方式實(shí)現(xiàn)卷積運(yùn)算Ｔａｂｌｅ１Ｄｅｓｃｒｉｐｔｉｏｎｏｆｃｏｎｖｏｌｕｔｉｏｎｐａｒａｍｅｔｅｒｓ表１卷積參數(shù)描述參數(shù)描述Ｎ三維輸入特征矩陣批處理任務(wù)的ｂａｔｃｈｓｉｚｅＭ....

圖２直接稀疏卷積Ｆｉｇｕｒｅ２Ｄｉｒｅｃｔｓｐａｒｓｅｃｏｎｖｏｌｕｔｉｏｎ

接稀疏卷積去除了輸入特征矩陣中的數(shù)據(jù)重復(fù)復(fù)制。該算法將卷積核矩陣的規(guī)模擴(kuò)展到輸入矩陣的相同大小。對于延展后的卷積核行展開生成向量Ｗｍ，其長度為Ｃ×Ｈ×Ｗ。由于有Ｍ個(gè)卷積核，對每一個(gè)卷積核進(jìn)行延展后得到了Ｍ×（Ｃ×Ｈ×Ｗ）的權(quán)重矩陣。對于該批次任務(wù)下的輸入矩陣以行展開的方式形成列向....

圖３行壓縮存儲格式Ｆｉｇｕｒｅ３ＣＳＲｆｏｒｍａｔ

Ｆｉｇｕｒｅ３ＣＳＲｆｏｒｍａｔ圖３行壓縮存儲格式的行列指針。相比降維方式，直接稀疏卷積更適合在ＧＰＵ上實(shí)現(xiàn)ＳＣＮＮ。３設(shè)計(jì)與實(shí)現(xiàn)本節(jié)介紹本文所提方法的具體實(shí)現(xiàn)和優(yōu)化。由于權(quán)重刪減后ＳＣＮＮ產(chǎn)生了大量稀疏數(shù)據(jù)結(jié)構(gòu)，而傳統(tǒng)的降維方式并不能保證稀疏矩陣卷積的計(jì)算性能，本文采用全新的直....

圖４權(quán)重延展Ｆｉｇｕｒｅ４Ｗｅｉｇｈｔｓｔｒｅｔｃｈｅｄ

的降維方式并不能保證稀疏矩陣卷積的計(jì)算性能，本文采用全新的直接稀疏卷積來替代降維方式，彌補(bǔ)性能損失。除此以外，ＧＰＵ的體系結(jié)構(gòu)特征需要在實(shí)現(xiàn)過程中對線程映射、任務(wù)分配以及內(nèi)存管理進(jìn)行更多的考慮和優(yōu)化。３．１概述直接稀疏卷積的實(shí)現(xiàn)主要由兩部分組成：（１）數(shù)據(jù)預(yù)處理，主要完成對卷積核....

本文編號：3982862