近些年來(lái),卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)作為最重要的深度學(xué)習(xí)(Deep Learning,DL)模型之一,在業(yè)界受到了廣泛的關(guān)注和研究,尤其是在計(jì)算機(jī)視覺(jué)(Computer Vision,CV)等領(lǐng)域發(fā)揮著至關(guān)重要的作用。由于更深層次的網(wǎng)絡(luò)往往能夠提供更好的效果,卷積神經(jīng)網(wǎng)絡(luò)變得越來(lái)越復(fù)雜,隨著網(wǎng)絡(luò)結(jié)構(gòu)的不斷加深和訓(xùn)練數(shù)據(jù)量的顯著增長(zhǎng),通用處理器已經(jīng)無(wú)法很好地滿足這類應(yīng)用的計(jì)算需求。于是,計(jì)算芯片架構(gòu)開始朝著適應(yīng)這類應(yīng)用的定制化方向演進(jìn),進(jìn)而出現(xiàn)了一系列的深度學(xué)習(xí)專用芯片,其中最具有影響力的包括寒武紀(jì)的DianNao系列和谷歌的TPU。它們均是針對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了專用部件的定制和加速,甚至為卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)出了一套高效的專用指令集,可以說(shuō),當(dāng)今國(guó)際上的深度學(xué)習(xí)處理器即為面向卷積神經(jīng)網(wǎng)絡(luò)的加速器。在處理器的設(shè)計(jì)過(guò)程中,標(biāo)準(zhǔn)的基準(zhǔn)測(cè)試程序和測(cè)試指標(biāo)至關(guān)重要。本文提出了一套深度學(xué)習(xí)處理器基準(zhǔn)測(cè)試程序,用于對(duì)當(dāng)前的深度學(xué)習(xí)硬件進(jìn)行客觀評(píng)估,判斷處理器設(shè)計(jì)的合理性以及對(duì)比不同處理器的設(shè)計(jì)優(yōu)劣,指導(dǎo)軟硬件層面的系統(tǒng)優(yōu)化,幫助硬件研究人員設(shè)計(jì)出高效...

【文章頁(yè)數(shù)】：97 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２．２同步數(shù)據(jù)并行訓(xùn)練和異步數(shù)據(jù)并行訓(xùn)練??采用隨機(jī)梯度下降法（ｓｔｏｃｈａｓｔｉｃ?ｇｒａｄｉｅｎｔ?ｄｅｓｃｅｎｔ，ＳＧＤ）［１４】訓(xùn)練時(shí)，加速ＳＧＤ過(guò)??程最簡(jiǎn)單的方法就是在多個(gè)設(shè)備上并行實(shí)現(xiàn)梯度計(jì)算

ＴｅｎｓｏｒＦｌｏｗ的數(shù)據(jù)流圖模型能夠很好地應(yīng)用于計(jì)算密集型網(wǎng)絡(luò)在大規(guī)模數(shù)??據(jù)集上的訓(xùn)練加速過(guò)程，主要包括數(shù)據(jù)并行訓(xùn)練和模型并行訓(xùn)練，其中，數(shù)據(jù)??并行訓(xùn)練又分為同步和異步兩種方式，具體實(shí)現(xiàn)過(guò)程如圖２．２所示。當(dāng)網(wǎng)絡(luò)模型??１１??

圖３．３目標(biāo)檢測(cè)領(lǐng)域的深度學(xué)習(xí)算法??，

傳線方法?傳法方法?ＡｔｅｘＮｅ；?ＺｆＮｅｔ?Ｖ０６?ＧｏｏｇＬｅＮｅｒ?ＳｒＴＣｃｐｒｉｏｎ＿ｖ２ｌｎｃｅｐｌ＇〇ｎ＿ｖ３?Ｒｃ．ｓＮ？ｔ?｜ｎｃ＜；ｐｔｉ〇ｎ＿ｙ４?ＫｅｉＭ？Ｘ?ｔ?ＳｔＮｓｒ??■ｔｏｐｓ豬誤ｓ?■網(wǎng)綰壤＆??圖３．２主流分類網(wǎng)絡(luò)在ＩｍａｇｅＮｅｔ數(shù)據(jù)集....

圖３．４基于中髙級(jí)語(yǔ)義的圖像分割方法??注：黑色、紫色、橙色、紅色字體分別代表基于圖論的分割方法、基于像素聚類??的分割方法、基于候選區(qū)域的語(yǔ)義分割方法、基于端到端的語(yǔ)義分割方法??

傳線方法?傳法方法?ＡｔｅｘＮｅ；?ＺｆＮｅｔ?Ｖ０６?ＧｏｏｇＬｅＮｅｒ?ＳｒＴＣｃｐｒｉｏｎ＿ｖ２ｌｎｃｅｐｌ＇〇ｎ＿ｖ３?Ｒｃ．ｓＮ？ｔ?｜ｎｃ＜；ｐｔｉ〇ｎ＿ｙ４?ＫｅｉＭ？Ｘ?ｔ?ＳｔＮｓｒ??■ｔｏｐｓ豬誤ｓ?■網(wǎng)綰壤＆??圖３．２主流分類網(wǎng)絡(luò)在ＩｍａｇｅＮｅｔ數(shù)據(jù)集....

圖３．５卷積神經(jīng)網(wǎng)絡(luò)一遍前向的ＭＡＣＣｓ??連接層而言較高，全連接層對(duì)網(wǎng)絡(luò)的ＭＡＣＣｓ影響力度被隱藏

Ｈ。和Ｗ。表示卷積層的輸出特征圖尺寸，和表示卷積核尺寸，??和，分別表示輸入通道數(shù)和輸出通道數(shù)，均和叫表示輸入特征圖的尺寸。??圖３．５給出了所選網(wǎng)絡(luò)在單樣本輸入時(shí)一次前向過(guò)程的卷積層和全連接層的乘加??操作次數(shù)，即網(wǎng)絡(luò)的一次前向計(jì)算量。??Ｃｏｎｕ＿Ｍ＞４ＣＣｓ?？０（／ｆ０?....

本文編號(hào)：3911788