發(fā)布時(shí)間：2024-03-31 02:02

　　深度學(xué)習(xí)的興起使得對(duì)計(jì)算的需求進(jìn)一步加劇,其中循環(huán)神經(jīng)網(wǎng)絡(luò)長(zhǎng)短時(shí)記憶單元中的非線性激活函數(shù)是硬件加速的重點(diǎn)。傳統(tǒng)的查找表法、泰勒級(jí)數(shù)展開(kāi)法、分段線性擬合法的硬件資源開(kāi)銷(xiāo)相對(duì)較大。本文在表驅(qū)動(dòng)線性擬合的硬件加速基礎(chǔ)上,進(jìn)行了分析與數(shù)學(xué)推導(dǎo),提出了非均衡參數(shù)化表驅(qū)動(dòng)線性擬合S型激活函數(shù)的硬件加速。通過(guò)移動(dòng)直線中心,降低了單邊誤差。對(duì)函數(shù)中誤差較大與較小的區(qū)間進(jìn)行差異劃分,提高了誤差分布較大區(qū)間的直線區(qū)間數(shù)量,進(jìn)一步減小誤差。FPGA高層綜合的實(shí)驗(yàn)結(jié)果表明,非均衡表驅(qū)動(dòng)線性擬合法在不增加硬件資源開(kāi)銷(xiāo)和不降低性能的前提下,能夠?qū)崿F(xiàn)較小誤差的優(yōu)化。參數(shù)化進(jìn)一步提高了硬件的復(fù)用性與應(yīng)用選擇的靈活性。

【文章頁(yè)數(shù)】：5 頁(yè)

【部分圖文】：

圖1循環(huán)神經(jīng)網(wǎng)絡(luò)

S型激活函數(shù)源于S型函數(shù),是循環(huán)神經(jīng)網(wǎng)絡(luò)常用的激活函數(shù)[10-12]。S型函數(shù)主要為Sigmoid函數(shù)。S型函數(shù)具有指數(shù)特性,曲線形狀類(lèi)似生物響應(yīng),函數(shù)在x軸兩端趨于飽和。由圖2所示的導(dǎo)數(shù)圖像可以看出,limx→∞f′(x)=0。圖2Sigmoid函數(shù)及導(dǎo)數(shù)圖像

圖2Sigmoid函數(shù)及導(dǎo)數(shù)圖像

圖1循環(huán)神經(jīng)網(wǎng)絡(luò)Sigmoid函數(shù)為激活函數(shù),在定義域(-∞,+∞)上,函數(shù)值域?yàn)閇0,1]的子集(0,1),并滿足單調(diào)遞增。函數(shù)描述為:

圖3表驅(qū)動(dòng)線性擬合法的誤差

接著,對(duì)誤差情況進(jìn)行分析。當(dāng)平均劃分為64段直線區(qū)間時(shí),表驅(qū)動(dòng)線性擬合法的誤差如圖3所示。在x=1.313時(shí),誤差最大值為1.879×10-4。整體上,誤差的均值與方差分別是4.6445×10-7、4.317×10-14。2非均衡表驅(qū)動(dòng)線性擬合法

圖4中心平移的表驅(qū)動(dòng)線性擬合的誤差

觀察圖3與圖4可知,誤差在[0,8]的整個(gè)區(qū)間上是不均衡的,[4,8]上的誤差遠(yuǎn)小于[0,4)上的誤差。由于直線區(qū)間數(shù)量對(duì)誤差存在影響,可以設(shè)想,如果增加[0,4)上的直線區(qū)間數(shù)量,同時(shí)減少[4,8]區(qū)間上的直線區(qū)間數(shù)量,在總體直線區(qū)間數(shù)量不變的前提下,[0,4)與[4,8]上的....

本文編號(hào)：3943274