基于隨機(jī)失活LSTM網(wǎng)絡(luò)的避雷器阻性電流預(yù)測(cè)方法
【文章頁(yè)數(shù)】:5 頁(yè)
【部分圖文】:
圖1LSTM的四層交互神經(jīng)網(wǎng)絡(luò)示意圖
LSTM是一種特殊的RNN網(wǎng)絡(luò),一般采用“門結(jié)構(gòu)”來實(shí)現(xiàn)增減信息到細(xì)胞狀態(tài)的功能[8]。門是一種讓信息選擇式通過的方法,LSTM擁有3個(gè)門來保護(hù)和控制細(xì)胞狀態(tài),分別是輸入門、輸出門和遺忘門,它們的功能與讀、寫、重置相似,見圖1。圖1中,Ct-1、Ct分別為前一時(shí)刻和當(dāng)前的細(xì)胞狀態(tài)....
圖2隨機(jī)失活神經(jīng)網(wǎng)絡(luò)模型
雖然LSTM是目前實(shí)際應(yīng)用中最高效的序列模型,但與其他深度神經(jīng)網(wǎng)絡(luò)相同,由于隱含層層數(shù)較深,網(wǎng)絡(luò)訓(xùn)練十分耗時(shí),并且易出現(xiàn)過擬合問題。因此,在LSTM網(wǎng)絡(luò)中加入隨機(jī)失活技術(shù),在網(wǎng)絡(luò)的輸入位置,即對(duì)式(1)中的ht-1進(jìn)行置0操作。隨機(jī)失活技術(shù)是對(duì)具有深度結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化的....
圖3隨機(jī)失活的應(yīng)用
讓其中一個(gè)神經(jīng)元以概率p停止運(yùn)作,即將其激活函數(shù)值置為0。如某一層網(wǎng)絡(luò)的神經(jīng)元個(gè)數(shù)為1000,它的激活函數(shù)值為h1、h2、…、h1000,若隨機(jī)失活比率p選擇0.4,則這一層神經(jīng)元經(jīng)過隨機(jī)失活,大約有400個(gè)神經(jīng)元停止工作。圖3為神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中的標(biāo)準(zhǔn)網(wǎng)絡(luò)和經(jīng)過隨機(jī)概率失活....
圖4未使用、使用dropout后的訓(xùn)練結(jié)果
為了驗(yàn)證隨機(jī)失活技術(shù)在處理神經(jīng)網(wǎng)絡(luò)中過擬合的優(yōu)異性能,使用TensorFlow中numpy函數(shù)的隨機(jī)數(shù)生成器隨機(jī)生成一組[-1,1]的數(shù)據(jù)點(diǎn),并分別用加入和未加入隨機(jī)失活技術(shù)的神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練,結(jié)果見圖4。由圖4(a)可看出,該網(wǎng)絡(luò)對(duì)于訓(xùn)練集有較好的擬合效果,但對(duì)測(cè)試集效果....
本文編號(hào):3947535
本文鏈接:http://sikaile.net/kejilunwen/dianlilw/3947535.html