針對(duì)隨機(jī)動(dòng)態(tài)規(guī)劃在求解風(fēng)電—抽蓄聯(lián)合系統(tǒng)日隨機(jī)優(yōu)化時(shí)出現(xiàn)的維數(shù)災(zāi)問(wèn)題,提出采用強(qiáng)化學(xué)習(xí)的SARSA算法來(lái)解決。首先分析了風(fēng)電出力隨機(jī)性并采用Beta分布來(lái)表示風(fēng)電出力的概率分布;然后建立了風(fēng)蓄聯(lián)合系統(tǒng)實(shí)際出力與計(jì)劃出力偏差平方最小為目標(biāo)函數(shù)的日隨機(jī)優(yōu)化模型;最后說(shuō)明利用SARSA算法求解該問(wèn)題的步驟。算例應(yīng)用結(jié)果表明,利用SARSA算法求解該問(wèn)題需迭代一定次數(shù)才收斂,且算法的學(xué)習(xí)率隨迭代次數(shù)增加而減小時(shí)可加快算法收斂速度;將SARSA算法與隨機(jī)動(dòng)態(tài)規(guī)劃算法相比,在優(yōu)化結(jié)果接近的情況下,SARSA算法計(jì)算時(shí)間減少約35%,該算法為解決隨機(jī)多能互補(bǔ)問(wèn)題提供了新思路。 

【文章來(lái)源】：水電能源科學(xué). 2020,38(11)北大核心

【文章頁(yè)數(shù)】：5 頁(yè)

【部分圖文】：

SARSA算法在風(fēng)蓄聯(lián)合日隨機(jī)優(yōu)化中應(yīng)用流程圖

風(fēng)蓄聯(lián)合系統(tǒng)的次日計(jì)劃出力曲線及風(fēng)電出力預(yù)測(cè)曲線見(jiàn)圖2。由圖2可看出，風(fēng)電出力具有較強(qiáng)的波動(dòng)性，變化區(qū)間較大；且表現(xiàn)出一定的反調(diào)峰特性，負(fù)荷需求在中午（11:00～14:00）以及傍晚（17:00～21:00）時(shí)較高，在夜間需求較低；而風(fēng)電出力在夜間較高，在白天時(shí)較低。5.1.2 數(shù)據(jù)準(zhǔn)備

SARSA算法通過(guò)不斷迭代試錯(cuò)來(lái)逐步選取每個(gè)狀態(tài)下的最優(yōu)動(dòng)作。在迭代初始階段，算法Q值表值均為默認(rèn)，與各元素的最優(yōu)值存在很大的差距，因此迭代次數(shù)較少時(shí)，系統(tǒng)動(dòng)作更多為隨機(jī)探索，實(shí)際出力與計(jì)劃出力曲線偏差較大；經(jīng)過(guò)了一定次數(shù)迭代后，通過(guò)不斷試錯(cuò)，Q值表內(nèi)各元素值都已經(jīng)更新，各個(gè)狀態(tài)下所采取的動(dòng)作接近或收斂于最優(yōu)值，計(jì)劃出力與實(shí)際出力曲線的擬合度較高。圖3為不同迭代次數(shù)下，風(fēng)電-抽蓄聯(lián)合系統(tǒng)實(shí)際出力曲線的優(yōu)化結(jié)果。由圖3可看出，當(dāng)?shù)螖?shù)達(dá)5 000次后，Q值表內(nèi)的各元素基本更新完畢，已逼近最優(yōu)解，風(fēng)電-抽蓄聯(lián)合系統(tǒng)的出力曲線與計(jì)劃曲線大致重合，出力偏差最小。5.2.2 不同學(xué)習(xí)率下的優(yōu)化結(jié)果分析

【參考文獻(xiàn)】：
期刊論文
[1]基于SARSA算法的水庫(kù)長(zhǎng)期隨機(jī)優(yōu)化調(diào)度研究[J]. 李文武,張雪映,Daniel Eliote Mbanze,吳巍.  水電能源科學(xué). 2018(09)
[2]基于強(qiáng)化學(xué)習(xí)方法的風(fēng)儲(chǔ)合作決策[J]. 劉國(guó)靜,韓學(xué)山,王尚,楊明,王明強(qiáng).  電網(wǎng)技術(shù). 2016(09)
[3]基于動(dòng)態(tài)離散電價(jià)協(xié)約的風(fēng)電-抽蓄聯(lián)合日運(yùn)行優(yōu)化研究[J]. 游文霞,�？�,李文武,盧姬.  水電能源科學(xué). 2015(12)
[4]風(fēng)電和抽水蓄能聯(lián)合送出時(shí)大型風(fēng)電最優(yōu)入網(wǎng)規(guī)模研究[J]. 李惠玲,張志強(qiáng),唐曉駿,鄭超,李順昕,楊金剛.  電網(wǎng)技術(shù). 2015(10)
[5]基于貝塔分布的風(fēng)電功率波動(dòng)區(qū)間估計(jì)[J]. 劉興杰,謝春雨.  電力自動(dòng)化設(shè)備. 2014(12)
[6]基于機(jī)會(huì)約束規(guī)劃的風(fēng)–蓄聯(lián)合動(dòng)態(tài)經(jīng)濟(jì)調(diào)度[J]. 于佳,任建文,周明.  電網(wǎng)技術(shù). 2013(08)
[7]風(fēng)電—抽水蓄能聯(lián)合日運(yùn)行優(yōu)化調(diào)度模型[J]. 胡澤春,丁華杰,孔濤.  電力系統(tǒng)自動(dòng)化. 2012(02)
[8]計(jì)及風(fēng)電功率不確定性的經(jīng)濟(jì)調(diào)度問(wèn)題求解方法[J]. 張昭遂,孫元章,李國(guó)杰,程林,林今.  電力系統(tǒng)自動(dòng)化. 2011(22)



本文編號(hào)：3126126