【摘要】：在傳統(tǒng)模式下，電力系統(tǒng)實(shí)行垂直一體化的管理，電力公司壟斷了電力生產(chǎn)的各個(gè)環(huán)節(jié)。長(zhǎng)此以往，該模式將不利于電力行業(yè)的健康持續(xù)發(fā)展。上世紀(jì)90年代，智利率先打破電力壟斷，引入市場(chǎng)機(jī)制。歐美等國(guó)緊隨其后紛紛建立電力市場(chǎng)，包括美國(guó)的PJM，CaISO，NYISO，英國(guó)的NETA以及北歐的Nord pool等。如今，電力市場(chǎng)化已成為世界各國(guó)電力行業(yè)發(fā)展的主要趨勢(shì)。已有的研究成果和實(shí)際應(yīng)用表明，通過(guò)電力市場(chǎng)參與者之間的相互競(jìng)爭(zhēng)，可以顯著地提升系統(tǒng)效率，降低生產(chǎn)成本，提高電力服務(wù)的質(zhì)量。發(fā)達(dá)國(guó)家具有市場(chǎng)經(jīng)濟(jì)的豐富經(jīng)驗(yàn)，在運(yùn)行電力市場(chǎng)方面具有較好的理論基礎(chǔ)，然而南美等國(guó)的電力市場(chǎng)實(shí)踐表明，發(fā)展中國(guó)家同樣可以發(fā)展適合其自身的電力市場(chǎng)。近年來(lái)，亞洲國(guó)家也開(kāi)展了豐富的電力市場(chǎng)研究工作，包括我們?cè)侥贤瑯釉诜e極推動(dòng)電力市場(chǎng)。 在市場(chǎng)環(huán)境下，參與者為獲得更高的利潤(rùn)，總是不斷優(yōu)化自身的投標(biāo)策略。不同的參與者一方面需要對(duì)對(duì)手的策略進(jìn)行估計(jì)，另一方面對(duì)自身的市場(chǎng)地位進(jìn)行評(píng)估，從而制定出合適的策略。然而，市場(chǎng)信息對(duì)于參與者而言并不完全，參與者對(duì)于自身策略的優(yōu)化具有較大的難度。隨著市場(chǎng)規(guī)模逐步擴(kuò)大，市場(chǎng)環(huán)境變得更加復(fù)雜。如何通過(guò)一種有效的學(xué)習(xí)方法進(jìn)行策略的搜索及優(yōu)化，，對(duì)于參與者至關(guān)重要。本文針對(duì)強(qiáng)化學(xué)習(xí)在電力批發(fā)市場(chǎng)中的應(yīng)用展開(kāi)研究。為了充分研究發(fā)電成員在市場(chǎng)環(huán)境下的競(jìng)爭(zhēng)行為，本文圍繞電力市場(chǎng)中發(fā)電商的報(bào)價(jià)策略展開(kāi)研究，通過(guò)加強(qiáng)學(xué)習(xí)算法進(jìn)行報(bào)價(jià)策略的優(yōu)化。本文的研究?jī)?nèi)容分別在第2-6章進(jìn)行了表述，主要包括如下幾個(gè)方面： （1）針對(duì)批發(fā)市場(chǎng)進(jìn)行數(shù)學(xué)建模，其內(nèi)容包括批發(fā)市場(chǎng)的結(jié)構(gòu)、運(yùn)行流程、價(jià)格模式等。在該電力市場(chǎng)模型中，發(fā)電商僅有其自己的信息，完全沒(méi)有競(jìng)爭(zhēng)的對(duì)手的信息。參與者可以通過(guò)策略性的招投標(biāo)來(lái)獲得更多的利潤(rùn)。每次交易完成后，根據(jù)收益對(duì)當(dāng)前策略進(jìn)行評(píng)估，從而找到最好的策略。最佳的投標(biāo)策略在市場(chǎng)運(yùn)行中具有重要的實(shí)際意義。 （2）加強(qiáng)學(xué)是從動(dòng)物學(xué)習(xí)文獻(xiàn)借來(lái)的術(shù)語(yǔ)，其更適合不確定市場(chǎng)環(huán)境下的市場(chǎng)競(jìng)爭(zhēng)，并常用來(lái)為電力市場(chǎng)參與者搜尋最優(yōu)策略。本文中進(jìn)行研究強(qiáng)化學(xué)習(xí)的理論基礎(chǔ)。包括其發(fā)展起源和RE-學(xué)習(xí)、Q-學(xué)習(xí)等方法及其改進(jìn)形式。 （3）將Q學(xué)習(xí)方法應(yīng)用于電力供給商的市場(chǎng)投標(biāo)。通過(guò)多次仿真實(shí)驗(yàn)驗(yàn)證該方法的可行性。 （4）將Fuzzy-Q學(xué)習(xí)方法應(yīng)用于電力供給商的策略學(xué)習(xí)。通過(guò)將模糊邏輯和Q學(xué)習(xí)相結(jié)合提升算法的適應(yīng)能力。通過(guò)仿真實(shí)驗(yàn)進(jìn)行驗(yàn)證該算法變得更靈活與應(yīng)用。 （5）將SA-Q學(xué)習(xí)方法應(yīng)用于動(dòng)態(tài)電力市場(chǎng)。通過(guò)退火策略和Q學(xué)習(xí)相結(jié)合提升算法的收斂能力，并通過(guò)仿真實(shí)驗(yàn)進(jìn)行驗(yàn)證。 本文圍繞強(qiáng)化學(xué)習(xí)展開(kāi)電力批發(fā)市場(chǎng)的研究，對(duì)于市場(chǎng)參與者優(yōu)化自身策略具有重要意義。當(dāng)前中國(guó)和越南對(duì)于強(qiáng)化學(xué)習(xí)在電力市場(chǎng)中的應(yīng)用，已有相關(guān)學(xué)者提出，但仍缺乏深入研究。本文的主要成果在于采用不同強(qiáng)化學(xué)習(xí)的方法進(jìn)行比較與優(yōu)化。在如下幾個(gè)方面具有創(chuàng)新性： （1）針對(duì)市場(chǎng)環(huán)境的信息不完全等性質(zhì)，創(chuàng)新性地運(yùn)用學(xué)習(xí)理論進(jìn)行策略?xún)?yōu)化和行為特性分析；并對(duì)不同參與者投標(biāo)函數(shù)的選擇方法進(jìn)行了分析。 （2）創(chuàng)建了基于強(qiáng)化學(xué)習(xí)的電力批發(fā)市場(chǎng)理論模型；將ε-greedy方法和Boltzmann方法創(chuàng)新性地相結(jié)合應(yīng)用，實(shí)現(xiàn)了發(fā)電商最優(yōu)策略搜索。 （3）在仿真建模過(guò)程中，針對(duì)不同的強(qiáng)化學(xué)習(xí)方法進(jìn)行參數(shù)優(yōu)化；在傳統(tǒng)的Q學(xué)習(xí)算法中，參數(shù)主要采用靜態(tài)常數(shù)。而在本文的模糊Q學(xué)習(xí)算法中，系數(shù)根據(jù)輸出反饋進(jìn)行了調(diào)整。在市場(chǎng)參數(shù)方面，提出了兩種相關(guān)的市場(chǎng)力指數(shù)來(lái)評(píng)估市場(chǎng)狀態(tài)。 （4）針對(duì)不同算法的優(yōu)劣進(jìn)行了實(shí)用的創(chuàng)新的分析和比較。 （5）根據(jù)實(shí)際情況，提出了一種動(dòng)態(tài)電力市場(chǎng)模型。在模型中，發(fā)電商和負(fù)荷供給商可以在每小時(shí)動(dòng)態(tài)地改變自身的報(bào)價(jià)。投標(biāo)函數(shù)采用階梯形式，從而簡(jiǎn)化了參與者的投標(biāo)工作。 總之，本文采用了日前批發(fā)電力市場(chǎng)模式，在此模型中，通過(guò)統(tǒng)一的定價(jià)規(guī)則來(lái)出清電力價(jià)格，ISO用直流最優(yōu)潮流來(lái)確定每個(gè)節(jié)點(diǎn)上的發(fā)電量。在此模型中，參與者可根據(jù)其回報(bào)修改報(bào)價(jià)策略。他們的目標(biāo)是通過(guò)強(qiáng)化學(xué)習(xí)算法實(shí)現(xiàn)利潤(rùn)最大化的目標(biāo)。除此以外，我們給出了動(dòng)態(tài)電力市場(chǎng)的學(xué)習(xí)模型。另外，在本文中，我們研究了多種強(qiáng)化學(xué)習(xí)算法，主要包括Q-學(xué)習(xí)，模糊Q-學(xué)習(xí)和SA-Q學(xué)習(xí)等，并將其應(yīng)用到了日前電力批發(fā)市場(chǎng)的最優(yōu)報(bào)價(jià)策略研究中。模糊Q-學(xué)習(xí)算法提供了十分靈活的參數(shù)選擇空間，而SA-Q學(xué)習(xí)算法往往可以獲得較快的收斂速度。我們還通過(guò)ε-greedy方法和Boltzmann方法來(lái)平衡搜索過(guò)程中的探索和利用。采用的仿真系統(tǒng)包括IEEE6節(jié)點(diǎn)電力系統(tǒng)及IEEE9節(jié)點(diǎn)電力系統(tǒng)和IEEE30節(jié)點(diǎn)電力電系統(tǒng)。所有的計(jì)算模型均基于Matlab環(huán)境下的MATPOWER工具包。大量的仿真實(shí)驗(yàn)為本文相關(guān)方法的可行性提供了可靠保障。研究中取得了一些令人鼓舞的成果，使我們課題組可以更多的參與到電力改革和智能電網(wǎng)研究中。
【學(xué)位授予單位】：湖南大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2013
【分類(lèi)號(hào)】：F416.61

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳皓勇;楊彥;張堯;王野平;荊朝霞;陳青松;;電力市場(chǎng)智能模擬中代理決策模塊的實(shí)現(xiàn)[J];電力系統(tǒng)自動(dòng)化;2008年20期

2 荊朝霞;楊瑩;;EWA算法在電力市場(chǎng)仿真中的應(yīng)用[J];電力系統(tǒng)自動(dòng)化;2010年24期

3 黃杰;薛禹勝;文福拴;許劍冰;薛峰;董朝陽(yáng);;電力市場(chǎng)仿真平臺(tái)的評(píng)述[J];電力系統(tǒng)自動(dòng)化;2011年09期

4 陳皓勇;譚科;荊朝霞;華棟;王野平;;電力市場(chǎng)綜合模擬系統(tǒng)——實(shí)驗(yàn)方法與系統(tǒng)架構(gòu)研究[J];電力自動(dòng)化設(shè)備;2010年03期

5 伍春;江虹;易克初;;聚類(lèi)多Agent強(qiáng)化學(xué)習(xí)認(rèn)知無(wú)線電資源分配[J];北京郵電大學(xué)學(xué)報(bào);2014年01期

6 張宏偉;胥然然;張雪花;;直飲水設(shè)施最佳成本決策合作博弈模型[J];系統(tǒng)工程;2014年02期

7 全吉;王先甲;;Evolutionary Game Dynamics in a Fitness-Dependent Wright-Fisher Process with Noise[J];Communications in Theoretical Physics;2011年09期

8 王野平;楊彥;荊朝霞;陳皓勇;陳天恩;;智能代理模擬在電力市場(chǎng)中的運(yùn)用[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年03期

9 傅波;陳鑫;何勇;吳敏;;多智能體合作環(huán)境下的分布式強(qiáng)化學(xué)習(xí)[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年S1期

10 張新華;葉澤;;基于暗標(biāo)拍賣(mài)理論的最優(yōu)電力競(jìng)價(jià)機(jī)制分析[J];系統(tǒng)工程理論與實(shí)踐;2007年04期

相關(guān)會(huì)議論文 前1條

1 朱憲辰;章平;;博弈學(xué)習(xí)模型研究進(jìn)展[A];21世紀(jì)數(shù)量經(jīng)濟(jì)學(xué)（第9卷）[C];2008年

相關(guān)博士學(xué)位論文 前10條

1 楊彥;基于博弈論的考慮輸電網(wǎng)絡(luò)約束電力市場(chǎng)均衡分析[D];華南理工大學(xué);2011年

2 艾江鴻;考慮網(wǎng)損的發(fā)電商壟斷行為及其規(guī)制競(jìng)價(jià)機(jī)制研究[D];重慶大學(xué);2011年

3 黃杰;電力市場(chǎng)動(dòng)態(tài)交互仿真平臺(tái)的設(shè)計(jì)及在排放阻塞研究中的應(yīng)用[D];南京理工大學(xué);2011年

4 劉貞;基于市場(chǎng)交易的電能與環(huán)境協(xié)調(diào)激勵(lì)電價(jià)機(jī)制設(shè)計(jì)[D];重慶大學(xué);2008年

5 甘德一;我國(guó)電力供需側(cè)市場(chǎng)設(shè)計(jì)及其要素與關(guān)鍵問(wèn)題研究[D];華北電力大學(xué)（北京）;2010年

6 宋恒力;流域梯級(jí)水電站聯(lián)盟策略的博弈研究[D];華中科技大學(xué);2013年

7 王睿;低碳發(fā)電調(diào)度模式及其電價(jià)機(jī)制研究[D];華北電力大學(xué);2013年

8 金鵬;公平偏好下國(guó)企高管最優(yōu)顯性和隱性激勵(lì)組合研究[D];湖南大學(xué);2012年

9 王沖;基于Agent的對(duì)地觀測(cè)衛(wèi)星分布式協(xié)同任務(wù)規(guī)劃研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

10 王婕妤;收費(fèi)公路產(chǎn)業(yè)提高經(jīng)濟(jì)績(jī)效的市場(chǎng)結(jié)構(gòu)優(yōu)化研究[D];長(zhǎng)安大學(xué);2013年

相關(guān)碩士學(xué)位論文 前7條

1 寧斌;基于STV戰(zhàn)略論的商貿(mào)批發(fā)市場(chǎng)經(jīng)營(yíng)模式研究[D];廣西師范大學(xué);2011年

2 趙雯硯;初始排污權(quán)定價(jià)模型研究[D];吉林大學(xué);2013年

3 蘇蠡;遼寧省電力公司建設(shè)工程非物資招標(biāo)設(shè)計(jì)與評(píng)價(jià)研究[D];華北電力大學(xué);2013年

4 李淑穎;水污染物排污權(quán)初始分配和交易定價(jià)研究[D];哈爾濱工業(yè)大學(xué);2012年

5 馬阿瑾;高速公路交通事故持續(xù)時(shí)間和影響范圍研究[D];長(zhǎng)安大學(xué);2013年

6 范杰;基于智能代理模型的華東電網(wǎng)跨省電能集中競(jìng)價(jià)市場(chǎng)與調(diào)峰市場(chǎng)仿真研究[D];上海大學(xué);2013年

7 郝亞楠;排污權(quán)交易對(duì)污染減排效果研究[D];浙江理工大學(xué);2014年

本文編號(hào)：2588999