【摘要】：由于現(xiàn)代控制理論受制于系統(tǒng)的模型復(fù)雜程度與模型假設(shè)的可行性,無法對實際生產(chǎn)應(yīng)用中越來越復(fù)雜的控制對象產(chǎn)生良好的鎮(zhèn)定效果。系統(tǒng)復(fù)雜度提高的同時,由于計算機(jī)科學(xué)的發(fā)展,也使得這些復(fù)雜系統(tǒng)在生產(chǎn)運行中產(chǎn)生了大量的數(shù)據(jù),這些數(shù)據(jù)相比較基于機(jī)理建立的系統(tǒng)模型包含了更多的被控對象動態(tài)信息。直接利用這些測量數(shù)據(jù),跳過建模過程,即利用數(shù)據(jù)驅(qū)動(Data-Driven Control)的方式對復(fù)雜系統(tǒng)設(shè)計出滿足性能要求的控制器具有十分現(xiàn)實的意義。針對數(shù)據(jù)驅(qū)動/無模型的控制器設(shè)計方法有很多,近似Q學(xué)習(xí)(Approximate Q-Learning,AQL)作為一種典型的強(qiáng)化學(xué)習(xí)(Reinforcement learning,RL)方法,由于其在被控對象的知識或者模型未知時求解非線性最優(yōu)鎮(zhèn)定控制問題的突出效果,近年來受到了廣泛的關(guān)注。然而,由于函數(shù)逼近誤差的存在,近似Q學(xué)習(xí)(AQL)算法只能給出非線性最優(yōu)鎮(zhèn)定控制問題的近似最優(yōu)解。因此,最優(yōu)性誤差界的定量分析是一個十分關(guān)鍵的問題。這個問題在已發(fā)表的國內(nèi)外文獻(xiàn)中并沒有被徹底的解決。本論文利用值迭代近似Q學(xué)習(xí)(AQL)方法求解數(shù)據(jù)驅(qū)動/無模型的最優(yōu)鎮(zhèn)定控制問題,并創(chuàng)新的提出了一種新的最優(yōu)性誤差界分析框架。主要研究內(nèi)容如下:首先,為了便于可以清晰簡潔地分析非線性動態(tài)系統(tǒng)最優(yōu)鎮(zhèn)定控制問題的最優(yōu)性誤差界,基于對被控對象閉環(huán)系統(tǒng)吸引域(Domain of Attraction,DOA)的估計,給出了非線性動態(tài)系統(tǒng)Q學(xué)習(xí)算子的概念,并給出了 Q學(xué)習(xí)算子的性質(zhì),對Q學(xué)習(xí)算子進(jìn)行了嚴(yán)謹(jǐn)定義。其次,給出了值迭代近似Q學(xué)習(xí)(AQL)算法,該算法可以得到一個次優(yōu)控制器。最后,高斯過程回歸(Gaussian Processes Regression,GPR)是定義在函數(shù)分布上的貝葉斯建模過程,使用高斯過程回歸(GPR)作為Q函數(shù)的函數(shù)估計器,高斯過程回歸(GPR)可以將預(yù)測結(jié)果的標(biāo)準(zhǔn)差作為函數(shù)近似誤差界。進(jìn)而給出了 Q函數(shù)估計的誤差范圍以及值迭代近似Q學(xué)習(xí)閉環(huán)最優(yōu)性誤差界的定量分析結(jié)果,也就是最優(yōu)指標(biāo)與閉環(huán)系統(tǒng)近似Q學(xué)習(xí)(AQL)實際指標(biāo)之間的誤差界。本論文對線性被控對象、非線性被控對象和倒立擺模型分別進(jìn)行了仿真實驗,實驗成果表明,基于值迭代近似Q學(xué)習(xí)(AQL)算法,通過本論文提出的最優(yōu)性誤差界分析框架,可以得到被控對象基于數(shù)據(jù)驅(qū)動控制的一個次優(yōu)控制器,并給出了最優(yōu)性誤差界。從本文的主要成果中可以看出,當(dāng)用于估計Q函數(shù)的有效數(shù)據(jù)數(shù)量和迭代算法迭代的次數(shù)都趨于無限的,最優(yōu)性誤差界為零。
【圖文】：

邐數(shù)據(jù)驅(qū)動Ｑ學(xué)習(xí)鎮(zhèn)定控制邐逡逑顯性地使用被控對象的物理化學(xué)模型，只通過被控對象在線或離線的數(shù)據(jù)經(jīng)過處逡逑理后獲得的知識和信息來實現(xiàn)控制目標(biāo)的控制方法。同時在合理的假設(shè)下，閉環(huán)逡逑系統(tǒng)的穩(wěn)定性和收斂性，能夠被嚴(yán)格的分析。逡逑圖１－２為數(shù)據(jù)驅(qū)動控制方法的基本結(jié)構(gòu)，，正如上文中關(guān)于數(shù)據(jù)驅(qū)動控制的的逡逑定義所說，一方面，控制器的設(shè)計基于測量數(shù)據(jù)，模型不再在控制器設(shè)計的過程逡逑中起主導(dǎo)地位，被控系統(tǒng)的在線或離線數(shù)據(jù)才是控制器設(shè)計的核心因素，也就是逡逑說數(shù)據(jù)主導(dǎo)了控制系統(tǒng)的設(shè)計。另一方面，控制器的設(shè)計過程中仍然可能存在建逡逑模的過程，但這個過程只利用數(shù)據(jù)來獲取模型知識，而不是物理化學(xué)原埋，只利逡逑用數(shù)據(jù)的建模過程可以避免引入過多的假設(shè)。然而，通過數(shù)據(jù)驅(qū)動控制方法得到逡逑的控制器，，仍然需要通過嚴(yán)格的理論分析來保證閉環(huán)系統(tǒng)的性能。逡逑

相互作用中有更大的可能和概率去使用這些成功的行為和決策［２６］。這是一種啟發(fā)逡逑式學(xué)習(xí)的過程，這個過程的目的在于盡量使未來在與環(huán)境的不斷相互作用中的回逡逑報盡可能的大。圖１－３展示了環(huán)境與生物體相互作用的過程。逡逑在控制工程領(lǐng)域內(nèi)，回報的最大化可以看作是控制指標(biāo)的最小化。盡管強(qiáng)化逡逑學(xué)習(xí)（ＲＬ）的起源是從計算機(jī)科學(xué)領(lǐng)域發(fā)展而來，但它現(xiàn)在己經(jīng)得到了控制領(lǐng)逡逑域科學(xué)家的理論驗證。由于強(qiáng)化學(xué)習(xí)（ＲＬ）能夠有效處理無模型／數(shù)據(jù)驅(qū)動的最逡逑４逡逑
【學(xué)位授予單位】：浙江工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 呂煜航;;探究大數(shù)據(jù)驅(qū)動的社會科學(xué)研究轉(zhuǎn)型[J];科學(xué)技術(shù)創(chuàng)新;2019年14期

2 王學(xué)勇;費廷偉;史旭升;王文琦;;數(shù)據(jù)驅(qū)動的智慧企業(yè)管理新模式探索[J];軍民兩用技術(shù)與產(chǎn)品;2019年05期

3 李平;蔣君毅;;基于大數(shù)據(jù)驅(qū)動的高校學(xué)生就業(yè)服務(wù)效能提升研究[J];科技經(jīng)濟(jì)導(dǎo)刊;2019年17期

4 程夢瑤;;達(dá)索系統(tǒng)：數(shù)據(jù)驅(qū)動 助力城市復(fù)興之路[J];軟件和集成電路;2019年11期

5 周德立;;淺論基于數(shù)據(jù)驅(qū)動的智能舞臺技術(shù)研究[J];傳播力研究;2018年20期

6 方璐;;語料庫數(shù)據(jù)驅(qū)動的外語學(xué)習(xí):思想、方法和技術(shù)[J];課程教育研究;2017年29期

7 馮艷艷;;從判斷性評價到專業(yè)化診斷[J];中小學(xué)信息技術(shù)教育;2017年10期

8 李睿;;基于語料庫的數(shù)據(jù)驅(qū)動學(xué)習(xí)在外語教學(xué)中的前景[J];甘肅教育;2007年14期

9 姚琥;;數(shù)據(jù)驅(qū)動,智慧風(fēng)控[J];金融電子化;2017年02期

10 王瑜;;大數(shù)據(jù)驅(qū)動“互聯(lián)網(wǎng)+政務(wù)服務(wù)”模式創(chuàng)新[J];才智;2017年07期

相關(guān)會議論文 前10條

1 高欣;;基于元數(shù)據(jù)驅(qū)動的通信協(xié)議建模技術(shù)[A];全國冶金自動化信息網(wǎng)2015年會論文集[C];2015年

2 胡繼華;;元數(shù)據(jù)驅(qū)動在信息資源管理中的應(yīng)用研究——以城建行業(yè)為例[A];中國地理信息系統(tǒng)協(xié)會第三次代表大會暨第七屆年會論文集[C];2003年

3 吳佳;王

本文編號：2692565