【摘要】：由于現代控制理論受制于系統(tǒng)的模型復雜程度與模型假設的可行性,無法對實際生產應用中越來越復雜的控制對象產生良好的鎮(zhèn)定效果。系統(tǒng)復雜度提高的同時,由于計算機科學的發(fā)展,也使得這些復雜系統(tǒng)在生產運行中產生了大量的數據,這些數據相比較基于機理建立的系統(tǒng)模型包含了更多的被控對象動態(tài)信息。直接利用這些測量數據,跳過建模過程,即利用數據驅動(Data-Driven Control)的方式對復雜系統(tǒng)設計出滿足性能要求的控制器具有十分現實的意義。針對數據驅動/無模型的控制器設計方法有很多,近似Q學習(Approximate Q-Learning,AQL)作為一種典型的強化學習(Reinforcement learning,RL)方法,由于其在被控對象的知識或者模型未知時求解非線性最優(yōu)鎮(zhèn)定控制問題的突出效果,近年來受到了廣泛的關注。然而,由于函數逼近誤差的存在,近似Q學習(AQL)算法只能給出非線性最優(yōu)鎮(zhèn)定控制問題的近似最優(yōu)解。因此,最優(yōu)性誤差界的定量分析是一個十分關鍵的問題。這個問題在已發(fā)表的國內外文獻中并沒有被徹底的解決。本論文利用值迭代近似Q學習(AQL)方法求解數據驅動/無模型的最優(yōu)鎮(zhèn)定控制問題,并創(chuàng)新的提出了一種新的最優(yōu)性誤差界分析框架。主要研究內容如下:首先,為了便于可以清晰簡潔地分析非線性動態(tài)系統(tǒng)最優(yōu)鎮(zhèn)定控制問題的最優(yōu)性誤差界,基于對被控對象閉環(huán)系統(tǒng)吸引域(Domain of Attraction,DOA)的估計,給出了非線性動態(tài)系統(tǒng)Q學習算子的概念,并給出了 Q學習算子的性質,對Q學習算子進行了嚴謹定義。其次,給出了值迭代近似Q學習(AQL)算法,該算法可以得到一個次優(yōu)控制器。最后,高斯過程回歸(Gaussian Processes Regression,GPR)是定義在函數分布上的貝葉斯建模過程,使用高斯過程回歸(GPR)作為Q函數的函數估計器,高斯過程回歸(GPR)可以將預測結果的標準差作為函數近似誤差界。進而給出了 Q函數估計的誤差范圍以及值迭代近似Q學習閉環(huán)最優(yōu)性誤差界的定量分析結果,也就是最優(yōu)指標與閉環(huán)系統(tǒng)近似Q學習(AQL)實際指標之間的誤差界。本論文對線性被控對象、非線性被控對象和倒立擺模型分別進行了仿真實驗,實驗成果表明,基于值迭代近似Q學習(AQL)算法,通過本論文提出的最優(yōu)性誤差界分析框架,可以得到被控對象基于數據驅動控制的一個次優(yōu)控制器,并給出了最優(yōu)性誤差界。從本文的主要成果中可以看出,當用于估計Q函數的有效數據數量和迭代算法迭代的次數都趨于無限的,最優(yōu)性誤差界為零。
【圖文】：

邐數據驅動Ｑ學習鎮(zhèn)定控制邐逡逑顯性地使用被控對象的物理化學模型，只通過被控對象在線或離線的數據經過處逡逑理后獲得的知識和信息來實現控制目標的控制方法。同時在合理的假設下，閉環(huán)逡逑系統(tǒng)的穩(wěn)定性和收斂性，能夠被嚴格的分析。逡逑圖１－２為數據驅動控制方法的基本結構，，正如上文中關于數據驅動控制的的逡逑定義所說，一方面，控制器的設計基于測量數據，模型不再在控制器設計的過程逡逑中起主導地位，被控系統(tǒng)的在線或離線數據才是控制器設計的核心因素，也就是逡逑說數據主導了控制系統(tǒng)的設計。另一方面，控制器的設計過程中仍然可能存在建逡逑模的過程，但這個過程只利用數據來獲取模型知識，而不是物理化學原埋，只利逡逑用數據的建模過程可以避免引入過多的假設。然而，通過數據驅動控制方法得到逡逑的控制器，，仍然需要通過嚴格的理論分析來保證閉環(huán)系統(tǒng)的性能。逡逑

相互作用中有更大的可能和概率去使用這些成功的行為和決策［２６］。這是一種啟發(fā)逡逑式學習的過程，這個過程的目的在于盡量使未來在與環(huán)境的不斷相互作用中的回逡逑報盡可能的大。圖１－３展示了環(huán)境與生物體相互作用的過程。逡逑在控制工程領域內，回報的最大化可以看作是控制指標的最小化。盡管強化逡逑學習（ＲＬ）的起源是從計算機科學領域發(fā)展而來，但它現在己經得到了控制領逡逑域科學家的理論驗證。由于強化學習（ＲＬ）能夠有效處理無模型／數據驅動的最逡逑４逡逑
【學位授予單位】：浙江工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP13

【相似文獻】

相關期刊論文 前10條

1 呂煜航;;探究大數據驅動的社會科學研究轉型[J];科學技術創(chuàng)新;2019年14期

2 王學勇;費廷偉;史旭升;王文琦;;數據驅動的智慧企業(yè)管理新模式探索[J];軍民兩用技術與產品;2019年05期

3 李平;蔣君毅;;基于大數據驅動的高校學生就業(yè)服務效能提升研究[J];科技經濟導刊;2019年17期

4 程夢瑤;;達索系統(tǒng)：數據驅動 助力城市復興之路[J];軟件和集成電路;2019年11期

5 周德立;;淺論基于數據驅動的智能舞臺技術研究[J];傳播力研究;2018年20期

6 方璐;;語料庫數據驅動的外語學習:思想、方法和技術[J];課程教育研究;2017年29期

7 馮艷艷;;從判斷性評價到專業(yè)化診斷[J];中小學信息技術教育;2017年10期

8 李睿;;基于語料庫的數據驅動學習在外語教學中的前景[J];甘肅教育;2007年14期

9 姚琥;;數據驅動,智慧風控[J];金融電子化;2017年02期

10 王瑜;;大數據驅動“互聯網+政務服務”模式創(chuàng)新[J];才智;2017年07期

相關會議論文 前10條

1 高欣;;基于元數據驅動的通信協議建模技術[A];全國冶金自動化信息網2015年會論文集[C];2015年

2 胡繼華;;元數據驅動在信息資源管理中的應用研究——以城建行業(yè)為例[A];中國地理信息系統(tǒng)協會第三次代表大會暨第七屆年會論文集[C];2003年

3 吳佳;王

本文編號：2692565