為了適應(yīng)變化萬千、競爭激烈的市場環(huán)境,制造企業(yè)向多類型、小規(guī)模的離散制造模式轉(zhuǎn)變,導(dǎo)致車間生產(chǎn)過程變得復(fù)雜動態(tài),發(fā)生突發(fā)事件的概率大大提高。而目前離散型制造企業(yè)使用的車間調(diào)度系統(tǒng),同生產(chǎn)實(shí)際情況相差甚遠(yuǎn),在復(fù)雜動態(tài)場合很難應(yīng)用,通常需要人工對調(diào)度方案進(jìn)行適應(yīng)性調(diào)整。但是人工調(diào)整的優(yōu)劣取決于調(diào)度員的經(jīng)驗(yàn)和知識水平,而且往往需要耗費(fèi)大量的時間和勞動力,調(diào)度方案的穩(wěn)定性及車間生產(chǎn)效率難以保證。所以,迫切需要改善生產(chǎn)車間依賴人工調(diào)整的現(xiàn)狀。與此同時,智能制造與數(shù)字化工廠的發(fā)展,使生產(chǎn)車間產(chǎn)生大量數(shù)據(jù),為機(jī)器學(xué)習(xí)的應(yīng)用提供了可能。在這種環(huán)境下,使用深度學(xué)習(xí)、深度強(qiáng)化學(xué)習(xí),開發(fā)基于這些數(shù)據(jù)的自學(xué)習(xí)、自適應(yīng)車間調(diào)度系統(tǒng),不僅考慮了這些數(shù)據(jù)的價值,還可以通過數(shù)據(jù)對實(shí)際調(diào)度車間的實(shí)現(xiàn)動態(tài)感知和智能控制,從而指導(dǎo)實(shí)際生產(chǎn)過程出現(xiàn)的各種動態(tài)問題,實(shí)現(xiàn)車間自適應(yīng)調(diào)度,緩解車間對人工調(diào)整的依賴。因此,本文針對車間調(diào)度系統(tǒng)在實(shí)際應(yīng)用過程中過度依賴人工的特點(diǎn),通過對車間歷史及實(shí)時數(shù)據(jù)的研究和人工調(diào)整經(jīng)驗(yàn)的總結(jié),將深度學(xué)習(xí)、深度強(qiáng)化學(xué)習(xí)融入到高級計劃與排程技術(shù),訓(xùn)練生產(chǎn)系統(tǒng)的學(xué)習(xí)能力,提高生產(chǎn)調(diào)度的自適應(yīng)性和實(shí)時性,... 

【文章來源】：西安理工大學(xué)陜西省

【文章頁數(shù)】：65 頁

【學(xué)位級別】：碩士

【部分圖文】：

智能制造環(huán)境下的車間Fig.1-1Workshopinanintelligentmanufacturingenvironment

體的系統(tǒng)狀態(tài)。強(qiáng)制狀態(tài)離散化的缺點(diǎn)是顯而易見的，因?yàn)闆]有有效的指導(dǎo)如何選擇適當(dāng)?shù)臓顟B(tài)數(shù)以損害計算復(fù)雜性和模型準(zhǔn)確性。Qu等人[58]將車間制造因素與勞動力因素同時考慮進(jìn)來，根據(jù)車間實(shí)時數(shù)據(jù)以及真實(shí)制造環(huán)境，運(yùn)用強(qiáng)化學(xué)習(xí)方法調(diào)整車間調(diào)度方案以及員工調(diào)度方案，很大程度上提高了效率。為了克服傳統(tǒng)強(qiáng)化學(xué)習(xí)技術(shù)在處理復(fù)雜問題維度爆炸的局限性，深度強(qiáng)化學(xué)習(xí)（DeepReinforcementLearning，DRL）的思想被提出，對該問題作出了重大改進(jìn)。這也導(dǎo)致了深度強(qiáng)化學(xué)習(xí)在調(diào)度問題上的研究逐年增高，近年來更是呈斷層式增長（如圖1-2所示，該圖為近年來webofscience雜志上深度強(qiáng)化學(xué)習(xí)方法在調(diào)度優(yōu)化問題上的研究文獻(xiàn)數(shù)量[59]）。AlphaGO的成功激發(fā)了我們通過使用深度體系結(jié)構(gòu)學(xué)習(xí)數(shù)據(jù)間的內(nèi)在聯(lián)系，將深度強(qiáng)化學(xué)習(xí)應(yīng)用于柔性車間調(diào)度問題。劉民毅[60]通過數(shù)據(jù)編碼的方式設(shè)置狀態(tài)空間，根據(jù)緊急訂單的動態(tài)調(diào)度場景設(shè)置獎懲函數(shù)，將緊急訂單下的動態(tài)車間調(diào)度問題轉(zhuǎn)化為深度強(qiáng)化學(xué)習(xí)的序列決策問題；Waschneck等[61]為某半導(dǎo)體制造車間，使用多智能體的DQN模型進(jìn)行優(yōu)化，其中每個智能體在一個工作中心優(yōu)化調(diào)度規(guī)則，同時監(jiān)視其他智能體的行為并進(jìn)行全局優(yōu)化。此外，他們還為DQN智能體使用了兩階段培訓(xùn)方法，提高了自適應(yīng)性和穩(wěn)定性。Shi等人[62]針對采用深度強(qiáng)化學(xué)習(xí)調(diào)度自動生產(chǎn)線，考慮了加工時間隨機(jī)的生產(chǎn)情況，并在具體實(shí)例中驗(yàn)證了強(qiáng)化深度學(xué)習(xí)算法的天然適應(yīng)性。但是文章只對單個案例進(jìn)行優(yōu)化，不能體現(xiàn)深度強(qiáng)化學(xué)習(xí)算法的通用性。圖1-2深度強(qiáng)化學(xué)習(xí)在各類調(diào)度問題上的使用頻率Fig.1-2Thefrequencyofdeepreinforcementlearningusedinschedulingproblems

1緒論9下人工調(diào)整的策略選擇，以便APS系統(tǒng)快速、準(zhǔn)確、智能地響應(yīng)車間生產(chǎn)情況。（2）為了讓機(jī)器識別出人工調(diào)整操作的優(yōu)劣，通過遺傳仿真的方式，仿真人工調(diào)整時刻各人工調(diào)整的優(yōu)劣。試圖將遺傳優(yōu)化與深度學(xué)習(xí)算法相結(jié)合，獲取實(shí)時高效的調(diào)度方案，以達(dá)到智能制造的要求。（3）針對機(jī)器故障、工藝變更等顯性擾動場景，使用深度強(qiáng)化學(xué)習(xí)算法求解動態(tài)車間調(diào)度問題。將動態(tài)車間調(diào)度視為序列決策問題，實(shí)現(xiàn)根據(jù)實(shí)時生產(chǎn)環(huán)境信息自動匹配較優(yōu)的反應(yīng)式調(diào)度策略的目標(biāo)。從而解決目前啟發(fā)式搜索算法求解動態(tài)車間調(diào)度問題的局限性。（4）為了驗(yàn)證深度強(qiáng)化學(xué)習(xí)算法在求解車間調(diào)度問題時的優(yōu)勢，本文分別在靜態(tài)環(huán)境與動態(tài)環(huán)境下，將深度強(qiáng)化學(xué)習(xí)算法與單一調(diào)度規(guī)則、啟發(fā)式搜索算法、傳統(tǒng)強(qiáng)化學(xué)習(xí)算法進(jìn)行對比，驗(yàn)證深度強(qiáng)化學(xué)習(xí)算法的實(shí)時性、動態(tài)性和靈活性。同時根據(jù)研究內(nèi)容搭建可視化平臺，便于調(diào)度人員操作。1.3.2論文的組織結(jié)構(gòu)全文的結(jié)構(gòu)如圖1-3所示。圖1-3論文整體框架Fig.1-3Overallframeworkofpaper論文分為六章，每章的主要內(nèi)容如下：

【參考文獻(xiàn)】：
期刊論文
[1]強(qiáng)化學(xué)習(xí)在運(yùn)籌學(xué)的應(yīng)用:研究進(jìn)展與展望[J]. 徐翔斌,李志鵬.  運(yùn)籌與管理. 2020(05)
[2]考慮生產(chǎn)過程時間的柔性作業(yè)車間調(diào)度優(yōu)化[J]. 李崢峰,于小忠,張國輝,崔陸軍.  工業(yè)工程. 2020(02)
[3]國內(nèi)外智能調(diào)度研究現(xiàn)狀、熱點(diǎn)與發(fā)展趨勢——基于CiteSpace的可視化對比研究[J]. 王婷,衛(wèi)少鵬,廖斌,周彤.  工業(yè)工程. 2020(02)
[4]基于多目標(biāo)的動態(tài)車間調(diào)度問題的策略研究[J]. 成榮榮,畢利.  現(xiàn)代制造工程. 2020(02)
[5]應(yīng)用強(qiáng)化學(xué)習(xí)算法求解置換流水車間調(diào)度問題[J]. 張東陽,葉春明.  計算機(jī)系統(tǒng)應(yīng)用. 2019(12)
[6]基于強(qiáng)化學(xué)習(xí)的生產(chǎn)再決策問題[J]. 夏金,孫宏波,孫立民.  計算機(jī)集成制造系統(tǒng). 2019(11)
[7]面向智能制造車間的AGV系統(tǒng)調(diào)度算法設(shè)計[J]. 張祥祥,楊智飛,胡祥濤,蘇春.  智能制造. 2019(09)
[8]求解柔性作業(yè)車間調(diào)度問題的多策略融合Pareto人工蜂群算法[J]. 趙博選,高建民,付穎斌,趙姣.  系統(tǒng)工程理論與實(shí)踐. 2019(05)
[9]考慮作業(yè)返工的資源受限項(xiàng)目調(diào)度問題[J]. 廖怡娜,陸志強(qiáng).  計算機(jī)集成制造系統(tǒng). 2019(11)
[10]智能制造 調(diào)度為先——《制造系統(tǒng)智能調(diào)度方法與云服務(wù)》導(dǎo)讀[J]. 張潔,秦威.  中國機(jī)械工程. 2019(08)

碩士論文
[1]機(jī)器故障下的柔性作業(yè)車間動態(tài)調(diào)度方法[D]. 陳超.江南大學(xué) 2019
[2]基于強(qiáng)化遺傳算法的車間調(diào)度方法研究[D]. 鐘慧超.華中科技大學(xué) 2019
[3]基于深度強(qiáng)化學(xué)習(xí)的緊急訂單生產(chǎn)控制方法研究[D]. 劉民毅.東南大學(xué) 2018
[4]局部感知情形下的車間調(diào)度建模與優(yōu)化[D]. 吉靖.合肥工業(yè)大學(xué) 2018
[5]機(jī)器故障下離散型制造企業(yè)穩(wěn)健型重調(diào)度問題研究[D]. 谷和平.重慶理工大學(xué) 2018
[6]基于神經(jīng)網(wǎng)絡(luò)的不確定性動態(tài)Job-shop調(diào)度研究[D]. 張予昊.北京交通大學(xué) 2016



本文編號：3210753