無線傳感器網(wǎng)絡(luò)(WSN)是由若干具有獨(dú)立接收和處理信息的傳感器節(jié)點(diǎn)形成的自組織網(wǎng)絡(luò),廣泛應(yīng)用于物聯(lián)網(wǎng)的若干領(lǐng)域中。無線傳感器網(wǎng)絡(luò)應(yīng)用通常處于動(dòng)態(tài)變化環(huán)境中,如何合理使用網(wǎng)絡(luò)中傳感器節(jié)點(diǎn)的有限能源、處理和存儲(chǔ)資源成為目前無線傳感器網(wǎng)絡(luò)的研究熱點(diǎn)。根據(jù)傳感器節(jié)點(diǎn)采集、處理的內(nèi)外部信息,對(duì)任務(wù)進(jìn)行合理的調(diào)度是解決上述問題的方法之一。強(qiáng)化學(xué)習(xí)使得節(jié)點(diǎn)(對(duì)應(yīng)于Q學(xué)習(xí)中Agent)在有限的計(jì)算和通信能力下,智能的做出任務(wù)調(diào)度決策,并不斷地學(xué)習(xí)來根據(jù)動(dòng)態(tài)變化的環(huán)境和應(yīng)用要求進(jìn)行策略的改變。本文根據(jù)已有的Q學(xué)習(xí)算法,設(shè)計(jì)出基于改進(jìn)SVM(Support Vector Machine)逼近的分布式獨(dú)立Q學(xué)習(xí)的WSN節(jié)點(diǎn)任務(wù)調(diào)度算法和基于全局值函數(shù)的分布式合作型Q學(xué)習(xí)WSN節(jié)點(diǎn)任務(wù)調(diào)度算法。針對(duì)節(jié)點(diǎn)由于任務(wù)調(diào)度所導(dǎo)致的能量浪費(fèi)問題,當(dāng)節(jié)點(diǎn)處于僅考慮自身信息的多變WSN應(yīng)用場(chǎng)景的情況下,本文設(shè)計(jì)了基于改進(jìn)SVM逼近的分布式獨(dú)立Q學(xué)習(xí)的WSN節(jié)點(diǎn)任務(wù)調(diào)度算法。通過設(shè)計(jì)SVM作為值函數(shù)逼近器,有效的減少了狀態(tài)-動(dòng)作空間爆炸問題;對(duì)SVM參數(shù)化改進(jìn)增強(qiáng)了 SVM模型解釋能力,為緩解因過多信息帶來的處理消耗問題,使用了滑動(dòng)時(shí)間窗對(duì)樣本進(jìn)行管理;將貪婪策略與模擬退火結(jié)合,使得節(jié)點(diǎn)在前期可以有效的對(duì)動(dòng)作空間進(jìn)行充分的探索,避免了局部最優(yōu)問題的出現(xiàn)。仿真結(jié)果表明,該算法可以在節(jié)約能量消耗的同時(shí),提升數(shù)據(jù)收集的應(yīng)用性能。另外,針對(duì)已有的合作Q學(xué)習(xí)中采用鄰居節(jié)點(diǎn)發(fā)送的回報(bào)函數(shù)值等不合理信息,以及回報(bào)函數(shù)的設(shè)計(jì)不具備動(dòng)態(tài)性所導(dǎo)致的局部最優(yōu)等問題,本文設(shè)計(jì)了基于全局值函數(shù)的分布式合作Q學(xué)習(xí)的WSN節(jié)點(diǎn)任務(wù)調(diào)度算法。將節(jié)點(diǎn)的值函數(shù)信息作為有效信息傳遞給鄰居節(jié)點(diǎn),使得節(jié)點(diǎn)在任務(wù)調(diào)度的過程中,考慮全網(wǎng)任務(wù)調(diào)度的回報(bào)最大化。另外本文在回報(bào)函數(shù)中加入能量消耗與應(yīng)用性能的影響,使得節(jié)點(diǎn)不增加能量消耗的基礎(chǔ)上,提升了應(yīng)用的性能;其次,Q學(xué)習(xí)中動(dòng)態(tài)探索策略的設(shè)計(jì),避免了節(jié)點(diǎn)在學(xué)習(xí)過程中陷入局部最優(yōu)。仿真結(jié)果表明,算法可以使得節(jié)點(diǎn)通過合理的調(diào)度任務(wù),在不增加網(wǎng)絡(luò)能量消耗的基礎(chǔ)上,提升了應(yīng)用的性能(移動(dòng)目標(biāo)追蹤效率)。
【學(xué)位單位】：合肥工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2018
【中圖分類】：TP212.9;TN929.5
【部分圖文】：

本文對(duì)節(jié)點(diǎn)任務(wù)調(diào)度算法進(jìn)行研究，包括節(jié)點(diǎn)利用自身信息的基于改進(jìn)ＳＶＭ??的分布式獨(dú)立２學(xué)習(xí)的ＷＳＮ節(jié)點(diǎn)任務(wù)調(diào)度算法和基于全局信息的分布式合??２學(xué)習(xí)調(diào)度算法的研宄。文章還介紹并使用了兩種具有代表性抽象應(yīng)用場(chǎng)景，??文算法的實(shí)施效果進(jìn)行問題求解。文章研究主要來源于以下項(xiàng)目：??（１）國(guó)家物聯(lián)網(wǎng)發(fā)展專項(xiàng)基金項(xiàng)目（編號(hào)：［２〇１２］５８３），基于物聯(lián)網(wǎng)的大型建筑??健康監(jiān)測(cè)與安全監(jiān)控平臺(tái)研發(fā)與產(chǎn)業(yè)化；??（２）國(guó)家國(guó)際科技合作專項(xiàng)項(xiàng)目（編號(hào)：２０１４ＤＦＢ１００６０），基于快速移動(dòng)百兆??ＡＮ的礦井機(jī)車無人駕駛系統(tǒng)。???ＷＳＮ研究及其應(yīng)用??不同于傳統(tǒng)計(jì)算機(jī)網(wǎng)絡(luò)，無線傳感網(wǎng)絡(luò)由若干傳感器節(jié)點(diǎn)自組織構(gòu)成，如下??１．１所示。每個(gè)傳感器節(jié)點(diǎn)可視為獨(dú)立的個(gè)體，并擁有自己的系統(tǒng)，同時(shí)，所有??共同合作，也可構(gòu)成一個(gè)整體系統(tǒng)，即便部分傳感器節(jié)點(diǎn)發(fā)生故障，ＷＳＮ作??體，也可以很好的完成既定的任務(wù)。傳感器節(jié)點(diǎn)的功能包括：感知外部信息、??外部信息、分析外部信息和自身完成相應(yīng)動(dòng)作［９］。??

合肥工業(yè)大學(xué)專業(yè)碩士研宄生學(xué)位論文??點(diǎn)具有一定的差別，除具備數(shù)據(jù)收集和計(jì)算功能外，有些節(jié)匯聚，節(jié)點(diǎn)發(fā)揮數(shù)據(jù)存儲(chǔ)和轉(zhuǎn)發(fā)等路由作用。??數(shù)據(jù)獲�。樵模粒眨䲠�(shù)據(jù)處理單元ＤＰＵ數(shù)擺傳輸單元ＤＳＲＵ??．一?—???—?一?—?一—?一一一一??

圖１．３?ＲＬ抽象模型??Ｆｉｇ?１．３?Ａｂｓｔｒａｃｔ?ｍｏｄｅｌ?ｏｆ?ＲＬ??強(qiáng)化學(xué)習(xí)基于馬爾科夫決策，馬爾科夫決策過程如圖１．４所７Ｋ?（解釋詳見１．３．２??節(jié)）。Ａｇｅｎｔ的決策通過狀態(tài)（ｓｔａｔｅ）、動(dòng)作（ａｃｔｉｏｎ）以及獎(jiǎng)罰（ｒｅｗａｒｄ）得到：當(dāng)前狀態(tài)，??Ａｇｅｎｔ根據(jù)探索策略執(zhí)行一個(gè)動(dòng)作，并獲得回報(bào)函數(shù)（獎(jiǎng)懲）并通過評(píng)估改進(jìn)策略??轉(zhuǎn)移到下一狀態(tài)。直觀地可以看出，該步驟最終目的是最大化累積回報(bào)，得到最??優(yōu)決策。設(shè)Ａｇｅｎｔ在ｆ時(shí)刻的狀態(tài)為＼，選擇動(dòng)作ａ，執(zhí)行后將會(huì)改變當(dāng)前狀態(tài)至＼＋１??并獲得立即回報(bào)。??１．３．２馬爾科夫決策過程??馬爾科夫決策過程起源于隨機(jī)優(yōu)化控制，根據(jù)環(huán)境是否可感知的情況，??其可分為完全可觀察ＭＤＰ和部分可觀察ＭＤＰ兩種。以下對(duì)完全可觀察的??馬爾科夫決策過程（本文統(tǒng)稱馬氏決策過程）對(duì)相關(guān)理論基礎(chǔ)進(jìn)行介紹。??馬氏決策過程可以由六元組｛？Ｓ，＾Ｄ，Ｐ，ｒ，Ｊ｝表示［１９］。??圖１．４馬爾科夫決策過程??Ｆｉｇ?１．４?Ｍａｒｋｏｖ?ｄｅｃｉｓｉｏｎ－ｍａｋｉｎｇ?ｐｒｏｃｅｓｓ??５＊代表智能體的ｓｔａｔｅ集合；ｄ代表Ａｇｅｎｔ的Ａｃｔｉｏｎ集合；Ｄ為初始狀??態(tài)概率分布，初始狀態(tài)確定時(shí)值為１，當(dāng)初始狀態(tài)的選擇概率相同，可忽略??￡）；／＞也可以表示／５〇
【參考文獻(xiàn)】

相關(guān)期刊論文 前8條

1 馬學(xué)森;曹政;韓江洪;王營(yíng)冠;胡宏林;;改進(jìn)蟻群算法的無線傳感器網(wǎng)絡(luò)路由優(yōu)化與路徑恢復(fù)算法[J];電子測(cè)量與儀器學(xué)報(bào);2015年09期

2 丁煦;韓江洪;石雷;夏偉;魏振春;;可充電無線傳感器網(wǎng)絡(luò)動(dòng)態(tài)拓?fù)鋯栴}研究[J];通信學(xué)報(bào);2015年01期

3 鄧寒冰;張霞;劉積仁;;效用驅(qū)動(dòng)的多agent合作機(jī)制[J];通信學(xué)報(bào);2013年07期

4 劉志剛;汪晉寬;;基于粒子群優(yōu)化的大規(guī)模傳感器網(wǎng)絡(luò)節(jié)點(diǎn)調(diào)度策略[J];控制與決策;2012年12期

5 梁俊斌;鄧雨榮;郭麗娟;李陶深;;無線傳感器網(wǎng)絡(luò)中事件驅(qū)動(dòng)數(shù)據(jù)收集研究進(jìn)展[J];計(jì)算機(jī)應(yīng)用研究;2012年10期

6 王保云;;物聯(lián)網(wǎng)技術(shù)研究綜述[J];電子測(cè)量與儀器學(xué)報(bào);2009年12期

7 李建中;高宏;;無線傳感器網(wǎng)絡(luò)的研究進(jìn)展[J];計(jì)算機(jī)研究與發(fā)展;2008年01期

8 閻威武,�？×�,邵惠鶴;基于滾動(dòng)時(shí)間窗的最小二乘支持向量機(jī)回歸估計(jì)方法及仿真[J];上海交通大學(xué)學(xué)報(bào);2004年04期

相關(guān)博士學(xué)位論文 前1條

1 石海燕;無線傳感器網(wǎng)絡(luò)可分負(fù)載調(diào)度算法研究[D];浙江工業(yè)大學(xué);2013年

相關(guān)碩士學(xué)位論文 前1條

1 索龍翔;WSN休眠調(diào)度算法研究[D];吉林大學(xué);2014年

本文編號(hào)：2882964