步入5G時(shí)代,云計(jì)算模式難以應(yīng)對(duì)網(wǎng)絡(luò)邊緣產(chǎn)生的大量數(shù)據(jù)以及越來(lái)越多的延遲敏感應(yīng)用,邊緣計(jì)算被提出來(lái)應(yīng)對(duì)這些挑戰(zhàn)。為了充分利用網(wǎng)絡(luò)邊緣產(chǎn)生的大量數(shù)據(jù),機(jī)器學(xué)習(xí)等方法通常被采用,其中深度學(xué)習(xí)在以圖形處理為代表的諸多應(yīng)用場(chǎng)景取得了良好的效果。在“邊緣智能”這一概念的推動(dòng)下,將邊緣計(jì)算技術(shù)和深度學(xué)習(xí)等技術(shù)結(jié)合同時(shí)基于邊緣數(shù)據(jù)的地理分布式特點(diǎn)進(jìn)行邊緣分布式模型訓(xùn)練成為了一個(gè)熱門(mén)的技術(shù)趨勢(shì)。在網(wǎng)絡(luò)邊緣進(jìn)行分布式模型訓(xùn)練首先需要在邊緣節(jié)點(diǎn)上部署相應(yīng)的模型訓(xùn)練服務(wù)。已有的服務(wù)部署研究往往針對(duì)輕量的普通服務(wù),主要從服務(wù)請(qǐng)求延遲和系統(tǒng)能耗等角度研究服務(wù)部署。模型訓(xùn)練服務(wù)的任務(wù)請(qǐng)求由于其資源的密集性和運(yùn)行的長(zhǎng)期性與普通的邊緣服務(wù)有較大的差別,需要從新的應(yīng)用場(chǎng)景研究服務(wù)部署問(wèn)題。本文從時(shí)間段的角度考慮模型訓(xùn)練服務(wù)的部署,并基于服務(wù)部署代價(jià)和服務(wù)部署收益這兩個(gè)量化方式,以最大化系統(tǒng)綜合收益的目標(biāo),研究最優(yōu)的服務(wù)部署決策。服務(wù)部署問(wèn)題首先被形式化為了一個(gè)非線性的0-1整數(shù)規(guī)劃問(wèn)題,然后本文通過(guò)優(yōu)化目標(biāo)轉(zhuǎn)化、松弛、約束條件延遲判斷以及隨機(jī)舍入等技術(shù),提出了 RDSP模型訓(xùn)練服務(wù)部署算法,并通過(guò)理論分析證實(shí)了 RDSP算法的性能保障。基于多個(gè)性能指標(biāo)的仿真結(jié)果顯示,相對(duì)于基準(zhǔn)算法,RDSP算法在維持絕對(duì)的負(fù)載均衡性能優(yōu)勢(shì)的同時(shí)可以提升26%的系統(tǒng)綜合收益。為了保障系統(tǒng)性能,邊緣系統(tǒng)還需要恰當(dāng)?shù)匦遁d分布式模型訓(xùn)練任務(wù)。一個(gè)典型的邊緣分布式模型訓(xùn)練任務(wù)往往涉及到多個(gè)數(shù)據(jù)節(jié)點(diǎn),卸載任務(wù)時(shí)需要解決節(jié)點(diǎn)的指派問(wèn)題。在大部分現(xiàn)有的邊緣任務(wù)卸載相關(guān)研究中,一個(gè)任務(wù)僅涉及一個(gè)請(qǐng)求節(jié)點(diǎn),同時(shí)在大部分邊緣模型訓(xùn)練相關(guān)工作中,往往假設(shè)數(shù)據(jù)是在邊緣節(jié)點(diǎn)準(zhǔn)備好的,而忽略了數(shù)據(jù)節(jié)點(diǎn)指派問(wèn)題。此外,由于邊緣節(jié)點(diǎn)資源的有限性,需要研究如何在多個(gè)邊緣節(jié)點(diǎn)為多個(gè)分布式模型訓(xùn)練任務(wù)分配資源從而保證服務(wù)質(zhì)量,這是大部分現(xiàn)有工作沒(méi)有考慮的。本文聯(lián)合地考慮模型訓(xùn)練任務(wù)的卸載問(wèn)題和資源分配問(wèn)題,并從最大化系統(tǒng)訓(xùn)練任務(wù)吞吐率的角度出發(fā),將這個(gè)聯(lián)合問(wèn)題形式化為一個(gè)被證明為NP難解的非線性混合整數(shù)規(guī)劃問(wèn)題�；诩s束條件轉(zhuǎn)化和隨機(jī)舍入等技術(shù),本文設(shè)計(jì)了 RDJOA算法用于模型訓(xùn)練任務(wù)卸載和資源分配,理論分析表明RDJOA算法有著接近理論最優(yōu)解的性能。仿真結(jié)果指出,相對(duì)于基準(zhǔn)算法,RDJOA算法能提升56%的系統(tǒng)訓(xùn)練任務(wù)吞吐量以及53%的平均邊緣節(jié)點(diǎn)資源利用率。
【學(xué)位單位】：中國(guó)科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2020
【中圖分類】：TN929.5;TP18
【部分圖文】：

?第２章邊緣分布式模型訓(xùn)練相關(guān)概念和技術(shù)???云端??［ｒｎ?—?—?＇ＩＺａ＾＝＾ＣＺｎ?ｒｎｌ??ｉｎ＾￣￣［１?邊緣廳??Ｉ?ＬＥＩ?￣ＬＥＪ｜??ｉ?〕：：：：?ｂＣ?＞??ａ?ｏ?目?？??雜設(shè)備層??ｆｎＴ＝１?Ｈｉ?Ｑ?ｃｆｅ?＾??圖２．１包含邊緣設(shè)備層、邊緣服務(wù)層和云端的邊緣計(jì)算分層架構(gòu)示例??理單位對(duì)匯報(bào)的數(shù)據(jù)進(jìn)行進(jìn)一步的處理。??在上面的實(shí)際例子中，企業(yè)嘗試邊緣計(jì)算模式時(shí)，還需要自己釆購(gòu)服務(wù)器，??部署和管理服務(wù)器，對(duì)于業(yè)務(wù)的開(kāi)展和擴(kuò)展都十分不方便。聯(lián)想到云計(jì)算出現(xiàn)的??契機(jī)是硬件成本降低，而諸多企業(yè)疲于自己管理一個(gè)機(jī)房，于是一些企業(yè)變瞄準(zhǔn)??這樣的機(jī)會(huì)在全球范圍內(nèi)建立大型數(shù)據(jù)中心，對(duì)外提供設(shè)備、平臺(tái)或者服務(wù)。隨??著邊緣計(jì)算的發(fā)展，不久的將來(lái)或許也會(huì)出現(xiàn)類似于云計(jì)算的業(yè)務(wù)模式，使得邊??緣應(yīng)用和服務(wù)能夠快速地開(kāi)發(fā)和部署。同時(shí)，上面的例子也體現(xiàn)出邊緣智能的趨??勢(shì)，越來(lái)越多的邊緣應(yīng)用依賴機(jī)器學(xué)習(xí)等技術(shù)的服務(wù)，在網(wǎng)絡(luò)的邊緣直接部署資??源進(jìn)行模型訓(xùn)練、將訓(xùn)練好的模型直接部署在網(wǎng)絡(luò)邊緣將成為流行的技術(shù)方向。??２．１．３邊緣智能簡(jiǎn)介??近年算法、算力以及數(shù)據(jù)集等的進(jìn)步，使得人工智能取得了突飛猛進(jìn)的發(fā)??展�？紤]到當(dāng)前移動(dòng)終端和物聯(lián)網(wǎng)設(shè)備的高度普及，邊緣智能這一概念應(yīng)運(yùn)而??生。基于邊緣計(jì)算這一新型的計(jì)算模式，人工智能服務(wù)被遷移到更加靠近用戶和??數(shù)據(jù)源頭，模型的訓(xùn)練、模型的部署和知識(shí)推理都在網(wǎng)絡(luò)的邊緣完成，有效地降??低服務(wù)延遲。同時(shí)，通過(guò)云邊協(xié)同、邊邊協(xié)同、端邊協(xié)同等方式，有效提高了服??務(wù)質(zhì)量，改善了人工智能應(yīng)用的性能，同時(shí)降低了成本以及提高了數(shù)據(jù)隱私的安??全

并行化取得了諸多的關(guān)注，且被廣泛釆用。??在一個(gè)典型的基于分布式隨機(jī)梯度下降的模型訓(xùn)練系統(tǒng)中，有多個(gè)工作節(jié)點(diǎn)負(fù)??責(zé)模型的訓(xùn)練，這些節(jié)點(diǎn)的訓(xùn)練結(jié)果通過(guò)某種方式結(jié)合到一起，形成最終訓(xùn)練好??的模型。??２．２．１數(shù)據(jù)并行與模型并行??通常，模型的并行化訓(xùn)練有兩種方式。第一種是數(shù)據(jù)并行化，在每一個(gè)參與??模型訓(xùn)練的工作節(jié)點(diǎn)上，都有完整的模型，訓(xùn)練數(shù)據(jù)被分割（通常是平均分割）??然后發(fā)送到各個(gè)工作節(jié)點(diǎn)進(jìn)行訓(xùn)練，各個(gè)節(jié)點(diǎn)獨(dú)立地訓(xùn)練，訓(xùn)練完成之后將所有??的節(jié)點(diǎn)的模型進(jìn)行匯總得到全局模型，圖２．３ａ描述了這種訓(xùn)練方式。第二種是模??型并行化，參與模型訓(xùn)練的每個(gè)工作節(jié)都使用完整的訓(xùn)練數(shù)據(jù)作為輸入，但是每??個(gè)節(jié)點(diǎn)都只負(fù)責(zé)一部分模型的訓(xùn)練，節(jié)點(diǎn)之間可能會(huì)通過(guò)網(wǎng)絡(luò)進(jìn)行模型參數(shù)的??傳遞，從而使得整個(gè)模型的參數(shù)得到更新，因此圖２．３ｂ描述了這種方式。模型訓(xùn)??練的并行化涉及到多個(gè)節(jié)點(diǎn)的協(xié)同工作，因此節(jié)點(diǎn)之間的互聯(lián)的網(wǎng)絡(luò)質(zhì)量至關(guān)??重要，特別是對(duì)于模型的并行化，由于每個(gè)節(jié)點(diǎn)只負(fù)責(zé)一部分模型，因此整個(gè)模??型的一輪更新過(guò)程中涉及到大量的網(wǎng)絡(luò)參數(shù)傳遞，節(jié)點(diǎn)之間是否擁有高速互聯(lián)??的網(wǎng)絡(luò)是模型的訓(xùn)練速度的一種重要影響因素。??；匯總節(jié)點(diǎn)?ｙ工作節(jié)點(diǎn)１?ｆ?工作節(jié)點(diǎn)＼??工作節(jié)點(diǎn)０?Ｑ??／＼Ｙ１Ｙ／Ｖ７＼??／ｖ／ｍｘ７＼?／ｗｉｘｎ?ｎｍｘｉ＼?／?八?＇??ｘｘｘｘｘ?ｘｘｘｘｘ?ｘｘｘｘｘ?ｘｘｘｘｘ?＼／＼／＼／＼／＼／??ｘｐｄｘｊｘｉ／?ｕｋｉｘｄｖ?ｍｘｄｗｊ?Ｖ?ｙ?Ｖ?Ｖ?Ｖ??０Ｍ｜＾０??Ｖ；Ｔ作節(jié)點(diǎn)３＾工作節(jié)點(diǎn)４??（ａ）數(shù)據(jù)并行模式?（ｂ）模型并行模式??圖２．３分布式模型訓(xùn)練主要的兩種不同并行模式

于??相應(yīng)數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行模型的本地更新，同時(shí)與參數(shù)服務(wù)器進(jìn)行交互。由于邊??緣環(huán)境資源有限，而在數(shù)據(jù)并行分布式訓(xùn)練過(guò)程中，參數(shù)服務(wù)器采用異步更新的??方式能達(dá)到更好的資源利用率，因此本文在邊緣分布式模型訓(xùn)練過(guò)程中采用異??步更新方式。?????—醫(yī)．一處理下—??－肩?２?ｍｉｎｉ－ｂａｔｃｈ＾??Ｉ?／ｐ??—更新金局翻一?／?－ｍ??傳輸參數(shù)更新＿??＾＾■＼處理當(dāng)前藝??ｍｉｎｉ－ｂａｔｃｈ??初始化??參數(shù)服務(wù)器?工作節(jié)點(diǎn)１?工作節(jié)點(diǎn)２??圖２．４采用數(shù)據(jù)并行的邊緣分布式模型訓(xùn)練過(guò)程中，參數(shù)服務(wù)器和各個(gè)工作節(jié)點(diǎn)異步更新??流程示例??基于這種異步更新的數(shù)據(jù)并行分布式訓(xùn)練模式，系統(tǒng)在基于某種策略部署??好模型訓(xùn)練服務(wù)之后，在一個(gè)任務(wù)調(diào)度周期內(nèi)，對(duì)于給定的模型訓(xùn)練任務(wù)，系統(tǒng)??１４??
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳重洋;;以模型訓(xùn)練方法提高學(xué)生解題能力[J];教師;2017年03期

2 楊定姣,張禮賓,王中軍,陶麗云;改良靜脈穿刺模型訓(xùn)練的效果觀察[J];南華大學(xué)學(xué)報(bào)(醫(yī)學(xué)版);2002年03期

3 楊保安，梁東偉;少年100m跑的模型訓(xùn)練與評(píng)定[J];體育科技;1996年02期

4 張莉;;首飾創(chuàng)意構(gòu)思之模型訓(xùn)練的教學(xué)實(shí)踐[J];藝術(shù)教育;2014年08期

5 徐海勇;尚晶;武智暉;李莉;;基于數(shù)據(jù)位置的邊緣作業(yè)調(diào)度技術(shù)[J];電信科學(xué);2019年S2期

6 樂(lè)光學(xué);戴亞盛;楊曉慧;劉建華;游真旭;朱友康;;邊緣計(jì)算可信協(xié)同服務(wù)策略建模[J];計(jì)算機(jī)研究與發(fā)展;2020年05期

7 史王雷;馮爽;;基于注意力機(jī)制的聯(lián)合監(jiān)督端到端說(shuō)話人識(shí)別模型[J];信息與電腦(理論版);2020年04期

8 徐東;黃海艇;劉典勇;蘇道靜;;基于邊緣計(jì)算的化工設(shè)備噪音污染監(jiān)控應(yīng)用[J];粘接;2019年11期

9 姚元;劉學(xué)龍;朱軍;劉欣欣;;基于邊緣計(jì)算的大規(guī)模無(wú)人協(xié)同探測(cè)感知架構(gòu)研究[J];現(xiàn)代雷達(dá);2020年06期

10 于際河;;基于MATLAB的電機(jī)故障診斷模型訓(xùn)練與測(cè)試平臺(tái)[J];計(jì)算機(jī)光盤(pán)軟件與應(yīng)用;2014年05期

相關(guān)博士學(xué)位論文 前10條

1 曹坤;邊緣計(jì)算服務(wù)品質(zhì)優(yōu)化技術(shù)研究[D];華東師范大學(xué);2020年

2 姜婧妍;面向邊緣智能的資源分配和任務(wù)調(diào)度的研究[D];吉林大學(xué);2020年

3 趙煒;邊緣化身份視角下的國(guó)際沖突研究[D];吉林大學(xué);2015年

4 郭碩知;邊緣與歸屬：道教認(rèn)同的文化史考察[D];中央民族大學(xué);2016年

5 鄭瑞俠;中國(guó)古代早期文學(xué)邊緣角色研究[D];東北師范大學(xué);2004年

6 代玥玥;移動(dòng)邊緣計(jì)算中資源管理問(wèn)題的研究[D];電子科技大學(xué);2019年

7 張亞強(qiáng);邊緣計(jì)算下物聯(lián)網(wǎng)事件邊界檢測(cè)與復(fù)雜任務(wù)調(diào)度優(yōu)化[D];中國(guó)地質(zhì)大學(xué)(北京);2020年

8 俞睿;鮑德溫作品中的邊緣身份研究[D];南京大學(xué);2011年

9 周鈺致;邊緣計(jì)算環(huán)境中低時(shí)延高可信顯示芯片的研究與設(shè)計(jì)[D];中國(guó)科學(xué)技術(shù)大學(xué);2020年

10 魏娜;中國(guó)傳統(tǒng)服裝襟邊緣飾研究[D];蘇州大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 王海川;面向邊緣智能的模型訓(xùn)練服務(wù)部署和任務(wù)卸載研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2020年

2 梁師哲;基于深度學(xué)習(xí)的智能聊天機(jī)器人的關(guān)鍵技術(shù)研究[D];廣西大學(xué);2019年

3 周娟;基于Spark的大規(guī)模機(jī)器翻譯模型訓(xùn)練方法與系統(tǒng)研究[D];南京大學(xué);2016年

4 尹至達(dá);面向云和邊緣網(wǎng)絡(luò)的任務(wù)自治調(diào)度策略研究[D];上海交通大學(xué);2019年

5 陶剛;工業(yè)物聯(lián)網(wǎng)環(huán)境下基于預(yù)測(cè)和邊緣協(xié)作的服務(wù)重配置策略研究[D];中國(guó)地質(zhì)大學(xué)(北京);2020年

6 丁雪乾;面向5G邊緣計(jì)算的任務(wù)卸載與資源優(yōu)化研究[D];蘭州理工大學(xué);2020年

7 沈佳梅;移動(dòng)邊緣計(jì)算環(huán)境下感知型任務(wù)的調(diào)度技術(shù)研究[D];上海交通大學(xué);2019年

8 龍艷;基于邊緣計(jì)算的車聯(lián)網(wǎng)高效內(nèi)容交付及任務(wù)卸載[D];電子科技大學(xué);2020年

9 吳鴻飛;基于邊緣計(jì)算的微服務(wù)調(diào)度算法研究[D];電子科技大學(xué);2020年

10 李錦;移動(dòng)邊緣計(jì)算環(huán)境下的服務(wù)遷移與維護(hù)方法研究[D];安徽大學(xué);2020年

本文編號(hào)：2882620