步入5G時代,云計算模式難以應(yīng)對網(wǎng)絡(luò)邊緣產(chǎn)生的大量數(shù)據(jù)以及越來越多的延遲敏感應(yīng)用,邊緣計算被提出來應(yīng)對這些挑戰(zhàn)。為了充分利用網(wǎng)絡(luò)邊緣產(chǎn)生的大量數(shù)據(jù),機(jī)器學(xué)習(xí)等方法通常被采用,其中深度學(xué)習(xí)在以圖形處理為代表的諸多應(yīng)用場景取得了良好的效果。在“邊緣智能”這一概念的推動下,將邊緣計算技術(shù)和深度學(xué)習(xí)等技術(shù)結(jié)合同時基于邊緣數(shù)據(jù)的地理分布式特點進(jìn)行邊緣分布式模型訓(xùn)練成為了一個熱門的技術(shù)趨勢。在網(wǎng)絡(luò)邊緣進(jìn)行分布式模型訓(xùn)練首先需要在邊緣節(jié)點上部署相應(yīng)的模型訓(xùn)練服務(wù)。已有的服務(wù)部署研究往往針對輕量的普通服務(wù),主要從服務(wù)請求延遲和系統(tǒng)能耗等角度研究服務(wù)部署。模型訓(xùn)練服務(wù)的任務(wù)請求由于其資源的密集性和運行的長期性與普通的邊緣服務(wù)有較大的差別,需要從新的應(yīng)用場景研究服務(wù)部署問題。本文從時間段的角度考慮模型訓(xùn)練服務(wù)的部署,并基于服務(wù)部署代價和服務(wù)部署收益這兩個量化方式,以最大化系統(tǒng)綜合收益的目標(biāo),研究最優(yōu)的服務(wù)部署決策。服務(wù)部署問題首先被形式化為了一個非線性的0-1整數(shù)規(guī)劃問題,然后本文通過優(yōu)化目標(biāo)轉(zhuǎn)化、松弛、約束條件延遲判斷以及隨機(jī)舍入等技術(shù),提出了 RDSP模型訓(xùn)練服務(wù)部署算法,并通過理論分析證實了 RDSP算法的性能保障�；诙鄠�性能指標(biāo)的仿真結(jié)果顯示,相對于基準(zhǔn)算法,RDSP算法在維持絕對的負(fù)載均衡性能優(yōu)勢的同時可以提升26%的系統(tǒng)綜合收益。為了保障系統(tǒng)性能,邊緣系統(tǒng)還需要恰當(dāng)?shù)匦遁d分布式模型訓(xùn)練任務(wù)。一個典型的邊緣分布式模型訓(xùn)練任務(wù)往往涉及到多個數(shù)據(jù)節(jié)點,卸載任務(wù)時需要解決節(jié)點的指派問題。在大部分現(xiàn)有的邊緣任務(wù)卸載相關(guān)研究中,一個任務(wù)僅涉及一個請求節(jié)點,同時在大部分邊緣模型訓(xùn)練相關(guān)工作中,往往假設(shè)數(shù)據(jù)是在邊緣節(jié)點準(zhǔn)備好的,而忽略了數(shù)據(jù)節(jié)點指派問題。此外,由于邊緣節(jié)點資源的有限性,需要研究如何在多個邊緣節(jié)點為多個分布式模型訓(xùn)練任務(wù)分配資源從而保證服務(wù)質(zhì)量,這是大部分現(xiàn)有工作沒有考慮的。本文聯(lián)合地考慮模型訓(xùn)練任務(wù)的卸載問題和資源分配問題,并從最大化系統(tǒng)訓(xùn)練任務(wù)吞吐率的角度出發(fā),將這個聯(lián)合問題形式化為一個被證明為NP難解的非線性混合整數(shù)規(guī)劃問題�；诩s束條件轉(zhuǎn)化和隨機(jī)舍入等技術(shù),本文設(shè)計了 RDJOA算法用于模型訓(xùn)練任務(wù)卸載和資源分配,理論分析表明RDJOA算法有著接近理論最優(yōu)解的性能。仿真結(jié)果指出,相對于基準(zhǔn)算法,RDJOA算法能提升56%的系統(tǒng)訓(xùn)練任務(wù)吞吐量以及53%的平均邊緣節(jié)點資源利用率。
【學(xué)位單位】：中國科學(xué)技術(shù)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2020
【中圖分類】：TN929.5;TP18
【部分圖文】：

?第２章邊緣分布式模型訓(xùn)練相關(guān)概念和技術(shù)???云端??［ｒｎ?—?—?＇ＩＺａ＾＝＾ＣＺｎ?ｒｎｌ??ｉｎ＾￣￣［１?邊緣廳??Ｉ?ＬＥＩ?￣ＬＥＪ｜??ｉ?〕：：：：?ｂＣ?＞??ａ?ｏ?目?？??雜設(shè)備層??ｆｎＴ＝１?Ｈｉ?Ｑ?ｃｆｅ?＾??圖２．１包含邊緣設(shè)備層、邊緣服務(wù)層和云端的邊緣計算分層架構(gòu)示例??理單位對匯報的數(shù)據(jù)進(jìn)行進(jìn)一步的處理。??在上面的實際例子中，企業(yè)嘗試邊緣計算模式時，還需要自己釆購服務(wù)器，??部署和管理服務(wù)器，對于業(yè)務(wù)的開展和擴(kuò)展都十分不方便。聯(lián)想到云計算出現(xiàn)的??契機(jī)是硬件成本降低，而諸多企業(yè)疲于自己管理一個機(jī)房，于是一些企業(yè)變瞄準(zhǔn)??這樣的機(jī)會在全球范圍內(nèi)建立大型數(shù)據(jù)中心，對外提供設(shè)備、平臺或者服務(wù)。隨??著邊緣計算的發(fā)展，不久的將來或許也會出現(xiàn)類似于云計算的業(yè)務(wù)模式，使得邊??緣應(yīng)用和服務(wù)能夠快速地開發(fā)和部署。同時，上面的例子也體現(xiàn)出邊緣智能的趨??勢，越來越多的邊緣應(yīng)用依賴機(jī)器學(xué)習(xí)等技術(shù)的服務(wù)，在網(wǎng)絡(luò)的邊緣直接部署資??源進(jìn)行模型訓(xùn)練、將訓(xùn)練好的模型直接部署在網(wǎng)絡(luò)邊緣將成為流行的技術(shù)方向。??２．１．３邊緣智能簡介??近年算法、算力以及數(shù)據(jù)集等的進(jìn)步，使得人工智能取得了突飛猛進(jìn)的發(fā)??展。考慮到當(dāng)前移動終端和物聯(lián)網(wǎng)設(shè)備的高度普及，邊緣智能這一概念應(yīng)運而??生�；谶吘売嬎氵@一新型的計算模式，人工智能服務(wù)被遷移到更加靠近用戶和??數(shù)據(jù)源頭，模型的訓(xùn)練、模型的部署和知識推理都在網(wǎng)絡(luò)的邊緣完成，有效地降??低服務(wù)延遲。同時，通過云邊協(xié)同、邊邊協(xié)同、端邊協(xié)同等方式，有效提高了服??務(wù)質(zhì)量，改善了人工智能應(yīng)用的性能，同時降低了成本以及提高了數(shù)據(jù)隱私的安??全

并行化取得了諸多的關(guān)注，且被廣泛釆用。??在一個典型的基于分布式隨機(jī)梯度下降的模型訓(xùn)練系統(tǒng)中，有多個工作節(jié)點負(fù)??責(zé)模型的訓(xùn)練，這些節(jié)點的訓(xùn)練結(jié)果通過某種方式結(jié)合到一起，形成最終訓(xùn)練好??的模型。??２．２．１數(shù)據(jù)并行與模型并行??通常，模型的并行化訓(xùn)練有兩種方式。第一種是數(shù)據(jù)并行化，在每一個參與??模型訓(xùn)練的工作節(jié)點上，都有完整的模型，訓(xùn)練數(shù)據(jù)被分割（通常是平均分割）??然后發(fā)送到各個工作節(jié)點進(jìn)行訓(xùn)練，各個節(jié)點獨立地訓(xùn)練，訓(xùn)練完成之后將所有??的節(jié)點的模型進(jìn)行匯總得到全局模型，圖２．３ａ描述了這種訓(xùn)練方式。第二種是模??型并行化，參與模型訓(xùn)練的每個工作節(jié)都使用完整的訓(xùn)練數(shù)據(jù)作為輸入，但是每??個節(jié)點都只負(fù)責(zé)一部分模型的訓(xùn)練，節(jié)點之間可能會通過網(wǎng)絡(luò)進(jìn)行模型參數(shù)的??傳遞，從而使得整個模型的參數(shù)得到更新，因此圖２．３ｂ描述了這種方式。模型訓(xùn)??練的并行化涉及到多個節(jié)點的協(xié)同工作，因此節(jié)點之間的互聯(lián)的網(wǎng)絡(luò)質(zhì)量至關(guān)??重要，特別是對于模型的并行化，由于每個節(jié)點只負(fù)責(zé)一部分模型，因此整個模??型的一輪更新過程中涉及到大量的網(wǎng)絡(luò)參數(shù)傳遞，節(jié)點之間是否擁有高速互聯(lián)??的網(wǎng)絡(luò)是模型的訓(xùn)練速度的一種重要影響因素。??；匯總節(jié)點?ｙ工作節(jié)點１?ｆ?工作節(jié)點＼??工作節(jié)點０?Ｑ??／＼Ｙ１Ｙ／Ｖ７＼??／ｖ／ｍｘ７＼?／ｗｉｘｎ?ｎｍｘｉ＼?／?八?＇??ｘｘｘｘｘ?ｘｘｘｘｘ?ｘｘｘｘｘ?ｘｘｘｘｘ?＼／＼／＼／＼／＼／??ｘｐｄｘｊｘｉ／?ｕｋｉｘｄｖ?ｍｘｄｗｊ?Ｖ?ｙ?Ｖ?Ｖ?Ｖ??０Ｍ｜＾０??Ｖ；Ｔ作節(jié)點３＾工作節(jié)點４??（ａ）數(shù)據(jù)并行模式?（ｂ）模型并行模式??圖２．３分布式模型訓(xùn)練主要的兩種不同并行模式

于??相應(yīng)數(shù)據(jù)節(jié)點的數(shù)據(jù)進(jìn)行模型的本地更新，同時與參數(shù)服務(wù)器進(jìn)行交互。由于邊??緣環(huán)境資源有限，而在數(shù)據(jù)并行分布式訓(xùn)練過程中，參數(shù)服務(wù)器采用異步更新的??方式能達(dá)到更好的資源利用率，因此本文在邊緣分布式模型訓(xùn)練過程中采用異??步更新方式。?????—醫(yī)．一處理下—??－肩?２?ｍｉｎｉ－ｂａｔｃｈ＾??Ｉ?／ｐ??—更新金局翻一?／?－ｍ??傳輸參數(shù)更新＿??＾＾■＼處理當(dāng)前藝??ｍｉｎｉ－ｂａｔｃｈ??初始化??參數(shù)服務(wù)器?工作節(jié)點１?工作節(jié)點２??圖２．４采用數(shù)據(jù)并行的邊緣分布式模型訓(xùn)練過程中，參數(shù)服務(wù)器和各個工作節(jié)點異步更新??流程示例??基于這種異步更新的數(shù)據(jù)并行分布式訓(xùn)練模式，系統(tǒng)在基于某種策略部署??好模型訓(xùn)練服務(wù)之后，在一個任務(wù)調(diào)度周期內(nèi)，對于給定的模型訓(xùn)練任務(wù)，系統(tǒng)??１４??
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳重洋;;以模型訓(xùn)練方法提高學(xué)生解題能力[J];教師;2017年03期

2 楊定姣,張禮賓,王中軍,陶麗云;改良靜脈穿刺模型訓(xùn)練的效果觀察[J];南華大學(xué)學(xué)報(醫(yī)學(xué)版);2002年03期

3 楊保安，梁東偉;少年100m跑的模型訓(xùn)練與評定[J];體育科技;1996年02期

4 張莉;;首飾創(chuàng)意構(gòu)思之模型訓(xùn)練的教學(xué)實踐[J];藝術(shù)教育;2014年08期

5 徐海勇;尚晶;武智暉;李莉;;基于數(shù)據(jù)位置的邊緣作業(yè)調(diào)度技術(shù)[J];電信科學(xué);2019年S2期

6 樂光學(xué);戴亞盛;楊曉慧;劉建華;游真旭;朱友康;;邊緣計算可信協(xié)同服務(wù)策略建模[J];計算機(jī)研究與發(fā)展;2020年05期

7 史王雷;馮爽;;基于注意力機(jī)制的聯(lián)合監(jiān)督端到端說話人識別模型[J];信息與電腦(理論版);2020年04期

8 徐東;黃海艇;劉典勇;蘇道靜;;基于邊緣計算的化工設(shè)備噪音污染監(jiān)控應(yīng)用[J];粘接;2019年11期

9 姚元;劉學(xué)龍;朱軍;劉欣欣;;基于邊緣計算的大規(guī)模無人協(xié)同探測感知架構(gòu)研究[J];現(xiàn)代雷達(dá);2020年06期

10 于際河;;基于MATLAB的電機(jī)故障診斷模型訓(xùn)練與測試平臺[J];計算機(jī)光盤軟件與應(yīng)用;2014年05期

相關(guān)博士學(xué)位論文 前10條

1 曹坤;邊緣計算服務(wù)品質(zhì)優(yōu)化技術(shù)研究[D];華東師范大學(xué);2020年

2 姜婧妍;面向邊緣智能的資源分配和任務(wù)調(diào)度的研究[D];吉林大學(xué);2020年

3 趙煒;邊緣化身份視角下的國際沖突研究[D];吉林大學(xué);2015年

4 郭碩知;邊緣與歸屬：道教認(rèn)同的文化史考察[D];中央民族大學(xué);2016年

5 鄭瑞俠;中國古代早期文學(xué)邊緣角色研究[D];東北師范大學(xué);2004年

6 代玥玥;移動邊緣計算中資源管理問題的研究[D];電子科技大學(xué);2019年

7 張亞強(qiáng);邊緣計算下物聯(lián)網(wǎng)事件邊界檢測與復(fù)雜任務(wù)調(diào)度優(yōu)化[D];中國地質(zhì)大學(xué)(北京);2020年

8 俞睿;鮑德溫作品中的邊緣身份研究[D];南京大學(xué);2011年

9 周鈺致;邊緣計算環(huán)境中低時延高可信顯示芯片的研究與設(shè)計[D];中國科學(xué)技術(shù)大學(xué);2020年

10 魏娜;中國傳統(tǒng)服裝襟邊緣飾研究[D];蘇州大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 王海川;面向邊緣智能的模型訓(xùn)練服務(wù)部署和任務(wù)卸載研究[D];中國科學(xué)技術(shù)大學(xué);2020年

2 梁師哲;基于深度學(xué)習(xí)的智能聊天機(jī)器人的關(guān)鍵技術(shù)研究[D];廣西大學(xué);2019年

3 周娟;基于Spark的大規(guī)模機(jī)器翻譯模型訓(xùn)練方法與系統(tǒng)研究[D];南京大學(xué);2016年

4 尹至達(dá);面向云和邊緣網(wǎng)絡(luò)的任務(wù)自治調(diào)度策略研究[D];上海交通大學(xué);2019年

5 陶剛;工業(yè)物聯(lián)網(wǎng)環(huán)境下基于預(yù)測和邊緣協(xié)作的服務(wù)重配置策略研究[D];中國地質(zhì)大學(xué)(北京);2020年

6 丁雪乾;面向5G邊緣計算的任務(wù)卸載與資源優(yōu)化研究[D];蘭州理工大學(xué);2020年

7 沈佳梅;移動邊緣計算環(huán)境下感知型任務(wù)的調(diào)度技術(shù)研究[D];上海交通大學(xué);2019年

8 龍艷;基于邊緣計算的車聯(lián)網(wǎng)高效內(nèi)容交付及任務(wù)卸載[D];電子科技大學(xué);2020年

9 吳鴻飛;基于邊緣計算的微服務(wù)調(diào)度算法研究[D];電子科技大學(xué);2020年

10 李錦;移動邊緣計算環(huán)境下的服務(wù)遷移與維護(hù)方法研究[D];安徽大學(xué);2020年

本文編號：2882620