近年來,神經(jīng)網(wǎng)絡(luò)成為了人工智能領(lǐng)域的關(guān)鍵技術(shù)。特別是大數(shù)據(jù)時(shí)代的到來,人們對(duì)數(shù)據(jù)進(jìn)行深度挖掘分析的需求更是使其迅速發(fā)展。但是數(shù)據(jù)爆炸式增長,就需要更先進(jìn)的硬件設(shè)備去部署更加復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型,這在一定程度上限制了神經(jīng)網(wǎng)絡(luò)的發(fā)展。于是一種基于云端、邊緣和終端的分布式深度神經(jīng)網(wǎng)絡(luò)應(yīng)運(yùn)而生。這種分布式神經(jīng)網(wǎng)絡(luò)將位于終端的小型神經(jīng)網(wǎng)絡(luò)和位于云端中的大型神經(jīng)網(wǎng)絡(luò)結(jié)合起來,具有多個(gè)出口,既能夠在邊緣和終端設(shè)備上使用部分神經(jīng)網(wǎng)絡(luò)進(jìn)行快速、本地化的計(jì)算,又能在云端使用復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行推理計(jì)算。這種基于計(jì)算層次的分層結(jié)構(gòu)一定程度解決了由于神經(jīng)網(wǎng)絡(luò)模型和數(shù)據(jù)集的日益巨增的規(guī)模所帶來的性能瓶頸的問題。但是由于分布式的架構(gòu),其在對(duì)各個(gè)終端輸入的數(shù)據(jù)進(jìn)行處理時(shí)面臨著數(shù)據(jù)分布不一致的問題,并且這種層次之間的相互通信還會(huì)產(chǎn)生很大的通信成本和延遲問題。為了解決數(shù)據(jù)分布不一致,本文基于遷移學(xué)習(xí)的思想,提出了一種領(lǐng)域自適應(yīng)方法,通過對(duì)抗生成網(wǎng)絡(luò),捕捉數(shù)據(jù)之間的多模態(tài)結(jié)構(gòu),去減少數(shù)據(jù)集之間分布不一致所帶來的影響。此外為了解決分層架構(gòu)帶來的通信問題,本文使用了軟件定義網(wǎng)絡(luò)（Software Defined Networ... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：85 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

D3CATN分布式結(jié)構(gòu)的總體思想[49]

電子科技大學(xué)碩士學(xué)位論文圖3-2基于邊緣節(jié)點(diǎn)的協(xié)作優(yōu)化域適應(yīng)層和全連接分類層，利用終端設(shè)備上傳的實(shí)際目標(biāo)域樣本的特征分布，可以進(jìn)一步訓(xùn)練終端設(shè)備的神經(jīng)網(wǎng)絡(luò)，來進(jìn)行特征的遷移。這樣就形成了多端設(shè)備基于邊緣節(jié)點(diǎn)的協(xié)作優(yōu)化模式。并且在這個(gè)過程中，中間結(jié)果是原本就需要上傳的，并不會(huì)增加網(wǎng)絡(luò)的流量，我們只是充分地利用了提取的特征。整個(gè)過程的算法描述如下：算法3-2協(xié)作優(yōu)化算法說明Train//利用源域數(shù)據(jù)進(jìn)行初步的離線訓(xùn)練，并分布式部署到端設(shè)備和邊緣設(shè)備執(zhí)行設(shè)備端zε=fexitεx//提取特征y=softmax（z）//預(yù)測(cè)標(biāo)簽e=En（y）//計(jì)算熵值ife<Tsthenreturny//結(jié)果的熵值小于預(yù)設(shè)值就從當(dāng)前出口退出endelsesendfeaturestoedge//否則，將特征值s發(fā)送給邊緣節(jié)點(diǎn)end邊緣端y=fs//在邊緣進(jìn)行分類T=T+s//將樣本作為目標(biāo)域數(shù)據(jù)加入集合T中train（T）//利用目標(biāo)域的數(shù)據(jù)分布來進(jìn)行特征遷移，進(jìn)化設(shè)備端網(wǎng)絡(luò)Syn（params）//同步參數(shù)到設(shè)備端在邊緣節(jié)點(diǎn)保留有設(shè)備端的域適應(yīng)層以及分類層的參數(shù)，在新樣本到達(dá)時(shí)，將樣本加入集合T中，集合T即代表了目標(biāo)域的樣本分布，這樣隨著集合T中元素24

第三章自適應(yīng)分布式深度神經(jīng)網(wǎng)絡(luò)研究表3-5不同模式下，在進(jìn)行同一任務(wù)時(shí)的整體準(zhǔn)確率以及所產(chǎn)生的流量模式準(zhǔn)確率產(chǎn)生的流量本地模式65%0云端模式90%256Mb混合模式（DDNNs）78%10Mb混合模式（D3CATN+邊緣節(jié)點(diǎn)協(xié)作優(yōu)化）85%10Mb在簡單的模型下，只能得到較低的準(zhǔn)確率。而在云端我們雖然能夠得到最高的準(zhǔn)確率，但是會(huì)產(chǎn)生很大的通信成本。而在混合模式下，準(zhǔn)確率和通信成本之間達(dá)到了一個(gè)均衡。特別是D3CATN算法，與傳統(tǒng)的DDNNs相比，能達(dá)到更高的準(zhǔn)確率。圖3-4DDNNs優(yōu)化效果比較圖3-4表示了混合模式下，D3CATN配合邊緣節(jié)點(diǎn)優(yōu)化的DDNNs架構(gòu)與其他幾種傳統(tǒng)的架構(gòu)的準(zhǔn)確率的區(qū)別。在實(shí)驗(yàn)中，主干神經(jīng)網(wǎng)絡(luò)都是ResNet-50，因此本地和云端模式的準(zhǔn)確率不會(huì)有變化，而在混合模式中，采用的是總體的準(zhǔn)確率，即讓樣本自己選擇退出點(diǎn)，然后統(tǒng)計(jì)總體的準(zhǔn)確率，對(duì)比了有D3CATN和邊緣節(jié)點(diǎn)優(yōu)化的DDNNs架構(gòu)與傳統(tǒng)DDNNs的區(qū)別。從圖中可以看得到，將ResNet-50改造成DDNNs架構(gòu)后，準(zhǔn)確率有所上升，可能的原因是，D3CATN在DDNNs的每個(gè)退出點(diǎn)后又增加了一些特征提取層，增加了網(wǎng)絡(luò)的總體的性能。雖然傳統(tǒng)DDNNs和D3CATN在初始時(shí)刻的準(zhǔn)確率幾乎一致，但是DDNNs缺少一種進(jìn)化和域適應(yīng)機(jī)制，很難適應(yīng)真實(shí)的環(huán)境。本文提出的優(yōu)化方案在實(shí)際運(yùn)行過程中收集實(shí)際樣本的分布信息，并利用3.2節(jié)中提到的D3CATN算法進(jìn)行域適應(yīng)，在邊緣節(jié)點(diǎn)進(jìn)行再訓(xùn)練，可以看到準(zhǔn)確率隨著時(shí)間逐27

【參考文獻(xiàn)】：
期刊論文
[1]軟件定義廣域網(wǎng)研究[J]. 謝兆賢,陳慧,張安琳,黃道穎,王巍振.  火力與指揮控制. 2017(12)
[2]移動(dòng)邊緣計(jì)算技術(shù)及其本地分流方案[J]. 張建敏,謝偉良,楊峰義,武洲云,謝亮.  電信科學(xué). 2016(07)
[3]神經(jīng)網(wǎng)絡(luò)七十年:回顧與展望[J]. 焦李成,楊淑媛,劉芳,王士剛,馮志璽.  計(jì)算機(jī)學(xué)報(bào). 2016(08)
[4]軟件定義網(wǎng)絡(luò)（SDN）研究進(jìn)展[J]. 張朝昆,崔勇,唐翯翯,吳建平.  軟件學(xué)報(bào). 2015(01)
[5]軟件定義網(wǎng)絡(luò)研究綜述[J]. 張順淼,鄒復(fù)民.  計(jì)算機(jī)應(yīng)用研究. 2013(08)
[6]基于OpenFlow的SDN技術(shù)研究[J]. 左青云,陳鳴,趙廣松,邢長友,張國敏,蔣培成.  軟件學(xué)報(bào). 2013(05)
[7]IntServ網(wǎng)絡(luò)資源優(yōu)化分配方法[J]. 譚獻(xiàn)海,李明輝,金煒東.  西南交通大學(xué)學(xué)報(bào). 2008(02)
[8]機(jī)器學(xué)習(xí)及其相關(guān)算法綜述[J]. 陳凱,朱鈺.  統(tǒng)計(jì)與信息論壇. 2007(05)
[9]基于DiffServ體系的IP網(wǎng)方案及QoS的技術(shù)[J]. 杜慧軍.  計(jì)算機(jī)工程與應(yīng)用. 2006(04)
[10]神經(jīng)網(wǎng)絡(luò)——通信及其保密通信領(lǐng)域的新技術(shù)[J]. 王曉鳴.  通信技術(shù)與發(fā)展. 1994(06)

碩士論文
[1]基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法與應(yīng)用研究[D]. 陳先昌.浙江工商大學(xué) 2014



本文編號(hào)：3308818