面向邊緣計算的分布式深度神經網絡研究
發(fā)布時間:2021-06-10 17:59
當前,我們可以從物聯(lián)網(Internet of Things,IoT)傳感器中獲取海量數(shù)據,然后利用這些數(shù)據來訓練深度神經網絡,通過深度神經網絡研究實際問題,幫助IoT設備作出決策,使IoT設備更加智能,擁有更廣闊的應用前景。然而,一方面IoT設備的計算和存儲資源有限,很多神經網絡模型不能直接用于IoT設備中;另一方面云計算的方法又會給用戶帶來高帶寬成本和高延遲,所以,單純的基于云計算的深度學習和基于IoT設備的深度學習不能很好地適用于IoT環(huán)境。針對上述問題,本文對“云-邊-端”協(xié)同計算的分布式深度神經網絡(Distributed Deep Neural Network,DDNN)進行了相關研究,以改進現(xiàn)有解決方案。首先,針對IoT設備數(shù)據的特點,本文提出了一種多視角特征加權融合的方法,該方法考慮了多視角重要性的差異,相比傳統(tǒng)的特征融合方法減少了邊緣側向云側的數(shù)據傳輸量,能進一步提高DDNN的精度。其次,針對DDNN的重要組成部分——卷積層和全連接層參數(shù)過多的問題,本文設計了一種出口可滑動的輕量級DDNN推理模型,一方面通過將出口位置往DDNN的低層移動,減少邊緣側卷積層的計算量,另...
【文章來源】:華中科技大學湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:61 頁
【學位級別】:碩士
【部分圖文】:
本文組織結構
14圖 2-1 DDNN 體系結構anchyNet 的一種可用于“云-邊-端”協(xié)同計在設備側、邊緣側和云側分別有一個分類口以交叉熵損失作為優(yōu)化目標,如公式(( ) ( )1, ; logc cc CL y yC y y= exp( )softmax( )exp(z )cc C= = zy z( ; )nexitz =f x ,y表示樣本的真實標簽,y 表示樣本的是樣本從神經網絡的輸入到第 n 個出口進
圖 3-2 單個視角 cBoF 結構圖cBoF 層與卷積層相結合,如圖 3-2 中虛線框部分,左側表示邊緣側 CNN 特取的過程,包括卷積層、池化層、Dropout[44]層、批歸一化(Batch NormalizatioN)層等。第 i 個圖片送給特征提取模塊后,從最后一個卷積層中得到的特征圖數(shù)為FN ,高和寬分別為iH 和iW 。(2)構造視覺詞典視覺詞典的構造決定了圖像的分類效果,是十分重要的階段。通過第一階段征提取,可得到 N 張圖片的特征向量集合 | 1 , 1 ij iS = x i = N j =N,其i i iN = H W。構造視覺詞典的過程就是將這個集合聚類到KN 個視覺單詞上去。視覺單詞 ( 1, ,)Dk Kv R k =N,其中 D 表示特征向量ijx 的維度。視覺詞典只構造一次,為了減少訓練時間,可以使用S 的子集來構造視覺詞典V ,這種方特征表達的影響甚微[45]。特征向量x 和視覺單詞v 的相似性度量用徑向基核函數(shù)( Radial Ba
【參考文獻】:
期刊論文
[1]邊緣計算:現(xiàn)狀與展望[J]. 施巍松,張星洲,王一帆,張慶陽. 計算機研究與發(fā)展. 2019(01)
碩士論文
[1]基于字符級聯(lián)分類器的自適應汽車儀表檢測算法的研究[D]. 伊明.哈爾濱工業(yè)大學 2018
[2]基于深度學習和云計算的電力信息網入侵檢測研究[D]. 孫杉.華北電力大學 2016
本文編號:3222859
【文章來源】:華中科技大學湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:61 頁
【學位級別】:碩士
【部分圖文】:
本文組織結構
14圖 2-1 DDNN 體系結構anchyNet 的一種可用于“云-邊-端”協(xié)同計在設備側、邊緣側和云側分別有一個分類口以交叉熵損失作為優(yōu)化目標,如公式(( ) ( )1, ; logc cc CL y yC y y= exp( )softmax( )exp(z )cc C= = zy z( ; )nexitz =f x ,y表示樣本的真實標簽,y 表示樣本的是樣本從神經網絡的輸入到第 n 個出口進
圖 3-2 單個視角 cBoF 結構圖cBoF 層與卷積層相結合,如圖 3-2 中虛線框部分,左側表示邊緣側 CNN 特取的過程,包括卷積層、池化層、Dropout[44]層、批歸一化(Batch NormalizatioN)層等。第 i 個圖片送給特征提取模塊后,從最后一個卷積層中得到的特征圖數(shù)為FN ,高和寬分別為iH 和iW 。(2)構造視覺詞典視覺詞典的構造決定了圖像的分類效果,是十分重要的階段。通過第一階段征提取,可得到 N 張圖片的特征向量集合 | 1 , 1 ij iS = x i = N j =N,其i i iN = H W。構造視覺詞典的過程就是將這個集合聚類到KN 個視覺單詞上去。視覺單詞 ( 1, ,)Dk Kv R k =N,其中 D 表示特征向量ijx 的維度。視覺詞典只構造一次,為了減少訓練時間,可以使用S 的子集來構造視覺詞典V ,這種方特征表達的影響甚微[45]。特征向量x 和視覺單詞v 的相似性度量用徑向基核函數(shù)( Radial Ba
【參考文獻】:
期刊論文
[1]邊緣計算:現(xiàn)狀與展望[J]. 施巍松,張星洲,王一帆,張慶陽. 計算機研究與發(fā)展. 2019(01)
碩士論文
[1]基于字符級聯(lián)分類器的自適應汽車儀表檢測算法的研究[D]. 伊明.哈爾濱工業(yè)大學 2018
[2]基于深度學習和云計算的電力信息網入侵檢測研究[D]. 孫杉.華北電力大學 2016
本文編號:3222859
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/3222859.html
最近更新
教材專著