基于深度學(xué)習(xí)的壓縮采樣數(shù)據(jù)恢復(fù)技術(shù)的研究
發(fā)布時(shí)間:2020-12-23 09:13
近年來,無人機(jī)和機(jī)器人等無人智能設(shè)備迎來了快速發(fā)展,其與接收站實(shí)時(shí)共享機(jī)載傳感器數(shù)據(jù)成為工業(yè)界的迫切需求。然而,由于奈奎斯特(Nyquist)采樣率的限制和通信信道是極其有限。因此,亟需一種新的技術(shù)突破經(jīng)典的奈奎斯特采樣理論,而壓縮采樣正符合這種技術(shù)。壓縮采樣技術(shù)將采樣和壓縮過程合二為一,極大的減少了采集信號(hào)的存儲(chǔ)空間。接下來,利用深度學(xué)習(xí)的方法對(duì)壓縮采樣數(shù)據(jù)進(jìn)行數(shù)據(jù)恢復(fù)。由于深度學(xué)習(xí)卷積網(wǎng)絡(luò)模型的參數(shù)量往往一般高達(dá)數(shù)百萬以上,因此,需對(duì)深度卷積網(wǎng)絡(luò)參數(shù)進(jìn)行壓縮。本論文首先介紹課題的背景、壓縮采樣、神經(jīng)網(wǎng)絡(luò)壓縮國內(nèi)外研究現(xiàn)狀以及相關(guān)的概念,然后主要研究利用深度卷積網(wǎng)絡(luò)對(duì)壓縮采樣后的SAR原始數(shù)據(jù)進(jìn)行恢復(fù)和對(duì)深度卷積網(wǎng)絡(luò)參數(shù)進(jìn)行壓縮的問題。本文主要工作內(nèi)容簡述如下:1)提出了一種基于級(jí)聯(lián)卷積自編碼器的隨機(jī)采樣的數(shù)據(jù)恢復(fù)算法(Cascade Convolutional AutoEncoder+Network,CCAE+Net)。該算法以卷積自編碼器為基礎(chǔ)網(wǎng)絡(luò),為了讓數(shù)據(jù)具有稀疏性,給編碼器和解碼器中間引入了軟閥值。CCAE+Net網(wǎng)絡(luò)框架采用級(jí)聯(lián)連接方式,實(shí)現(xiàn)了重建出的SAR原始數(shù)據(jù)進(jìn)行成...
【文章來源】:深圳大學(xué)廣東省
【文章頁數(shù)】:59 頁
【學(xué)位級(jí)別】:碩士
【圖文】:
傳統(tǒng)的信號(hào)處理過程
基于深度學(xué)習(xí)的壓縮采樣數(shù)據(jù)恢復(fù)技術(shù)的研究2從壓縮后的信息有效地恢復(fù)出原始信號(hào)。這時(shí),人們就會(huì)想到有沒有一種方法可以將信號(hào)的采樣和壓縮過程一起完成,用另一句話說,是否可以用一個(gè)低維度的空間來表示原始的信號(hào),而且根據(jù)這個(gè)低維度的空間能夠精確的恢復(fù)出原始信號(hào)?如下圖1-2是基于壓縮采樣的信號(hào)采集和重建過程。圖1-2基于壓縮采樣的信號(hào)采集和重建過程為了解決上述問題,本文利用兩種方法壓縮感知(CompressedSensing,CS)和矩陣補(bǔ)全(MatrixCompletion,MC)對(duì)原始信號(hào)進(jìn)行采集。壓縮感知理論是Donoho和Candes等人在2006提出的一種全新的信號(hào)采樣理論[1-5]。一經(jīng)提出,立即引起了國內(nèi)外的學(xué)者關(guān)注,成為信號(hào)壓縮領(lǐng)域的研究熱點(diǎn)之一。2007年,Gan在壓縮感知理論的基礎(chǔ)上,提出了分塊壓縮感知(BlockCompressedSensing,BCS)理論[6],對(duì)分辨率較高的圖像進(jìn)行處理。如圖1-2所示,壓縮感知和矩陣補(bǔ)全采樣與傳統(tǒng)的信號(hào)處理相比,壓縮感知理論和矩陣補(bǔ)全技術(shù)把采樣和壓縮兩個(gè)過程合二為一,而且可以在低于奈奎斯特定理要求的采樣速率對(duì)原始信號(hào)進(jìn)行采樣壓縮,可以把原始信號(hào)從高維空間映射到低維空間,從而最終完成對(duì)信號(hào)的壓縮采樣。矩陣補(bǔ)全技術(shù)是由壓縮感知衍生而來,隨著壓縮感知理論的火熱,矩陣補(bǔ)全技術(shù)也越來越受到關(guān)注。矩陣補(bǔ)全中元素的采樣是通過其中特殊矩陣與目標(biāo)矩陣的內(nèi)積運(yùn)算獲取的,壓縮感知的采樣則是通過測量矩陣得到的。利用各種重建算法對(duì)壓縮信號(hào)的進(jìn)行恢復(fù),能夠?qū)崿F(xiàn)把壓縮的低維信號(hào)恢復(fù)到高維信號(hào)來,因此,重建算法是CS理論和MC理論重要的研究內(nèi)容。傳統(tǒng)的重建算法,一般通過迭代的方式對(duì)壓縮數(shù)據(jù)進(jìn)行重建,這類方式的缺點(diǎn)是不僅重建的速度慢,而且重建的效果也不如人意。近年來,隨著深度學(xué)習(xí)快速的發(fā)展,?
基于深度學(xué)習(xí)的壓縮采樣數(shù)據(jù)恢復(fù)技術(shù)的研究11圖2-1神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖2-1是基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),其中圓圈代表的是神經(jīng)元,從圖2-1中的可以看出,一個(gè)基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)包含三部分,輸入層、隱含層和輸出層。輸入層是接收輸入的數(shù)據(jù),隱含層是針對(duì)輸入的數(shù)據(jù)進(jìn)行運(yùn)算,最重要的是深度學(xué)習(xí)中的深度所指就是擁有多于一層的隱含層,輸出層是輸出的數(shù)據(jù)。在神經(jīng)元的連線之間對(duì)應(yīng)著的是權(quán)重,該權(quán)重決定了各輸入數(shù)據(jù)的重要程度,神經(jīng)元中還應(yīng)用一個(gè)激活函數(shù)來“標(biāo)準(zhǔn)化”神經(jīng)元的輸出的數(shù)據(jù),一般常用的激活函數(shù)有,如非線性激活函數(shù)(Sigmoid),它的作用是可以把輸入的實(shí)值數(shù)據(jù)轉(zhuǎn)換成0和1之間的輸出的實(shí)值數(shù)據(jù),比較特殊的是,當(dāng)輸入的數(shù)據(jù)值是一個(gè)無限大的值時(shí),它輸出的數(shù)據(jù)是1,或者輸入的數(shù)據(jù)值時(shí)無限小的負(fù)數(shù)時(shí),它輸出的數(shù)據(jù)就是0。但是,非線性激活函數(shù)缺點(diǎn)是在深度神經(jīng)網(wǎng)絡(luò)中梯度反向傳遞時(shí)可能會(huì)導(dǎo)致梯度爆炸或者是梯度消失,其中梯度爆炸發(fā)生的概率非常小,而梯度消失發(fā)生的概率比較大,此外,非線性激活函數(shù)的輸出非0均值(zero-centered),且解析式中含有冪運(yùn)算,造成訓(xùn)練時(shí)間過長。Tanh函數(shù)解決Sigmoid函數(shù)的非0均值輸出問題。Relu函數(shù)解決了梯度消失的問題,收斂速度遠(yuǎn)快于Sigmoid和Tanh。Relu函數(shù)是目前最常見的激活函數(shù)。但是Relu函數(shù)可能會(huì)使某些神經(jīng)元可能永遠(yuǎn)不會(huì)被激活。從而研究人員提出了LeakyRelu函數(shù)和ELU函數(shù)(ExponentialLinearUnits)。卷積神經(jīng)網(wǎng)絡(luò)最開始是在2012年的ImageNet挑戰(zhàn)賽顯露頭角,AlexKrizhevsky利用卷積網(wǎng)絡(luò)把分類誤差記錄從26%降到了15%,在當(dāng)時(shí)震驚了世界,因而贏得了那一年的冠軍。卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比來說,其一是參數(shù)共享機(jī)制,參數(shù)共享機(jī)
【參考文獻(xiàn)】:
期刊論文
[1]基于色度飽和度-角度梯度直方圖特征的尺度自適應(yīng)核相關(guān)濾波跟蹤[J]. 王春平,王暐,劉江義,付強(qiáng),徐艷. 光學(xué)精密工程. 2016(09)
[2]壓縮感知理論及其研究進(jìn)展[J]. 石光明,劉丹華,高大化,劉哲,林杰,王良君. 電子學(xué)報(bào). 2009(05)
本文編號(hào):2933449
【文章來源】:深圳大學(xué)廣東省
【文章頁數(shù)】:59 頁
【學(xué)位級(jí)別】:碩士
【圖文】:
傳統(tǒng)的信號(hào)處理過程
基于深度學(xué)習(xí)的壓縮采樣數(shù)據(jù)恢復(fù)技術(shù)的研究2從壓縮后的信息有效地恢復(fù)出原始信號(hào)。這時(shí),人們就會(huì)想到有沒有一種方法可以將信號(hào)的采樣和壓縮過程一起完成,用另一句話說,是否可以用一個(gè)低維度的空間來表示原始的信號(hào),而且根據(jù)這個(gè)低維度的空間能夠精確的恢復(fù)出原始信號(hào)?如下圖1-2是基于壓縮采樣的信號(hào)采集和重建過程。圖1-2基于壓縮采樣的信號(hào)采集和重建過程為了解決上述問題,本文利用兩種方法壓縮感知(CompressedSensing,CS)和矩陣補(bǔ)全(MatrixCompletion,MC)對(duì)原始信號(hào)進(jìn)行采集。壓縮感知理論是Donoho和Candes等人在2006提出的一種全新的信號(hào)采樣理論[1-5]。一經(jīng)提出,立即引起了國內(nèi)外的學(xué)者關(guān)注,成為信號(hào)壓縮領(lǐng)域的研究熱點(diǎn)之一。2007年,Gan在壓縮感知理論的基礎(chǔ)上,提出了分塊壓縮感知(BlockCompressedSensing,BCS)理論[6],對(duì)分辨率較高的圖像進(jìn)行處理。如圖1-2所示,壓縮感知和矩陣補(bǔ)全采樣與傳統(tǒng)的信號(hào)處理相比,壓縮感知理論和矩陣補(bǔ)全技術(shù)把采樣和壓縮兩個(gè)過程合二為一,而且可以在低于奈奎斯特定理要求的采樣速率對(duì)原始信號(hào)進(jìn)行采樣壓縮,可以把原始信號(hào)從高維空間映射到低維空間,從而最終完成對(duì)信號(hào)的壓縮采樣。矩陣補(bǔ)全技術(shù)是由壓縮感知衍生而來,隨著壓縮感知理論的火熱,矩陣補(bǔ)全技術(shù)也越來越受到關(guān)注。矩陣補(bǔ)全中元素的采樣是通過其中特殊矩陣與目標(biāo)矩陣的內(nèi)積運(yùn)算獲取的,壓縮感知的采樣則是通過測量矩陣得到的。利用各種重建算法對(duì)壓縮信號(hào)的進(jìn)行恢復(fù),能夠?qū)崿F(xiàn)把壓縮的低維信號(hào)恢復(fù)到高維信號(hào)來,因此,重建算法是CS理論和MC理論重要的研究內(nèi)容。傳統(tǒng)的重建算法,一般通過迭代的方式對(duì)壓縮數(shù)據(jù)進(jìn)行重建,這類方式的缺點(diǎn)是不僅重建的速度慢,而且重建的效果也不如人意。近年來,隨著深度學(xué)習(xí)快速的發(fā)展,?
基于深度學(xué)習(xí)的壓縮采樣數(shù)據(jù)恢復(fù)技術(shù)的研究11圖2-1神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖2-1是基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),其中圓圈代表的是神經(jīng)元,從圖2-1中的可以看出,一個(gè)基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)包含三部分,輸入層、隱含層和輸出層。輸入層是接收輸入的數(shù)據(jù),隱含層是針對(duì)輸入的數(shù)據(jù)進(jìn)行運(yùn)算,最重要的是深度學(xué)習(xí)中的深度所指就是擁有多于一層的隱含層,輸出層是輸出的數(shù)據(jù)。在神經(jīng)元的連線之間對(duì)應(yīng)著的是權(quán)重,該權(quán)重決定了各輸入數(shù)據(jù)的重要程度,神經(jīng)元中還應(yīng)用一個(gè)激活函數(shù)來“標(biāo)準(zhǔn)化”神經(jīng)元的輸出的數(shù)據(jù),一般常用的激活函數(shù)有,如非線性激活函數(shù)(Sigmoid),它的作用是可以把輸入的實(shí)值數(shù)據(jù)轉(zhuǎn)換成0和1之間的輸出的實(shí)值數(shù)據(jù),比較特殊的是,當(dāng)輸入的數(shù)據(jù)值是一個(gè)無限大的值時(shí),它輸出的數(shù)據(jù)是1,或者輸入的數(shù)據(jù)值時(shí)無限小的負(fù)數(shù)時(shí),它輸出的數(shù)據(jù)就是0。但是,非線性激活函數(shù)缺點(diǎn)是在深度神經(jīng)網(wǎng)絡(luò)中梯度反向傳遞時(shí)可能會(huì)導(dǎo)致梯度爆炸或者是梯度消失,其中梯度爆炸發(fā)生的概率非常小,而梯度消失發(fā)生的概率比較大,此外,非線性激活函數(shù)的輸出非0均值(zero-centered),且解析式中含有冪運(yùn)算,造成訓(xùn)練時(shí)間過長。Tanh函數(shù)解決Sigmoid函數(shù)的非0均值輸出問題。Relu函數(shù)解決了梯度消失的問題,收斂速度遠(yuǎn)快于Sigmoid和Tanh。Relu函數(shù)是目前最常見的激活函數(shù)。但是Relu函數(shù)可能會(huì)使某些神經(jīng)元可能永遠(yuǎn)不會(huì)被激活。從而研究人員提出了LeakyRelu函數(shù)和ELU函數(shù)(ExponentialLinearUnits)。卷積神經(jīng)網(wǎng)絡(luò)最開始是在2012年的ImageNet挑戰(zhàn)賽顯露頭角,AlexKrizhevsky利用卷積網(wǎng)絡(luò)把分類誤差記錄從26%降到了15%,在當(dāng)時(shí)震驚了世界,因而贏得了那一年的冠軍。卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比來說,其一是參數(shù)共享機(jī)制,參數(shù)共享機(jī)
【參考文獻(xiàn)】:
期刊論文
[1]基于色度飽和度-角度梯度直方圖特征的尺度自適應(yīng)核相關(guān)濾波跟蹤[J]. 王春平,王暐,劉江義,付強(qiáng),徐艷. 光學(xué)精密工程. 2016(09)
[2]壓縮感知理論及其研究進(jìn)展[J]. 石光明,劉丹華,高大化,劉哲,林杰,王良君. 電子學(xué)報(bào). 2009(05)
本文編號(hào):2933449
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/2933449.html
最近更新
教材專著