本文關(guān)鍵詞：基于云計(jì)算的圖像稀疏表示算法分布式并行優(yōu)化

  更多相關(guān)文章： 圖像稀疏表示 Spark 分布式并行優(yōu)化 MapReduce K-SVD TV

【摘要】：隨著社會(huì)的發(fā)展,基于圖像的應(yīng)用越來越多,例如人臉識(shí)別,高光譜圖像礦物勘探、環(huán)境監(jiān)測(cè)等。同時(shí)圖像的分辨率也越來越高。圖像的稀疏表示(Sparse Representation,SR)是一種非常有效的圖像處理方法,它利用少量的系數(shù)來表示圖像,從而為后續(xù)的圖像分析和應(yīng)用提供便利。然而由于圖像所包含的信息多樣化,稀疏表示算法具有較高的復(fù)雜度等原因使得現(xiàn)有的單機(jī)計(jì)算平臺(tái)難以分析大規(guī)模圖像,且執(zhí)行效率低下。云計(jì)算是近些年新起的一個(gè)可擴(kuò)展的分布式并行計(jì)算框架和存儲(chǔ)大規(guī)模數(shù)據(jù)的平臺(tái),具有強(qiáng)大的計(jì)算能力和廣泛的應(yīng)用前景。本文在研究Hadoop的MapReduce計(jì)算框架、分布式文件系統(tǒng)HDFS,Spark系統(tǒng)結(jié)構(gòu)、任務(wù)調(diào)度和分布式彈性數(shù)據(jù)集RDD等云計(jì)算關(guān)鍵技術(shù)的基礎(chǔ)上,結(jié)合圖像去噪修復(fù)中的實(shí)際應(yīng)用背景,設(shè)計(jì)了基于Spark的圖像稀疏表示K-SVD算法分布式并行優(yōu)化方法和組稀疏-TV算法高光譜圖像去噪修復(fù)分布式并行優(yōu)化方法,并利用大量的圖像數(shù)據(jù),進(jìn)行實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明,本文提出的圖像稀疏表示分布式并行優(yōu)化方法在保證處理結(jié)果正確性的同時(shí),能夠獲得較高的加速比和處理大規(guī)模數(shù)據(jù)的能力。主要內(nèi)容包括:1.基于Spark云計(jì)算平臺(tái)進(jìn)行了圖像稀疏表示K-SVD算法的分布式并行優(yōu)化。在分析了圖像稀疏表示的K-SVD算法和OMP算法的基礎(chǔ)上,并結(jié)合了 Spark任務(wù)調(diào)度和MapReduce計(jì)算框架,改進(jìn)了 K-SVD算法的字典更新方式,采用原子單獨(dú)更新的方式,從而增加了算法的并行度。根據(jù)系數(shù)向量具有稀疏性的特點(diǎn),設(shè)計(jì)了三元組結(jié)構(gòu)記錄每一個(gè)稀疏向量,從而壓縮數(shù)據(jù)規(guī)模,減少數(shù)據(jù)傳輸量和冗余計(jì)算。針對(duì)OMP算法在求解過程中會(huì)產(chǎn)生殘差向量和K-SVD算法字典更新過程中需要計(jì)算誤差矩陣的特點(diǎn),優(yōu)化誤差矩陣的計(jì)算方式,減少誤差矩陣的計(jì)算量。同時(shí)設(shè)計(jì)了合理的中間數(shù)據(jù)結(jié)構(gòu),并充分利用數(shù)據(jù)本地性的任務(wù)調(diào)度策略,減少數(shù)據(jù)在各個(gè)節(jié)點(diǎn)之間的來回傳輸和MapReduce任務(wù)之間的數(shù)據(jù)shuffle。通過與單機(jī)串行實(shí)驗(yàn)作對(duì)比,驗(yàn)證了本文方法的有效性和加速效果。2.基于Spark云計(jì)算平臺(tái)進(jìn)行了高光譜圖像組稀疏-TV去噪修復(fù)算法分布式并行優(yōu)化。在分析了基于高光譜圖像的組稀疏算法、TV去噪修復(fù)算法和PCA算法的基礎(chǔ)上,并結(jié)合了 Spark任務(wù)調(diào)度和MapReduce計(jì)算框架,改進(jìn)了 PCA算法計(jì)算方式,減少算法的計(jì)算量。利用多節(jié)點(diǎn)之間并行的網(wǎng)絡(luò)傳輸能力,減少在去噪修復(fù)過程中的數(shù)據(jù)傳輸時(shí)間。同時(shí)設(shè)計(jì)合理的中間數(shù)據(jù)結(jié)構(gòu)和利用RDD數(shù)據(jù)本地性,減少在TV算法中不同RDD之間的數(shù)據(jù)傳輸。通過共享變量的內(nèi)存空間,減少在迭代過程中中間數(shù)據(jù)申請(qǐng)新空間的次數(shù),從而減少GC時(shí)間。優(yōu)化TV算法中梯度矩陣的計(jì)算方式,合并部分矩陣的計(jì)算,減少算法的計(jì)算量。通過與單機(jī)串行實(shí)驗(yàn)作對(duì)比,驗(yàn)證了本文方法的正確性和加速效果。
【學(xué)位授予單位】：南京理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP391.41

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前8條

1 劉建學(xué);楊瑩;韓四海;李璇;李佩艷;張衛(wèi)衛(wèi);張?zhí)鞚?楊國迪;焦肖飛;;高光譜成像技術(shù)在食品品質(zhì)無損檢測(cè)中的應(yīng)用[J];食品工業(yè)科技;2016年03期

2 孟祥貴;汲自強(qiáng);王偉;邱軍欽;;基于圖像處理的實(shí)時(shí)環(huán)境監(jiān)測(cè)系統(tǒng)設(shè)計(jì)[J];儀表技術(shù);2014年08期

3 吳光文;王昌明;包建東;陳勇;胡揚(yáng)坡;;基于自適應(yīng)閾值函數(shù)的小波閾值去噪方法[J];電子與信息學(xué)報(bào);2014年06期

4 李飛;糾博;劉宏偉;王英華;張磊;;基于稀疏表示的SAR圖像屬性散射中心參數(shù)估計(jì)算法[J];電子與信息學(xué)報(bào);2014年04期

5 楊海平;沈占鋒;駱劍承;吳煒;;海量遙感數(shù)據(jù)的高性能地學(xué)計(jì)算應(yīng)用與發(fā)展分析[J];地球信息科學(xué)學(xué)報(bào);2013年01期

6 張曉陽;柴毅;李華鋒;;基于K-SVD和殘差比的低信噪比圖像稀疏表示去噪算法[J];光學(xué)技術(shù);2012年01期

7 方紅;楊海蓉;;貪婪算法與壓縮感知理論[J];自動(dòng)化學(xué)報(bào);2011年12期

8 孫玉寶;韋志輝;吳敏;肖亮;費(fèi)選;;稀疏性正則化的圖像泊松去噪算法[J];電子學(xué)報(bào);2011年02期

，

本文編號(hào)：1286000