本文關(guān)鍵詞：基于Spark平臺的大矩陣LU分解及求逆算法的研究與實現(xiàn)

  更多相關(guān)文章： 并行計算 LU分解 矩陣求逆 Spark MapReduce

【摘要】：在很多計算機科學的研究領(lǐng)域中,矩陣求逆運算都是基本模塊,在機器學習、圖像處理等領(lǐng)域有著廣泛的應(yīng)用。隨著計算機科學的不斷發(fā)展,在當今這個信息爆炸的時代,計算機處理的數(shù)據(jù)量變得越來越大。因此,矩陣求逆算法的并行化逐漸成為了矩陣操作領(lǐng)域的熱門研究方向。隨著Spark框架的逐漸成熟,基于Spark平臺的機器學習算法也逐漸成為時下的研究熱門。當前矩陣求逆的并行算法主要通過以下幾種方式來進行：LU分解、SVD分解、QR分解。因為LU分解法在并行化方面相較于SVD分解法以及QR分解法有著一定的優(yōu)勢,所以本文選用LU分解法來求解矩陣的逆矩陣。通過分析Spark平臺的計算特點以及LU算法的特性,本文提出了一種基于Spark的并行LU分解及求逆方法。該方法主要包括以下兩個步驟：首先,提出了一種基于Spark平臺的大矩陣LU分解算法來求解原始矩陣的LU分解。該算法基于并行的LU分解算法將矩陣分解為可以適配到內(nèi)存中的小塊迭代地進行計算,再將結(jié)果進行整合來求解矩陣的LU分解。然后根據(jù)分解得到的下三角矩陣以及上三角矩陣,運用矩陣的分塊原理,提出了一種迭代式三角矩陣求逆算法,將兩個三角矩陣求逆并相乘來求解原始矩陣的逆矩陣。在算法的實現(xiàn)過程中,結(jié)合Spark框架的優(yōu)缺點,提出了三點優(yōu)化算法效率的方案,包括：(1)將算法中頻繁用到的中間結(jié)果緩存到內(nèi)存中,(2)調(diào)優(yōu)shuffle過程執(zhí)行效率以及(3)采用非遞歸方式實現(xiàn)算法。本文提出的基于Spark平臺的大矩陣LU分解及求逆算法可以為其他的基于Spark平臺的矩陣操作研究者提供一個參考。通過單機可擴展性實驗以及集群可擴展性實驗,表明本算法具有很好的可擴展性。通過與現(xiàn)有算法進行的對比實驗,該算法相較于基于Hadoop框架的矩陣求逆算法性能有了24.6%的提升。
【學位授予單位】：北京交通大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：O151.21;TP301.6

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 李玉梅;矩陣分塊的幾個重要應(yīng)用[J];懷化師專學報;2000年02期

2 侯秋果;;矩陣分塊的應(yīng)用[J];科技信息(科學教研);2008年13期

3 紀坤;陳建平;石振國;劉維富;;矩陣三角分解分塊算法的研究與實現(xiàn)[J];計算機應(yīng)用與軟件;2010年09期

4 長日;矩陣分塊法的應(yīng)用[J];福清師專學報;1981年00期

5 陸余楚,朱文興;矩陣的分塊、零化與攝動[J];工科數(shù)學;1986年03期

6 黃廷祝,游兆永;矩陣的G-分塊對角占優(yōu)性[J];工程數(shù)學學報;1993年03期

7 徐道義;;區(qū)間矩陣的穩(wěn)定性[J];自然雜志;1988年05期

8 金基平;電場問題優(yōu)化的矩陣分塊解法[J];高壓電器;1991年05期

9 李源;黃輝;郝小枝;;計算矩陣高次方冪的幾種方法[J];云南大學學報(自然科學版);2008年S2期

10 J.E.克雷爾伯特;;地球物理資料處理基礎(chǔ)[J];石油地球物理勘探;1978年05期

中國重要會議論文全文數(shù)據(jù)庫 前2條

1 支希哲;孟光;顧致平;;穩(wěn)定性判定陣的分塊確定法[A];1995中國控制與決策學術(shù)年會論文集[C];1995年

2 吳柏生;李正光;;結(jié)構(gòu)布局修改的重分析方法[A];第九屆全國結(jié)構(gòu)工程學術(shù)會議論文集第Ⅱ卷[C];2000年

中國博士學位論文全文數(shù)據(jù)庫 前3條

1 黃澤軍;關(guān)于矩陣組合分析性質(zhì)的若干結(jié)果[D];華東師范大學;2011年

2 沈長鵬;訂單結(jié)構(gòu)與揀選系統(tǒng)的適配問題研究[D];山東大學;2011年

3 申淑謙;特殊矩陣數(shù)值分析和鞍點問題迭代求解預處理技術(shù)[D];電子科技大學;2008年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 趙祥宇;基于Spark平臺的大矩陣LU分解及求逆算法的研究與實現(xiàn)[D];北京交通大學;2016年

2 劉真;基于用戶評分矩陣分塊的魯棒推薦模型研究[D];燕山大學;2013年

3 黃榮;幾類分塊組合選取因子法的非奇H-矩陣判定[D];湘潭大學;2005年

4 符和滿;符號空間一類稠密混沌系統(tǒng)的矩陣刻畫[D];華南師范大學;2005年

5 樓Z蟍;M-矩陣等特殊矩陣及其特殊積[D];陜西師范大學;2004年

6 曾侃圢;基于電阻矩陣定位原理的潰壩模型試驗測量技術(shù)研究[D];重慶交通大學;2015年

7 杜翠真;五階完全正矩陣[D];安徽大學;2005年

8 陳一昭;并行計算在矩陣運算中的應(yīng)用[D];昆明理工大學;2011年

9 陳磊;面向多核DSP的高性能并行BLAS3的設(shè)計與實現(xiàn)[D];國防科學技術(shù)大學;2013年

10 張曉青;關(guān)于SDD～+矩陣和H-矩陣算法的研究[D];電子科技大學;2006年

，

本文編號：1136416