發(fā)布時(shí)間：2018-05-27 00:25

  本文選題：主成分分析 + 奇異值分解��； 參考：《計(jì)算機(jī)科學(xué)》2017年02期

【摘要】：隨著MapReduce并行化框架的流行,各種數(shù)據(jù)挖掘算法的并行化也成為了當(dāng)下研究的熱點(diǎn)。主成分分析(Principle Components Analysis,PCA)算法的并行化也得到了越來越多的關(guān)注。通過對(duì)目前PCA算法的并行化研究的成果進(jìn)行總結(jié),發(fā)現(xiàn)這些PCA算法并行程度并不完全,特別是特征值計(jì)算過程。整個(gè)PCA算法流程分為兩個(gè)階段:相關(guān)系數(shù)矩陣求解階段和矩陣的奇異值分解(Singular Value Decomposition,SVD)階段。通過當(dāng)前最流行的并行框架MapReduce,融合矩陣的QR分解,提出了一種奇異值分解的并行實(shí)現(xiàn)方法。利用隨機(jī)產(chǎn)生的不同維度大小的雙浮點(diǎn)矩陣比較并行奇異值分解相對(duì)傳統(tǒng)串行環(huán)境下的算法效率的提升情況,并分析算法效率。之后,將并行奇異值分解融合到PCA算法中,同時(shí)提出相關(guān)系數(shù)矩陣的并行計(jì)算過程,將PCA計(jì)算的兩個(gè)部分完全并行化。利用不同維度的矩陣對(duì)提出的并行PCA算法與已存在的未完全并行PCA算法、常規(guī)的PCA算法的運(yùn)算速度進(jìn)行比較,分析完全并行化PCA算法的加速比,最終得出所提算法在處理一定規(guī)模的大數(shù)據(jù)情況下的時(shí)間消耗要少許多。
[Abstract]:With the popularity of the MapReduce parallelization framework, the parallelization of various data mining algorithms has become a hot topic in the present research. The parallelization of the Principle Components Analysis (PCA) algorithm has also been paid more and more attention. By summarizing the achievements of the parallel research of the current PCA algorithm, the PCA algorithms are found. The parallel degree is not complete, especially the eigenvalue calculation process. The whole PCA algorithm process is divided into two stages: the correlation coefficient matrix solution phase and the matrix singular value decomposition (Singular Value Decomposition, SVD) stage. A singular value decomposition is proposed through the current most popular parallel framework MapReduce, the QR decomposition of the fusion matrix. The parallel singular value decomposition is used to compare the efficiency of parallel singular value decomposition (SVD) to the efficiency of the algorithm in the traditional serial environment, and the algorithm efficiency is analyzed. Then, the parallel singular value decomposition is fused into the PCA algorithm, and the parallel computation process of the correlation coefficient matrix is proposed, and the PCA is calculated. The two parts of the calculation are completely parallelized. Using the matrix of different dimensions, the proposed parallel PCA algorithm is compared with the existing incomplete parallel PCA algorithm and the conventional PCA algorithm, and the acceleration ratio of the fully parallelized PCA algorithm is analyzed. Finally, the time consumption of the proposed algorithm is obtained under the large data conditions at a certain scale. A lot less.
【作者單位】： 東北大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院;東北大學(xué)軟件學(xué)院;
【基金】：國(guó)家杰出青年科學(xué)基金資助項(xiàng)目(61225012,71325002) 國(guó)家自然科學(xué)基金資助項(xiàng)目(61572123) 高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金優(yōu)先發(fā)展領(lǐng)域資助課題(20120042130003)資助
【分類號(hào)】：TP301.6

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王蘊(yùn)紅,譚鐵牛,朱勇;基于奇異值分解和數(shù)據(jù)融合的臉像鑒別[J];計(jì)算機(jī)學(xué)報(bào);2000年06期

2 高仕龍;;矩陣奇異值分解的圖像性質(zhì)及其應(yīng)用[J];樂山師范學(xué)院學(xué)報(bào);2008年05期

3 孫靜靜;張宏飛;孫昌;;一種基于奇異值分解的人臉識(shí)別新方法[J];科學(xué)技術(shù)與工程;2010年25期

4 曹長(zhǎng)修;;自適應(yīng)消除干擾的新算法(使用矩陣奇異值分解)[J];自動(dòng)化學(xué)報(bào);1986年02期

5 M.穆倫;張俊芳;;修正的奇異值分解并行實(shí)現(xiàn)[J];雷達(dá)與對(duì)抗;1992年04期

6 戴偉輝，呂維雪，段云所，楊芙清;多準(zhǔn)則優(yōu)化圖象重建方法的奇異值分解研究[J];計(jì)算機(jī)學(xué)報(bào);1997年07期

7 任蕾;施朝健;冉鑫;;應(yīng)用奇異值分解的海上場(chǎng)景顯著性檢測(cè)[J];計(jì)算機(jī)工程與應(yīng)用;2012年23期

8 李曉軍;吳辰文;;基于奇異值分解的流量矩陣估算研究[J];蘭州交通大學(xué)學(xué)報(bào);2012年06期

9 張友民，李慶國(guó)，戴冠中，，張洪才;基于奇異值分解的遞推辨識(shí)方法[J];控制理論與應(yīng)用;1995年02期

10 羅鐵堅(jiān);程福興;周佳;;融合奇異值分解和動(dòng)態(tài)轉(zhuǎn)移鏈的學(xué)術(shù)資源推薦模型(英文)[J];中國(guó)科學(xué)院大學(xué)學(xué)報(bào);2014年02期

相關(guān)會(huì)議論文 前10條

1 張友民;陳洪亮;戴冠中;;基于奇異值分解的固定區(qū)間平滑新方法[A];1995年中國(guó)控制會(huì)議論文集（上）[C];1995年

2 何田;王立清;劉獻(xiàn)棟;朱永波;;基于奇異值分解的信號(hào)處理機(jī)理及其應(yīng)用[A];2008年航空試驗(yàn)測(cè)試技術(shù)峰會(huì)論文集[C];2008年

3 張霄;林鴻飛;楊志豪;;基于奇異值分解的蛋白質(zhì)關(guān)系抽取[A];第五屆全國(guó)信息檢索學(xué)術(shù)會(huì)議論文集[C];2009年

4 曹云麗;郭勤濤;徐堯;周瑾;;基于奇異值分解響應(yīng)面方法的磁軸承轉(zhuǎn)子參數(shù)識(shí)別[A];第11屆全國(guó)轉(zhuǎn)子動(dòng)力學(xué)學(xué)術(shù)討論會(huì)（ROTDYN2014）論文集（上冊(cè)）[C];2014年

5 吳曉穎;吳俊;董濱江;;TK方法在γ譜分析中的應(yīng)用[A];第7屆全國(guó)核電子學(xué)與核探測(cè)技術(shù)學(xué)術(shù)年會(huì)論文集（三）[C];1994年

6 林原;林鴻飛;蘇綏;;一種應(yīng)用奇異值分解的RankBoost排序?qū)W習(xí)方法[A];中國(guó)計(jì)算機(jī)語言學(xué)研究前沿進(jìn)展（2007-2009）[C];2009年

7 金宋友;趙志文;;一種基于奇異值分解盲水印算法[A];圖像圖形技術(shù)與應(yīng)用進(jìn)展——第三屆圖像圖形技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2008年

8 趙衛(wèi)國(guó);翟自勇;王子君;;基于奇異值分解和神經(jīng)網(wǎng)絡(luò)的數(shù)字圖像水印算法[A];Proceedings of 2010 Chinese Control and Decision Conference[C];2010年

9 岳紅;蔣慰孫;;基于奇異值分解的改進(jìn)Bayes集員辨識(shí)遞推算法[A];1995中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];1995年

10 張景瑞;;基于奇異值分解的SGCMGs輸出誤差分析及操縱律設(shè)計(jì)[A];第三屆全國(guó)動(dòng)力學(xué)與控制青年學(xué)者研討會(huì)論文摘要集[C];2009年

相關(guān)碩士學(xué)位論文 前10條

1 相桂芳;MFA與SVD模糊融合的人臉識(shí)別研究[D];合肥工業(yè)大學(xué);2015年

2 聶振國(guó);基于奇異值分解的信號(hào)處理關(guān)鍵技術(shù)研究[D];華南理工大學(xué);2016年

3 夏玉丹;基于S變換和奇異值分解的自動(dòng)癲癇檢測(cè)算法[D];山東大學(xué);2016年

4 關(guān)曉勇;基于奇異值分解的狀態(tài)監(jiān)測(cè)與故障診斷方法研究[D];大連理工大學(xué);2005年

5 王鋼;基于奇異值分解的機(jī)織物瑕疵檢測(cè)算法研究[D];東華大學(xué);2014年

6 Charles Alpha Bangura;[D];湖南大學(xué);2011年

7 鄭安總;奇異值分解在微弱信號(hào)檢測(cè)中的應(yīng)用[D];天津大學(xué);2014年

8 趙慧琳;奇異值分解的人臉識(shí)別算法[D];上海海運(yùn)學(xué)院;2002年

9 李科;基于沙米爾和奇異值分解的小波域數(shù)字圖像水印算法研究[D];南昌大學(xué);2010年

10 賈換霞;基于奇異值分解和神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別方法的研究[D];東北大學(xué);2005年

本文編號(hào)：1939604